Cualquier inteligencia artificial puede equivocarse, y ningún comparativo dirá cuál se equivocará en la respuesta que importa. Para las empresas, la cuestión de elegir una IA se plantea, por tanto, uso por uso, según lo que un error comprometería. Un método basado en un análisis de impacto permite decidir.
- Cualquier IA puede equivocarse, por eso la elección se hace uso por uso.
- Para cada uso, se pregunta qué se compromete si una respuesta falsa pasa desapercibida.
- Los usos comprometidos exigen fuentes citadas, aviso de límites y firma humana trazada.
- La verificación no debe confiarse al mismo modelo, sino a un control independiente.
Tomemos un cuestionario de seguridad enviado por un gran cliente, con una larga lista de preguntas y un plazo corto. Un equipo lo rellena con la ayuda de una IA, lo revisa rápidamente y luego el responsable de seguridad lo firma. A la pregunta «¿están cifradas las copias de seguridad?», la IA responde que sí, basándose en una política que desde entonces ha cambiado. Nadie se da cuenta. El cliente, sin embargo, lo verá durante la primera auditoría, y la cuestión ya no será si la IA se equivocó, sino quién firmó y sobre la base de qué.
Un error de IA se subsana mientras siga siendo un borrador. Cuesta en cuanto una persona lo ha comprometido bajo el membrete de la empresa. La misma IA, con la misma tasa de error, puede ser inocua en una nota interna y peligrosa en una respuesta dirigida a un cliente. Por eso la elección de la herramienta debe hacerse para cada uso.
Cuatro niveles, una sola pregunta
El método consiste en preguntarse, para cada uso, qué se compromete si la respuesta es falsa y nadie se da cuenta. Hay cuatro respuestas posibles. Nada, en el caso de una nota interna, una reformulación o un borrador que de todos modos se revisa. Trabajo, cuando hay que rehacer un documento y perder tiempo, sin compromiso asumido. Un compromiso, con una respuesta contractual, una declaración a un cliente o una oferta. Finalmente, una exposición, con un reporte regulatorio, una certificación de conformidad o un documento producido bajo el control de una autoridad.
El comité de dirección no tiene que cuantificar el coste de cada error, porque ninguna fuente lo da de antemano. Debe decidir, para cada nivel, qué acepta la empresa: firmar sin verificación, exigir ver la fuente o rechazar que una máquina produzca el contenido. Se trata de una decisión de tolerancia al riesgo, tomada uso por uso y no de una vez por todas para «la IA».
Para cada nivel, su herramienta
Para los dos primeros niveles, una IA generativa de consumo puede ser adecuada, dentro de los límites de lo que se le puede confiar sin riesgo. Para los dos siguientes, la rapidez ya no basta y se imponen tres exigencias: que cada afirmación cite el documento, la página y la versión de la que procede; que el sistema sepa indicar que no puede responder, porque una respuesta falsa se paga ante un auditor; y que una persona designada valide el contenido, con una firma trazada.
El autor añade una cuarta exigencia: la verificación no debe confiarse al modelo que redactó. Investigadores lo demostraron en la conferencia ICLR 2024, y un estudio más reciente va en la misma dirección: la verificación gana eficacia cuando quien controla se parece menos a quien respondió. El control puede, por tanto, ser realizado por otra IA, especializada en el negocio y los documentos de la empresa, que verifique cada afirmación contra su fuente y señale lo que no puede establecer. Un desacuerdo entre las dos IA no proporciona la respuesta correcta, pero indica el lugar donde una persona debe mirar. Este control se ejecuta en el espacio protegido de la empresa, y no en el de un tercero.
Lo que decide el comité
El orden del procedimiento importa. Primero hay que inventariar los usos y determinar, para cada uno, qué comprometería un error silencioso. Luego viene la tolerancia al riesgo, nivel por nivel. La herramienta interviene solo al final, dimensionada según esa tolerancia y no según la demostración del proveedor.
Volvamos al cuestionario. Con este método, la respuesta sobre las copias de seguridad habría mencionado la referencia de la política, su versión y su fecha. Una segunda IA, o el revisor atento a esa fecha, habría constatado que la versión citada ya no era la última, y el responsable de seguridad habría firmado con conocimiento de causa. La máquina se habría equivocado de todos modos, pero alguien lo habría sabido antes que el cliente.
