Un agente de inteligencia artificial puede producir una respuesta convincente e iniciar una acción que nadie le había confiado realmente. Según el análisis publicado aquí, es la frontera entre capacité technique y autorité déléguée la que debe convertirse en un elemento central de la gobernanza de la IA.
- Poder ejecutar una acción no significa tener autoridad para decidirla.
- La calidad de una respuesta no basta : hay que definir el mandato y sus límites.
- El control se erosiona a lo largo de la cadena de agentes, no solo en el botón de validación.
- Un control verificable exige permisos ajustados, controles previos y capacidad de detener el sistema.
El autor toma el ejemplo ficticio de una empresa que confía a un agente el análisis de reclamaciones de clientes. Para acelerar el proceso, le da acceso a su CRM, es decir, a su herramienta de gestión de la relación con el cliente, y luego a una herramienta de reembolso. El agente primero recomienda gestos comerciales, antes de ejecutarlos dentro de los límites técnicos de sus accesos. Sin embargo, pouvoir déclencher un paiement ne signifie pas avoir reçu le mandat de décider de ce paiement.
La calidad de las respuestas no basta para gobernar la acción
La evaluación de un modelo y la de su autoridad responden a dos preguntas diferentes. La primera se refiere a la pertinencia o exactitud de un resultado, la segunda a la legitimidad de una acción en una situación dada. Una recomendación exacta puede exceder el mandato de un agente, mientras que una recomendación incierta puede quedar sin consecuencia si su ejecución está correctamente enmarcada.
Para una dirección general o una DSI, la cuestión se vuelve concreta: ¿qué decisiones puede tomar el sistema, con qué medios, en nombre de quién y hasta qué punto? Una lista de herramientas autorizadas constituye un comienzo, pero no especifica las condiciones de uso aceptables. Un acceso al CRM puede servir para consultar un expediente, modificar un dato o exportar contactos. Estas operaciones no tienen la misma finalidad ni las mismas consecuencias, y la gobernanza debe relacionarlas con un mandato explícito.
La erosión del control se construye en las secuencias
El autor habla de érosion du contrôle cuando la capacidad real de los responsables para comprender, limitar y corregir las acciones disminuye a lo largo del funcionamiento del sistema. Un agente recopila información, un segundo la sintetiza, un tercero prepara una decisión y un cuarto la ejecuta. Cada uno puede respetar su rol inmediato, mientras que el conjunto puede producir una consecuencia que el responsable inicial no había previsto. Una hipótesis se convierte en un dato de trabajo, ese dato se convierte en una justificación, y luego la justificación desencadena una acción.
La dérive d’autorité puede permanecer discreta. Aparece cuando un sistema amplía de hecho su perímetro, por ejemplo al transformar una instrucción de análisis en autorización de ejecución. El nivel adecuado de observación es, por tanto, la cadena que conecta el mandato humano con la consecuencia final. La presencia de un botón de validación no basta para establecer un control efectivo: el supervisor debe disponer de información comprensible, de tiempo suficiente y de medios de intervención adecuados. En el ejemplo del reembolso, la validación debería intervenir antes de la operación y presentar el importe, el motivo, las incertidumbres y la regla aplicable.
Organizar un control verificable
El autor propone cinco exigencias. Primero, formuler le mandat: objetivo, perímetro, duración y actos excluidos, ya que « tratar las reclamaciones » es demasiado amplio si las decisiones autorizadas no se especifican. Después, hacer coincidir los permisos con el mandato, limitando los accesos a las operaciones necesarias y pudiéndolos retirar al final de la misión. También es necesario colocar los controles antes de las consecuencias difíciles de corregir, por ejemplo mediante un umbral de importe o un cambio de destinatario. A continuación, la conservación de una pista explotable, proporcionada y protectora de los datos. Finalmente, es necesario tester la capacité de reprise, porque algunas consecuencias son irreversibles, la posibilidad de detener el sistema debe evaluarse antes del despliegue.
Las reglas de supervisión pueden ellas mismas volverse inadecuadas cuando el volumen, las herramientas o las responsabilidades cambian. Un motor de reglas determinista puede hacer que ciertas verificaciones sean reproducibles, sin garantizar la calidad de los hechos recibidos ni la pertinencia de las reglas. Antes de ampliar la autonomía de un agente, los decisores deberían poder demostrar quién le ha dado el derecho a actuar, en qué límites y cómo retomar el control.
