En un texto publicado por MIT Technology Review, los autores sostienen que la confianza en la inteligencia artificial no puede basarse en predecir su comportamiento. Según ellos, se logra más bien mediante límites estrictos, aplicados fuera del alcance del sistema. Una salvaguardia que la propia IA puede mover no lo es.
El texto toma el ejemplo de OpenAI: las salvaguardas estaban dentro de un sistema que los agentes podían modificar. Los softwares tradicionales ejecutan instrucciones escritas por humanos. La IA, en cambio, ejerce lo que los autores llaman un « juicio sintético »: interpreta situaciones que nadie ha programado y produce respuestas que nadie ha prescrito. Cuanta más libertad se le concede, más difícil resulta garantizar la previsibilidad sobre la que históricamente se ha construido la confianza.
Los límites de las definiciones clásicas de confianza
El texto recuerda dos enfoques recientes tratados por el medio. El primero considera insuficiente colocar a un humano en el circuito, ya que los humanos son fundamentalmente incapaces de comprender las intenciones de los sistemas de IA, y aboga por una investigación interdisciplinaria que asocie universidad, poderes públicos e industria tecnológica. El segundo describe el uso de incentivos para impedir que los modelos se desvíen de las reglas, incluso cuando nadie sabe cómo funcionan internamente. Ambos reconocen que es imposible comprender o supervisar cada decisión de la IA.
Sin embargo, nuestras herramientas de confianza, ya sean los requisitos, las pruebas, la certificación, los márgenes de seguridad, los bloqueos o los criterios de éxito y fracaso, se basan todas en la capacidad de acotar el comportamiento de un sistema. Los autores hablan aquí de « paradoja del determinismo ». Con la IA generativa y los agentes, este comportamiento depende de los datos de entrenamiento, la arquitectura, las instrucciones, el contexto, las fuentes consultadas y el entorno. Las entradas cambian, los modelos se actualizan, las herramientas evolucionan y los agentes interactúan entre sí. Pequeñas variaciones se propagan hasta dar resultados que nadie ha concebido.
El problema no es el azar, afirma el texto, sino el espacio de comportamientos posibles, demasiado vasto para ser enumerado de antemano. La confianza debe construirse, por tanto, en torno a fronteras más que a resultados predichos. El objetivo no es una IA determinista, sino una IA « acotada, observable y controlable ». Tampoco puede ser una prueba puntual: la IA sigue evolucionando después de su despliegue, y un sistema que haya pasado todas las pruebas puede salirse de las condiciones que les daban sentido. Según el texto, la confianza debe ser « continuamente ganada ».
La ingeniería de la seguridad lleva décadas teniendo en cuenta parte de esta variabilidad. La Nuclear Regulatory Commission se basa en la evaluación probabilística de riesgos para estimar la probabilidad de fallos en sistemas complejos. El modelo STAMP ha demostrado que los accidentes pueden surgir de las interacciones entre componentes, personas y organizaciones que, sin embargo, funcionan correctamente. La IA cambia las reglas del juego, porque un solo componente puede ahora interpretar, deducir y actuar. Los riesgos crecen a medida que la IA pasa de los navegadores a vehículos, robots, sistemas médicos, controles industriales y centros de datos, donde una mala respuesta puede convertirse en un evento que amenace vidas.
Construir una confianza que escale
Una persona validando miles de acciones de IA por hora no constituye, según el texto, una salvaguardia aceptable ni escalable. La solución no es, sin embargo, retirar al humano del circuito, sino situar su juicio donde importa: fijar límites de antemano, luego aprobar las pocas acciones con consecuencias graves, mientras que restricciones estrictas gestionan el resto.
La confianza debe, por tanto, remontarse hasta la arquitectura del sistema. Los autores plantean tres preguntas: ¿qué autoridad conceder a la IA, bajo qué condiciones y respaldada en qué pruebas? Añaden una cuarta cuestión, la de qué sucede fuera de esas condiciones. Este enfoque, concluyen en esencia, difiere mucho de la pregunta de si un modelo ha obtenido un 94 % en un benchmark, es decir, una prueba de referencia.
