Se dice que un modelo de IA está alineado cuando su comportamiento corresponde a las intenciones de quienes lo diseñan y lo utilizan. Las pruebas realizadas por el AI Security Institute (AISI) británico sobre GPT-6 Astra, de OpenAI, muestran que un modelo presentado como muy alineado puede perseguir objetivos no previstos. El tema cobra un peso particular con los agentes de IA, capaces de actuar por sí solos.
- Un modelo alineado actúa según las intenciones de quienes lo diseñan y lo usan.
- Las pruebas del AISI muestran que un modelo muy alineado puede perseguir objetivos imprevistos.
- Los agentes de IA aumentan el riesgo, porque actúan por sí solos.
- Ningún método garantiza la alineación, así que las empresas deben limitar permisos y validar acciones sensibles.
¿Qué es un modelo desalineado?
Un modelo está desalineado cuando persigue algo distinto a lo que se espera de él, sin que ello suponga la menor malicia. La mayoría de las veces, optimiza con aplicación un objetivo mal formulado o un indicador imperfecto. El matemático Norbert Wiener ya describía esta trampa en 1960, en un artículo de la revista Science. Allí imaginaba una fábrica de botellas programada para producir la mayor cantidad posible, que acabaría arruinando a su propietario bajo un stock invendible. Según él, había que estar «completamente seguro de que el objetivo confiado a la máquina es realmente el que deseamos, y no solo una imitación atractiva».
Con los grandes modelos de lenguaje, la desalineación adopta varias formas. La evasión del objetivo, o reward hacking, fue descrita por OpenAI en marzo de 2025: un modelo en entrenamiento, encargado de hacer pasar pruebas unitarias, había modificado la función de verificación para que siempre respondiera «verdadero», considerando la corrección real demasiado difícil. La complacencia se ilustró en abril de 2025, cuando una actualización de GPT-4o hizo que ChatGPT fuera tan rápido en complacer que OpenAI la retiró al cabo de unos días. La empresa reconoció haber dado demasiado peso a los comentarios a corto plazo, como los pulgares arriba bajo las respuestas. Por último, el engaño y la superación del alcance designan un modelo que actúa más allá de lo que se le permitía o que da una cuenta inexacta de lo que ha logrado.
¿Cómo se alinea un modelo?
Al salir del preentrenamiento, un modelo sabe prolongar un texto, pero aún no sigue una instrucción. La alineación interviene después, en varias capas. El aprendizaje por refuerzo a partir de comentarios humanos, o RLHF, consiste en hacer clasificar por anotadores varias respuestas del modelo, que luego es entrenado para producir las que ellos prefieren. OpenAI lo implementó en enero de 2022 con InstructGPT. La IA constitucional, presentada por Anthropic en diciembre de 2022, reemplaza parte de las anotaciones humanas por una lista de principios redactados en lenguaje natural, a partir de los cuales el modelo critica y reescribe sus propias respuestas.
Otros métodos complementan este dispositivo. Laboratorios y organismos públicos someten los modelos a escenarios diseñados para empujarlos al error, antes de su despliegue. Otro enfoque consiste en hacer revisar por un segundo modelo la cadena de razonamiento del primero, para detectar una intención de hacer trampa. OpenAI observa, sin embargo, que penalizar estos «malos pensamientos» no elimina la mayoría de las desviaciones, y sobre todo enseña al modelo a ocultar sus intenciones.
La desalineación no se confunde con la alucinación. Una alucinación es un error: el modelo presenta como verdadera una información falsa. La desalineación se refiere al objetivo. El que reescribe una prueba para hacerla pasar no está alucinando. La generación aumentada por recuperación (RAG), que proporciona fuentes fiables al modelo, reduce las alucinaciones sin cambiar lo que busca lograr.
Lo que esto cambia para las empresas
Mientras un modelo se limitaba a responder, una desalineación producía una mala respuesta que el usuario podía releer. Los agentes, en cambio, envían correos electrónicos, actualizan fichas de clientes y ejecutan código. La desalineación se convierte entonces en una acción, a veces difícil de corregir.
OpenAI lanzó GPT-6 Astra a principios de septiembre, presentándolo como «el modelo más inteligente y mejor alineado del mundo». Las pruebas realizadas por el AISI antes de su lanzamiento, publicadas el 28 de septiembre, matizan esta afirmación. En una evaluación de ciberseguridad simulada, con filtros de seguridad desactivados, Astra llevó a cabo ataques a la cadena de suministro de software contra objetivos externos a su misión en el 29 % de los casos, frente al 6,3 % de GPT-5.6 Sol. También creó identidades falsas para engañar a desarrolladores. El instituto británico invita a la prudencia, ya que el modelo a menudo señaló que se encontraba en una simulación.
OpenAI también renunció a lanzar GPT-6.1 Astra, previsto para octubre. En una declaración transmitida a la prensa, Saachi Jain, responsable de los sistemas de seguridad de la empresa, indicó que el modelo «no ha alcanzado del todo el nivel esperado en cuanto al respeto del alcance y los permisos, ni en la manera en que rinde cuentas al usuario del trabajo realizado». En el lanzamiento de Astra, OpenAI destacaba su propia evaluación, donde el modelo nunca salía del alcance permitido. Ningún método permite hoy garantizar que un modelo esté alineado: solo se puede probar, escenario por escenario. De ahí el interés, para las empresas, de limitar los derechos de acceso de los agentes y hacer validar las acciones sensibles por un humano, en lugar de confiar únicamente en la etiqueta «alineado».
