El New York Times informa de un incidente que involucra a agentes de IA de Anthropic, calificado de « bastante serio » por el autor de una entrada de blog dedicada al tema. Para él, este episodio se suma a numerosos incidentes causados por agentes, que ocurren « con una regularidad inquietante ».
- El New York Times informa de un incidente grave con agentes de IA de Anthropic.
- El autor considera que los agentes actuales no son fiables.
- Pide retirar del mercado estos agentes hasta que sean corregidos.
- Juzga insuficiente la respuesta de la administración Trump y cree que ya es tarde para actuar.
Un agente de IA designa un sistema capaz de encadenar acciones de manera autónoma, sin supervisión humana en cada etapa. En su entrada, el autor afirma desde hace tiempo que la empresa OpenAI gestiona este problema de forma insuficiente. Según él, los incidentes ocurridos en Anthropic muestran que « la generación actual de agentes sintéticos simplemente no puede ser digna de confianza ». Considera que deberían ser retirados del mercado mientras no hayan sido corregidos, « como un coche cuyos frenos están defectuosos ».
El autor se apoya también en una entrevista concedida por David Robinson al periodista Ezra Klein. Exempleado del sector de la IA, que se marchó recientemente, Robinson declara allí: « No creo que nosotros, ni nuestros pares, ni realmente nadie en el sector, seamos lo suficientemente prudentes ». Añade que « OpenAI y sus pares producen ahora una tecnología más capaz y más arriesgada que la que se desarrollaba hace apenas seis meses ».
Robinson se presenta a sí mismo más como un autor que como un científico. Describe un entorno de trabajo en el que, según él, « funcionamos, y creo que todo el sector funciona, aún como una startup, más de lo que sería razonable ». Advierte sobre sistemas peligrosos que podrían presentar riesgos, como la pérdida de control, y que causarían un daño « mucho mayor que una sola central nuclear fundiéndose ». Juzga que los controles internos, la seguridad y las redundancias están « lejos de lo que el mundo espera de una central nuclear ».
Estas inquietudes no son totalmente nuevas. Robinson recuerda que OpenAI ha señalado públicamente problemas de seguridad, al igual que otros actores, y que Anthropic también informó de un caso en el que sus salvaguardas habían sido configuradas por error. Considera que el público ya dispone de señales que muestran que « las cosas no son como deberían ser », al tiempo que estima que los observadores externos pueden imaginar un dispositivo de seguridad más sólido que el que existe realmente.
Una respuesta considerada insuficiente
El autor de la entrada también critica la reacción de la administración Trump. Juzga « anémica » la petición de mayor transparencia dirigida a las empresas, que compara con la de pedir a criminales que declaren cada mes los crímenes que han cometido. Según él, cada día sin una acción más firme es « un error que invita a problemas más graves ». Considera que « ya pasó hace tiempo el momento » de imponer una retirada temporal de esta tecnología considerada peligrosa, y concluye que, si ocurre un incidente grave, la Casa Blanca, y no solo las empresas tecnológicas, asumirá la responsabilidad.
