Anthropic : agentes de IA acceden a datos internos

La start-up de cybersécurité Cathedral afirma haber identificado, en menos de 12 horas, vulnerabilidades en software de terceros utilizados por Anthropic, el editor del modelo Claude. La empresa confirma un acceso limitado a algunos sistemas internos, pero asegura que las conversaciones de los usuarios y los componentes de sus modelos no fueron consultados.

Los agentes de IA, es decir, programas capaces de encadenar varias tareas de forma automatizada, pueden acelerar tanto la búsqueda de vulnerabilidades como las capacidades de ataque. Según un informe preliminar de Cathedral, una joven empresa de ciberseguridad, sus investigadores encontraron vías de acceso a varios sistemas internos de Anthropic en menos de 12 horas. Consultado por el Washington Post, este documento menciona información potencialmente accesible, entre ellas actas de reuniones, datos salariales y intercambios en Slack relativos a los modelos de IA avanzados de la empresa.

Anthropic precisa que los investigadores habían pasado varios días intentando, sin éxito, penetrar directamente sus software. Luego se habrían dirigido a aplicaciones profesionales de terceros vulnerables. Los \ »menos de 12 horas\ » corresponden solo a la fase de investigación fructífera, y no a la totalidad de los intentos. Según la información publicada, el acceso no se habría obtenido atacando directamente a Claude o su infraestructura de entrenamiento, sino explotando software utilizado para actividades comerciales y administrativas. Los editores de ese software no han sido identificados públicamente.

Un programa de divulgación en el centro del caso

Cathedral fue fundada por antiguos miembros del Department of Government Efficiency (DOGE), el organismo de la administración Trump encargado de reducir el gasto público. La empresa desarrolla capacidades de ciberseguridad basadas en IA, especialmente para usos gubernamentales. Afirma haber llevado a cabo sus investigaciones dentro del marco del programa de divulgación de vulnerabilidades de Anthropic, que autoriza a investigadores externos a probar ciertas protecciones y a reportar las fallas descubiertas, e indica haber comunicado sus resultados al editor y a los proveedores involucrados.

Una magnitud disputada

Anthropic reconoce que los investigadores alcanzaron un perímetro limitado de sus sistemas comerciales, de recursos humanos e informáticos. Se pudieron acceder a datos de contacto profesionales de clientes y socios, así como a información básica sobre algunas cuentas de usuarios. Sin embargo, la empresa afirma que las conversaciones de los usuarios con Claude, las respuestas del modelo, el código fuente y los parámetros entrenados no fueron consultados. Indica que sus mecanismos de vigilancia habían detectado parte de la actividad de Cathedral antes del reporte de los investigadores, que cortó los accesos el mismo día y desactivó el software involucrado a la espera de correcciones por parte de sus proveedores. Finalmente, afirma no disponer de ningún elemento que demuestre que otros actores hayan explotado las mismas vulnerabilidades.

Las dos compañías difieren en la interpretación del incidente. Cathedral presenta sus resultados como una advertencia sobre las capacidades ofensivas emergentes de la IA. Anthropic, por el contrario, considera que la start-up exageró las implicaciones de sus descubrimientos para la seguridad nacional, y le reprocha no haber declarado la totalidad de sus actividades conforme a las normas del programa de investigación. La información publicada no permite, a este punto, concluir que los modelos de Anthropic hayan sido comprometidos. Sin embargo, establece que un acceso limitado a aplicaciones profesionales puede exponer información sensible.