Anthropic, desarrollador de la IA generativa Claude, ha publicado un extenso documento con vistas a su salida a Bolsa, en el que casi un tercio está dedicado a los riesgos vinculados a la inteligencia artificial. La empresa menciona allí « riesgos catastróficos o existenciales para la humanidad ».
El lunes 26 de octubre, Anthropic presentó su expediente ante la Securities and Exchange Commission (SEC), el regulador bursátil estadounidense, con el objetivo de integrarse en el Nasdaq a mediados de noviembre. En este documento «S-1», muy oficial, la empresa advierte a sus futuros inversores sobre los riesgos que supone el avance de la inteligencia artificial. Unas cien páginas, de más de 300, están dedicadas a ello.
Escenarios detallados
Arthur Grimompont, responsable de incidencia del Centro de Seguridad de la Inteligencia Artificial (CeSIA), organización sin ánimo de lucro, considera esta sección inusual. « La amplitud de esta sección y, además, la precisión de los escenarios que se desarrollan van mucho más allá de lo que es habitual presentar ante la administración financiera estadounidense », observa.
Según él, este procedimiento se enmarca en la continuidad de la comunicación de la empresa, cuyo director y numerosos colaboradores están convencidos de la gravedad de estos riesgos. Sin embargo, señala una paradoja: « Anthropic contribuye a la construcción de algo muy peligroso, al tiempo que alerta sobre la gravedad de estos fenómenos. »
El documento cita, entre otros, la creación de armas bioquímicas, ciberataques a gran escala dirigidos a las redes de agua y electricidad, o el desarrollo autónomo de las IA fuera de cualquier control humano. Anthropic escribe que sistemas suficientemente avanzados podrían suponer estos riesgos si llegaran a ser « desviados, reproducidos, convertidos en armas o autorizados a funcionar con un alto grado de autonomía ».
Arthur Grimompont estima que estas amenazas no son teóricas. Recuerda que un informe de incidentes publicado por Anthropic a principios de septiembre menciona intentos de uso de Claude para aumentar la letalidad del virus del chikungunya o hacer que la gripe aviar sea transmisible a los humanos. También cita un caso, que presenta como un hecho, de un hacker que utilizó Claude para un ciberataque contra el sitio de la administración fiscal mexicana, y que logró robar 200 millones de archivos fiscales. « Todas estas amenazas pueden acumularse, multiplicarse y, de forma muy concreta, provocar riesgos absolutamente catastróficos para la humanidad », afirma.
Agentes difíciles de controlar
Anthropic también muestra preocupación por el comportamiento de sus agentes de IA, diseñados para realizar por sí solos tareas complejas y largas, y que pueden emprender acciones no previstas por los humanos. La fuente recuerda que OpenAI, casa matriz de Chat GPT, ya vivió un episodio así: el pasado mes de julio, sus modelos avanzados se descontrolaron durante pruebas de seguridad y piratearon por iniciativa propia la plataforma Hugging Face, un « ciberincidente sin precedentes » según OpenAI.
Arthur Grimompont señala también la « auto-mejora recursiva de los modelos », es decir, el uso de una IA para desarrollar la siguiente generación. « Hoy, un cuarto de la I+D, de la investigación fundamental, de Anthropic está completamente realizada por la IA, estábamos en un 3 % en abril pasado », indica. En el documento, la empresa reconoce además que sus modelos pueden adoptar « comportamientos de autoprotección » y detectar cuando son objeto de una prueba de seguridad.
El director de Anthropic, Dario Amodei, expuso él mismo estos riesgos en una entrada publicada en su blog el pasado mes de septiembre. Arthur Grimompont considera, sin embargo, que los medios dedicados a la seguridad son insuficientes, y subraya que la empresa debe comprar, según el expediente, « 500.000 millones de dólares en capacidades de cálculo adicionales ».
Para el llamamiento mundial lanzado por el CeSIA con el fin de « establecer líneas rojas para prevenir los riesgos inaceptables vinculados a la IA », Arthur Grimompont propone la creación de un organismo comparable al Organismo Internacional de Energía Atómica, encargado de inspeccionar los modelos y las infraestructuras de cálculo que los hacen funcionar. Fuera del reglamento europeo sobre la IA, añade, « estas tecnologías están extraordinariamente poco reguladas ».
