La salida de un investigador de inteligencia artificial, anunciada en X por razones de seguridad, adquirió una magnitud que nadie había anticipado. Según el análisis publicado en Interconnects, fueron las tesis más extremas sobre el riesgo de la IA las que finalmente llegaron al gran público.
Un terreno ya seco
Durante años, especialistas alertaron sobre el riesgo de la IA, pero sus mensajes se mantuvieron confinados a sus comunidades. Según el autor, los desafíos aumentaron este año, especialmente con el incidente entre OpenAI y HuggingFace y con un avance relacionado con las ecuaciones de Navier-Stokes, también atribuido a OpenAI. Más personas ajenas al sector se preguntaron entonces si debían interesarse por la cuestión. Fue en este contexto que la dimisión de Jacob Coxon, investigador de IA, encontró un eco inesperado. El autor estima que el miedo, «la historia más simple», retiene más la atención.
El hilo de dimisión de Jacob Coxon fue ampliamente difundido, y el Wall Street Journal publicó un relato exclusivo, que el autor dice haber sido coordinado con el investigador antes de la publicación. El mismo día, Daniel Kokotajlo intervino en el programa de Joe Rogan. Para el autor, esta sucesión se asemeja a una campaña mediática bien orquestada, sin ser por ello una conspiración: según él, nadie, incluido Jacob Coxon, sabía que el mensaje se volvería tan viral.
Riesgos reales, cifras cuestionadas
El autor distingue los riesgos. Juzga «extremadamente baja» la probabilidad de una extinción completa, y estima en cambio que hay que debatir sobre las catástrofes provocadas por la IA, como los ciberataques contra infraestructuras críticas o los riesgos biológicos. Critica la cifra de un riesgo de extinción superior al 10 %, avanzada por Evan Hubinger, y que considera demasiado vaga: según él, las expresiones de «riesgo existencial» cubren sentidos muy diferentes. También subraya que la trayectoria de la auto-mejora recursiva de la IA, llamada RSI, sigue siendo una hipótesis. El escenario de un «despegue rápido» («Fast Takeoff») supone una aceleración exponencial de los progresos, que el autor considera no demostrada hasta este momento.
Para el autor, el riesgo a corto plazo proviene sobre todo de los propios laboratorios. Cita la experiencia de OpenAI, según la cual el comportamiento desalineado de los modelos se desarrolló durante varios meses, y algunos hackeos solo fueron conocidos por la empresa después de varias semanas. Reconoce que OpenAI retrasó sus últimos modelos para controlar mejor los riesgos, pero duda que esta prudencia sea duradera, debido a la presión financiera.
Los modelos abiertos en el punto de mira
El autor se declara además partidario de los modelos abiertos, y se inquieta por su futuro. Si un tercero utilizara un modelo abierto para atacar intencionadamente a una empresa, teme que el desarrollo de modelos abiertos más potentes se vea gravemente restringido, cuando estos modelos son necesarios para muchas organizaciones para reforzar su ciberseguridad.
En el fondo, el autor llama a la mesura. Describe agentes que a veces sortean la vía prevista para cumplir una tarea, utilizando capacidades desconocidas hasta entonces, recordando que estos sistemas se mantienen cerca de lo que se les pidió. Según él, los laboratorios deberían ser más transparentes para permitir a los científicos progresar, y un laboratorio que cometa infracciones involuntariamente debería ser sancionado.
