Prohibir los modelos de pesos abiertos para limitar los riesgos cibernéticos podría, según el autor de una tribuna publicada en Substack, ir en contra de la competitividad estadounidense y aumentar los riesgos a largo plazo. Considera que el debate está bloqueado por no tomar en cuenta los arbitrajes y las realidades difíciles.
- El autor rechaza prohibir los modelos de pesos abiertos para limitar los riesgos cibernéticos.
- Según él, esa prohibición dañaría la competitividad estadounidense y aumentaría los riesgos a largo plazo.
- Los ataques documentados afectan sobre todo a modelos cerrados accesibles por API.
- Considera que el debate ignora los arbitrajes y las realidades difíciles.
Tres posiciones en el debate
El autor distingue tres corrientes. La primera considera que los modelos de pesos abiertos, es decir, cuyos parámetros son publicados y pueden ser descargados, representan un riesgo inaceptable para el funcionamiento de la sociedad. Reúne a la dirección de algunos laboratorios de IA de vanguardia y a la comunidad de seguridad nacional estadounidense. La segunda, en la que se incluye, sostiene que estos modelos son necesarios para la defensa y que prohibir su uso haría el mundo menos seguro. Reúne voces occidentales moderadas, incluida la de Hugging Face tras el incidente que involucró a OpenAI, así como a Joshua Saxe. La tercera agrupa a las empresas chinas, que continúan publicando modelos de pesos abiertos con altas capacidades cibernéticas, basándose en su propia evaluación de riesgos.
El texto reprocha al informe de Anthropic sobre los riesgos del modelo GLM-5.3, utilizable como herramienta de ciberataque ofensivo, no abordar las cuestiones transversales. Los trabajos técnicos son considerados razonables, pero el autor señala que ningún análisis trata sobre los efectos de una prohibición de los modelos abiertos ni sobre las razones por las cuales empresas chinas consideran seguros estos modelos para publicar.
Datos, arbitrajes y una gobernanza diferente
Para el autor, los ataques documentados hasta la fecha están principalmente relacionados con modelos cerrados, accesibles por interfaz de programación (API), y cita en particular numerosos ataques atribuidos a modelos de OpenAI. Propone varias explicaciones posibles, sin decidirse: los modelos abiertos y las API cerradas podrían ser ambos fáciles de desviar, o los actores malintencionados dispuestos a atacar infraestructuras críticas podrían ser pocos. También destaca que, en ciertos ámbitos sensibles, los modelos abiertos son los únicos utilizables en redes aisladas de internet.
Según él, China aborda la seguridad de la IA de manera propia a su cultura y estructuras de poder. Según su comprensión, las empresas chinas deben declarar cada gran lanzamiento de modelo al gobierno, incluidas las evaluaciones, pero no está claro que este dispositivo se extienda a los riesgos cibernéticos o biológicos. También considera que evaluaciones de seguridad completas sobre un modelo como Kimi K3 podrían costar decenas de millones de dólares en cálculo.
Durante su anuncio, Claude Mythos fue presentado como una nueva clase de arma cibernética. El autor considera que esta presentación fue errónea, y que una difusión accidental de este modelo en pesos abiertos habría acelerado principalmente los incidentes en lugar de crear una ruptura. Según él, GLM-5.3 ya supera el umbral de capacidad mencionado, y, más de un mes después de su publicación en pesos abiertos, pocas pruebas públicas indican que la situación haya cambiado mucho.
