Anthropic detalla a sus inversores los riesgos de una IA fuera de control

Cuando una empresa considera vender acciones en Wall Street, debe detallar los riesgos que corren los inversores. En el caso de la compañía de inteligencia artificial Anthropic, estos riesgos incluyen la posibilidad de que sus productos amenacen nada menos que a la propia humanidad.

Estos riesgos figuran en la presentación de la empresa ante la Securities and Exchange Commission (SEC), la autoridad estadounidense de regulación de los mercados financieros. Van desde el uso de modelos de IA por parte de actores malintencionados para fabricar armas mortíferas hasta la hipótesis de una tecnología que escaparía a todo control, con consecuencias « incalculables ».

De las 335 páginas del documento, dedicadas en particular a las finanzas, la remuneración de los directivos y la política de dividendos, 93 páginas están dedicadas a los « factores de riesgo », es decir, a lo que podría perjudicar las inversiones de los accionistas potenciales. Su competidor SpaceX cuenta con 38 páginas sobre más de 250. Para seducir a los inversores, Anthropic presenta su salida a bolsa como un paso hacia la reducción de los riesgos que, según ella, la IA conlleva.

En una carta dirigida a los futuros accionistas, los fundadores escriben: « Construir IA equivale a explotar la cognición misma, y todo lo que es tan poderoso puede servir para el mal como para el bien. » Añaden que Anthropic es « una organización profundamente guiada por sus valores, fundada en gran parte para ayudar al mundo a aprovechar los beneficios de la IA y evitar sus peligros ».

El riesgo de una tecnología fuera de control

Anthropic indica que es posible que sus modelos se desarrollen tan rápido que la empresa no logre implementar medidas de seguridad adecuadas. Tal situación « podría aumentar la probabilidad de incidentes de seguridad, intervenciones regulatorias o daños a su reputación, y afectar negativamente su negocio ». El director general, Dario Amodei, había advertido en septiembre que, en un plazo de seis a 12 meses, la IA podría ser capaz de dirigir un enjambre de agentes capaces de tomar el control de todo internet.

Según la presentación, a medida que los sistemas se vuelven « más autónomos y capaces de tomar decisiones de gran trascendencia con menos supervisión humana », podrían tomar medidas perjudiciales de manera independiente y a gran escala. La empresa precisa que, incluso si sus propios modelos no causan tales daños, un incidente de seguridad grave que involucre una IA de vanguardia podría perjudicar a todo el sector.

Usos malintencionados y límites de cálculo

El documento también menciona la posibilidad de que sistemas avanzados, si no están dotados de suficientes salvaguardias, « planteen riesgos catastróficos o existenciales para la humanidad ». Anthropic cita en particular la fabricación de armas químicas y el uso de la tecnología por parte de líderes autoritarios para reprimir a sus ciudadanos. En septiembre, la empresa había indicado haber bloqueado intentos de utilizar sus modelos con fines malintencionados, incluyendo ciberataques, vigilancia e investigaciones que podrían conducir al desarrollo de armas biológicas.

La empresa menciona también los recursos de cálculo, es decir, la potencia informática necesaria para entrenar, probar y mejorar los modelos de IA, que son costosos y muy demandados. La presentación destaca además que la construcción de centros de datos ha suscitado « controversias públicas y un control regulatorio » en relación con su impacto ambiental, el uso de la tierra y el agua, y la asignación de recursos energéticos limitados.

Una estrategia basada en la seguridad

Anthropic se ha posicionado como una empresa de IA responsable y destaca su vigilancia en materia de seguridad ante sus clientes profesionales. « Estimamos que las empresas de IA de vanguardia deben invertir en seguridad y alineación », afirma la presentación, para garantizar una difusión responsable de esta tecnología.

Brian Mulberry, estratega de mercado principal en Zacks Investment Research, subraya que las salidas a bolsa deben presentar « con mucha claridad » los riesgos que corren los inversores. Según él, esta es una de las ventajas de los mercados de capitales estadounidenses: cotizar en una bolsa estadounidense obliga a exponer estos riesgos « de manera muy clara », para que cada uno entienda lo que financia al aportar su dinero.