Когда компания планирует продавать акции на Уолл-стрит, она обязана детально описать риски для инвесторов. В случае компании по искусственному интеллекту Anthropic эти риски включают возможность того, что её продукты угрожают ни много ни мало самому человечеству.
Эти риски указаны в документах компании, поданных в Комиссию по ценным бумагам и биржам (SEC), американский регулятор финансовых рынков. Они варьируются от использования моделей ИИ злоумышленниками для создания смертоносного оружия до гипотезы о технологии, вышедшей из-под всякого контроля, с «неисчислимыми» последствиями.
Из 335 страниц документа, посвящённых в том числе финансам, вознаграждению руководителей и дивидендной политике, 93 страниц отведены «факторам риска», то есть тому, что может навредить инвестициям потенциальных акционеров. У её конкурента SpaceX таких страниц 38 из более чем 250. Чтобы привлечь инвесторов, Anthropic представляет своё IPO как шаг к снижению рисков, которые, по её мнению, несёт ИИ.
В письме к будущим акционерам основатели пишут: «Создание ИИ — это освоение самой когниции, и всё столь же мощное может служить как злу, так и добру». Они добавляют, что Anthropic — это «организация, глубоко руководствующаяся своими ценностями, основанная в значительной степени для того, чтобы помочь миру извлечь пользу из благ ИИ и избежать его опасностей».
Риск технологии, вышедшей из-под контроля
Anthropic указывает, что её модели могут развиваться так быстро, что компания не успеет внедрить адекватные меры безопасности. Такая ситуация «может увеличить вероятность инцидентов безопасности, регуляторного вмешательства или ущерба репутации и негативно повлиять на её бизнес». Генеральный директор Дарио Амодеи предупреждал в сентябре, что в срок от шести до 12 месяцев ИИ может стать способным управлять роем агентов, способных захватить весь интернет.
Согласно документам, по мере того как системы становятся «более автономными и способными принимать далеко идущие решения с меньшим человеческим надзором», они могут предпринимать вредоносные действия самостоятельно и в больших масштабах. Компания уточняет, что даже если её собственные модели не нанесут такого ущерба, серьёзный инцидент безопасности с участием передового ИИ может навредить всей отрасли.
Злонамеренное использование и вычислительные ограничения
В документе также упоминается возможность того, что передовые системы, если они не оснащены достаточными ограничителями, «будут представлять катастрофические или экзистенциальные риски для человечества». Anthropic в частности называет производство химического оружия и использование технологии авторитарными лидерами для подавления своих граждан. В сентябре компания сообщала, что блокировала попытки использовать её модели в злонамеренных целях, включая кибератаки, слежку и исследования, которые могут привести к разработке биологического оружия.
Компания также упоминает вычислительные ресурсы, то есть вычислительную мощность, необходимую для обучения, тестирования и улучшения моделей ИИ, которые являются дорогими и очень востребованными. В документах также подчёркивается, что строительство центров обработки данных вызвало «общественные споры и регуляторный контроль» в отношении их воздействия на окружающую среду, использования земли и воды, а также распределения ограниченных энергетических ресурсов.
Стратегия, основанная на безопасности
Anthropic позиционирует себя как ответственная компания в области ИИ и подчёркивает свою бдительность в вопросах безопасности перед корпоративными клиентами. «Мы считаем, что передовые компании в области ИИ должны инвестировать в безопасность и согласование», — говорится в документах, чтобы обеспечить ответственное распространение этой технологии.
Брайан Малберри, главный рыночный стратег в Zacks Investment Research, отмечает, что IPO должны представлять риски для инвесторов «очень чётко». По его словам, это одно из преимуществ американских рынков капитала: листинг на американской бирже обязывает раскрывать эти риски «очень ясно», чтобы каждый понимал, что он финансирует, вкладывая свои деньги.
