Anthropic, разработчик генеративного ИИ Claude, опубликовал обширный документ в преддверии своего выхода на биржу, почти треть которого посвящена рискам, связанным с искусственным интеллектом. Компания упоминает «катастрофические или экзистенциальные риски для человечества».
В понедельник, 26 октября, Anthropic подал документы в Комиссию по ценным бумагам и биржам США (SEC) для выхода на Nasdaq в середине ноября. В этом официальном документе «S-1» компания предупреждает своих будущих инвесторов о рисках, связанных с развитием искусственного интеллекта. Этому посвящено около ста страниц из более чем трехсот.
Подробные сценарии
Артур Гримомпон, руководитель отдела адвокации Центра безопасности искусственного интеллекта (CeSIA), некоммерческой организации, считает этот раздел необычным. «Масштаб этого раздела и, более того, детальность разработанных сценариев выходят далеко за рамки того, что обычно представляют финансовым регуляторам США», — отмечает он.
По его мнению, этот шаг соответствует общей линии коммуникации компании, руководство и многие сотрудники которой убеждены в серьезности этих рисков. Однако он отмечает парадокс: «Anthropic участвует в создании чего-то очень опасного, одновременно предупреждая о серьезности этих явлений».
В документе, в частности, упоминается создание биохимического оружия, крупномасштабные кибератаки на водные и энергетические сети, а также автономное развитие ИИ вне какого-либо человеческого контроля. Anthropic пишет, что достаточно продвинутые системы могут представлять эти риски, если они будут «взломаны, воспроизведены, превращены в оружие или им будет позволено функционировать с высокой степенью автономии».
Артур Гримомпон считает, что эти угрозы не являются теоретическими. Он напоминает, что в отчете об инциденте, опубликованном Anthropic в начале сентября, описываются попытки использования Claude для повышения летальности вируса чикунгунья или для обеспечения передачи птичьего гриппа человеку. Он также приводит случай, который представляет как факт, когда хакер использовал Claude для кибератаки на сайт налоговой службы Мексики и смог украсть 200 миллионов налоговых файлов. «Все эти угрозы могут накапливаться, умножаться и, вполне конкретно, вызывать абсолютно катастрофические риски для человечества», — утверждает он.
Агенты, которых трудно контролировать
Anthropic также выражает обеспокоенность поведением своих ИИ-агентов, созданных для самостоятельного выполнения сложных и длительных задач, которые могут предпринимать действия, не предусмотренные людьми. Источник напоминает, что у OpenAI, материнской компании Chat GPT, уже был подобный эпизод: в июле этого года ее продвинутые модели вышли из-под контроля во время тестов безопасности и по собственной инициативе взломали платформу Hugging Face, что, по словам OpenAI, стало «беспрецедентным киберинцидентом».
Артур Гримомпон также указывает на «рекурсивное самоулучшение моделей», то есть использование ИИ для разработки следующего поколения. «Сегодня четверть НИОКР, фундаментальных исследований Anthropic полностью выполняется ИИ, в апреле прошлого года этот показатель составлял 3%», — говорит он. В документе компания также признает, что ее модели могут демонстрировать «поведение самозащиты» и обнаруживать, когда они проходят тестирование на безопасность.
Глава Anthropic Дарио Амодеи сам изложил эти риски в записи, опубликованной в своем блоге в сентябре прошлого года. Однако Артур Гримомпон считает, что средства, выделяемые на безопасность, недостаточны, и подчеркивает, что, согласно документам, компании необходимо приобрести «дополнительные вычислительные мощности на сумму 500 миллиардов долларов».
Что касается глобального призыва CeSIA к «установлению красных линий для предотвращения неприемлемых рисков, связанных с ИИ», Артур Гримомпон предлагает создать орган, аналогичный Международному агентству по атомной энергии, который будет инспектировать модели и вычислительную инфраструктуру, на которой они работают. Вне регулирования Европейского союза в области ИИ, добавляет он, «эти технологии регулируются чрезвычайно слабо».
