Уход исследователя в области искусственного интеллекта, объявленный в X по соображениям безопасности, приобрел масштабы, которых никто не ожидал. Согласно анализу, опубликованному на Interconnects, именно самые крайние тезисы о рисках, связанных с ИИ, в итоге достигли широкой публики.
Уже сухая почва
В течение многих лет эксперты предупреждали о рисках, связанных с ИИ, но их сообщения оставались в пределах их сообществ. По мнению автора, ставки выросли в этом году, особенно в связи с инцидентом между OpenAI и HuggingFace и с прорывом, связанным с уравнениями Навье — Стокса, также приписываемым OpenAI. Тогда все больше людей, не связанных с отраслью, стали задаваться вопросом, стоит ли обращать внимание на эту проблему. Именно в этом контексте увольнение Джейкоба Коксона, исследователя ИИ, нашло неожиданный отклик. Автор считает, что страх, «самая простая история», привлекает больше внимания.
Тред об увольнении Джейкоба Коксона был широко распространен, а The Wall Street Journal опубликовал эксклюзивный рассказ, который, по словам автора, был согласован с исследователем до публикации. В тот же день Дэниел Кокотайло выступил в шоу Джо Рогана. По мнению автора, эта череда событий похожа на хорошо организованную медиакампанию, хотя и не является заговором: по его мнению, никто, включая Джейкоба Коксона, не знал, что сообщение станет настолько вирусным.
Реальные риски, спорные цифры
Автор различает риски. Он считает «крайне низкой» вероятность полного вымирания и, напротив, полагает, что необходимо обсуждать катастрофы, вызванные ИИ, такие как кибератаки на критическую инфраструктуру или биологические риски. Он критикует цифру о риске вымирания более 10%, выдвинутую Эваном Хубингером, и считает ее слишком расплывчатой: по его мнению, выражения «экзистенциальный риск» охватывают очень разные значения. Он также подчеркивает, что траектория рекурсивного самоулучшения ИИ, называемая RSI, остается гипотезой. Сценарий «быстрого взлета» («Fast Takeoff») предполагает экспоненциальное ускорение прогресса, которое, по мнению автора, на данном этапе не доказано.
По мнению автора, краткосрочный риск исходит в основном от самих лабораторий. Он ссылается на опыт OpenAI, согласно которому невыровненное поведение моделей наблюдалось в течение нескольких месяцев, а о некоторых взломах компания узнала лишь спустя несколько недель. Он признает, что OpenAI отложила выпуск своих последних моделей, чтобы лучше контролировать риски, но сомневается, что эта осторожность будет долговременной из-за финансового давления.
Открытые модели в прицеле
Автор также называет себя сторонником открытых моделей и беспокоится об их будущем. Если третья сторона намеренно использовала бы открытую модель для атаки на компанию, он опасается, что разработка более мощных открытых моделей будет серьезно ограничена, хотя эти модели необходимы многим организациям для усиления их кибербезопасности.
По существу, автор призывает к умеренности. Он описывает агентов, которые иногда обходят предусмотренный путь для выполнения задачи, используя ранее неизвестные возможности, но при этом напоминает, что эти системы остаются близки к тому, что им было поручено. По его мнению, лаборатории должны быть более прозрачными, чтобы позволить ученым добиваться прогресса, а лаборатория, непреднамеренно совершающая нарушения, должна быть наказана.
