Anthropic использует ИИ для ускорения разработки собственных моделей, согласно новому отчету организации по исследованию безопасности ИИ METR. Согласно документу, модели компании прогрессируют примерно в два раза быстрее, чем год назад, без явных признаков замедления. Отчет также поднимает вопрос: что общественность на самом деле знает об этом темпе и сопутствующих рисках?
Отчет стал результатом одиннадцатинедельного расследования внутри компании в рамках оценки ее деятельности по исследованиям и разработкам в области ИИ. По данным METR, результаты на бенчмарках позволяют предположить, что Anthropic совершила «примерно два года исторического прогресса за последний год». Исследователи заявляют, что «уверены»: это ускорение связано не просто с увеличением вычислительной мощности, используемой для обучения моделей, — фактором, который долгое время считался основным двигателем прогресса.
ИИ ускоряет исследования Anthropic
По данным METR, большая часть наблюдаемого в октябре ускорения «обусловлена ИИ», и его вклад будет со временем возрастать. Этот вывод основан на неформальных опросах в Slack и интервью с сотрудниками, которые сообщают о значительном росте производительности. В среднем сотрудники, использующие самую производительную внутреннюю модель компании, заявляют, что их продуктивность примерно в 12 раз выше, чем без помощи ИИ, что примерно вдвое больше, чем они указывали несколько месяцев назад с Mythos 5.
Пока это ускорение в основном обеспечивается ИИ, который помогает людям-исследователям, а не ИИ, работающим автономно. Однако METR предупреждает, что «некоторые признаки указывают на то, что полностью автономный вклад скоро будет играть более важную роль». Исследователи не обнаружили явных признаков убывающей отдачи или узких мест, которые могли бы помешать еще более быстрому ускорению.
Кроме того, три новые модели Anthropic завершили обучение за последние шесть месяцев, но не были опубликованы. Они обозначены кодовыми именами Model 2, Model 3 и Model 4, обучение которых завершилось в июле, в период с августа по сентябрь и с сентября по октябрь соответственно. METR также упоминает неопубликованную модель 2022 года под названием Unreleased 2022. Исследователи уточняют, что «это кодовые имена, которые были нам сообщены; мы понимаем, что у них есть другие внутренние названия».
Зацензурированная информация
Anthropic предоставила METR доступ к непубличной информации, включая конфиденциальные исследования, данные о производительности моделей и интервью с сотрудниками. Однако в отчете уточняется, что доступ не был неограниченным. Anthropic имела право подвергнуть цензуре окончательную версию, и METR утверждает, что представила отчет объемом около 100 страниц, из публичной версии которого была удалена «большая часть доказательств», которые организация считала наиболее информативными.
Anthropic оправдывает эти изъятия риском предоставить преимущество конкурентам. METR, со своей стороны, считает, что «большая часть зацензурированной информации была очень высокого уровня», не высказываясь о коммерческом характере этих решений. В длинном сообщении, опубликованном в X, сооснователь Anthropic Сэм МакКэндлиш признает: «Мы многое зачеркнули, и я согласен, что это затрудняет проверку работы METR». Он заявляет, что компания приняла «правильное решение» и анонсирует скорую публикацию собственного отчета о скорости прогресса в ИИ.
Растущее давление в сторону прозрачности
Отчет вызвал резкую критику среди исследователей безопасности ИИ. Дэниел Кокотайло, бывший исследователь OpenAI, возглавляющий AI Futures Project, обвиняет Anthropic в «безрассудной игре нашими жизнями». Брианна Розен, директор по исследованиям безопасности передовых моделей в Institute for AI Policy and Strategy, считает, что «отчет был недостаточно прозрачен в отношении доказательств». Anthropic отказалась отвечать на вопросы The Verge и сослалась на сообщение Сэма МакКэндлиша.
Нью-йоркский конгрессмен Алекс Борес призвал Конгресс «запретить РСИ, в этом году, если возможно». РСИ, или рекурсивное самоулучшение, означает системы ИИ, способные без вмешательства человека разрабатывать все более мощные системы-преемники. Мариус Хоббхан, основатель и генеральный директор Apollo Research, считает, что результаты «в целом соответствуют» ожиданиям в этой области, «возможно, немного быстрее», и предупреждает: «Готовьтесь к безумию. Все происходит очень быстро».
