The New York Times сообщает об инциденте с участием ИИ-агентов компании Anthropic, который автор посвященного этой теме поста в блоге назвал «довольно серьезным». По его мнению, этот эпизод добавляется к множеству происшествий, вызванных агентами, которые случаются «с тревожной регулярностью».
ИИ-агент — это система, способная автономно выполнять последовательность действий без человеческого надзора на каждом этапе. В своем посте автор давно утверждает, что компания OpenAI подходит к этой проблеме недостаточно серьезно. По его словам, инциденты в Anthropic показывают, что «нынешнему поколению синтетических агентов просто нельзя доверять». Он считает, что их следует снять с рынка, пока они не будут исправлены, «как автомобиль с неисправными тормозами».
Автор также ссылается на интервью, которое Дэвид Робинсон дал журналисту Эзре Клейну. Бывший сотрудник ИИ-сектора, недавно ушедший из него, Робинсон заявил: «Я не думаю, что мы, наши коллеги или кто-либо еще в отрасли проявляют достаточную осторожность». Он добавляет, что «OpenAI и ее коллеги теперь производят технологию более мощную и более рискованную, чем та, что разрабатывалась всего полгода назад».
Робинсон представляет себя скорее как писателя, а не ученого. Он описывает рабочую среду, в которой, по его мнению, «мы действуем, и я считаю, что вся отрасль действует, все еще как стартап, больше, чем это было бы разумно». Он предупреждает об опасных системах, которые могут представлять риски, такие как потеря контроля, и причинять вред «гораздо больший, чем одна плавящаяся атомная электростанция». Он считает, что внутренний контроль, безопасность и резервирование «далеки от того, что мир ожидает от атомной электростанции».
Эти опасения не совсем новы. Робинсон напоминает, что OpenAI публично сообщала о проблемах с безопасностью, как и другие игроки, и что Anthropic также сообщила о случае, когда его защитные механизмы были ошибочно настроены. Он считает, что у публики уже есть признаки того, что «все не так, как должно быть», при этом полагая, что внешние наблюдатели могут представлять себе более надежную систему безопасности, чем та, что существует на самом деле.
Ответ, признанный недостаточным
Автор поста также критикует реакцию администрации Трампа. Он называет «вялым» требование о повышении прозрачности к компаниям, сравнивая его с требованием к преступникам ежемесячно отчитываться о совершенных преступлениях. По его мнению, каждый день без более решительных действий — это «ошибка, которая ведет к более серьезным проблемам». Он считает, что «давно пора» ввести временный отзыв этой признанной опасной технологии, и заключает, что если произойдет серьезный инцидент, ответственность за него понесет Белый дом, а не только технологические компании.
