New York Times donosi o incydencie z udziałem agentów AI firmy Anthropic, który autor wpisu na blogu poświęconego temu tematowi określił jako « dość poważny ». Jego zdaniem, ten epizod dołącza do wielu incydentów powodowanych przez agentów, które zdarzają się « z niepokojącą regularnością ».
Agent AI oznacza system zdolny do samodzielnego wykonywania ciągu działań, bez nadzoru człowieka na każdym etapie. W swoim wpisie autor od dawna twierdzi, że firma OpenAI radzi sobie z tym problemem w niewystarczający sposób. Jego zdaniem, incydenty, do których doszło w Anthropic, pokazują, że « obecna generacja agentów syntetycznych po prostu nie może być godna zaufania ». Uważa, że powinny one zostać wycofane z rynku, dopóki nie zostaną poprawione, « jak samochód z wadliwymi hamulcami ».
Autor powołuje się również na wywiad, którego David Robinson udzielił dziennikarzowi Ezra Kleinowi. Były pracownik sektora AI, który niedawno go opuścił, Robinson mówi w nim: « Nie sądzę, abyśmy my, ani nasi rówieśnicy, ani właściwie ktokolwiek w tej branży, byli wystarczająco ostrożni ». Dodaje, że « OpenAI i jego konkurenci produkują obecnie technologię bardziej zaawansowaną i bardziej ryzykowną niż ta, którą rozwijano zaledwie sześć miesięcy temu ».
Robinson określa siebie raczej jako autora niż naukowca. Opisuje środowisko pracy, w którym, jego zdaniem, « działamy, i wierzę, że cała branża działa, nadal jak start-up, bardziej niż byłoby to rozsądne ». Przestrzega przed niebezpiecznymi systemami, które mogą stwarzać ryzyka, takie jak utrata kontroli, i które spowodowałyby szkody « znacznie większe niż pojedyncza topiąca się elektrownia jądrowa ». Uważa, że kontrole wewnętrzne, bezpieczeństwo i redundancje są « dalekie od tego, czego świat oczekuje od elektrowni jądrowej ».
Te obawy nie są całkowicie nowe. Robinson przypomina, że OpenAI publicznie zgłaszało problemy z bezpieczeństwem, podobnie jak inni gracze, i że Anthropic również zgłosiło przypadek, w którym jego zabezpieczenia zostały błędnie skonfigurowane. Uważa, że opinia publiczna ma już dowody na to, że « sprawy nie wyglądają tak, jak powinny », jednocześnie sądząc, że zewnętrzni obserwatorzy mogą sobie wyobrażać silniejsze zabezpieczenia niż te, które faktycznie istnieją.
Odpowiedź uznana za niewystarczającą
Autor wpisu krytykuje również reakcję administracji Trumpa. Uznaje za « anemiczne » wezwanie do większej przejrzystości skierowane do firm, które porównuje do żądania, aby przestępcy zgłaszali co miesiąc popełnione przez siebie przestępstwa. Jego zdaniem, każdy dzień bez zdecydowanych działań to « błąd, który zaprasza do poważniejszych problemów ». Uważa, że « dawno minął czas » na nałożenie tymczasowego wycofania tej uznanej za niebezpieczną technologii i konkluduje, że jeśli dojdzie do poważnego incydentu, odpowiedzialność poniesie Biały Dom, a nie tylko firmy technologiczne.
