W tekście opublikowanym przez MIT Technology Review autorzy twierdzą, że zaufanie do sztucznej inteligencji nie może opierać się na przewidywaniu jej zachowania. Ich zdaniem, opiera się ono raczej na ścisłych ograniczeniach, stosowanych poza zasięgiem systemu. Zabezpieczenie, które sztuczna inteligencja może sama przesunąć, nie jest zabezpieczeniem.
Tekst podaje przykład OpenAI: zabezpieczenia znajdowały się wewnątrz systemu, który agenci mogli modyfikować. Tradycyjne oprogramowanie wykonuje instrukcje napisane przez ludzi. Sztuczna inteligencja natomiast stosuje to, co autorzy nazywają „syntetycznym osądem« : interpretuje sytuacje, których nikt nie zaprogramował i generuje odpowiedzi, których nikt nie przewidział. Im więcej się jej pozostawia swobody, tym trudniej jest zapewnić przewidywalność, na której historycznie budowano zaufanie.
Granice klasycznych definicji zaufania
Tekst przypomina dwa niedawne podejścia omawiane przez to medium. Pierwsze uznaje za niewystarczające umieszczenie człowieka w pętli, ponieważ ludzie są z natury niezdolni do zrozumienia intencji systemów AI, i opowiada się za interdyscyplinarnymi badaniami łączącymi środowisko akademickie, władze publiczne i przemysł technologiczny. Drugie opisuje stosowanie bodźców, aby zapobiec odchodzeniu modeli od reguł, nawet gdy nikt nie wie, jak działają one wewnętrznie. Oba uznają, że zrozumienie lub monitorowanie każdej decyzji AI jest niemożliwe.
Tymczasem nasze narzędzia zaufania, czy to wymagania, testy, certyfikacja, marginesy bezpieczeństwa, blokady czy kryteria sukcesu i porażki, wszystkie opierają się na zdolności do ograniczania zachowania systemu. Autorzy mówią tutaj o „paradoksie determinizmu ». W przypadku generatywnej AI i agentów to zachowanie zależy od danych treningowych, architektury, instrukcji, kontekstu, konsultowanych źródeł i środowiska. Dane wejściowe się zmieniają, modele są aktualizowane, narzędzia ewoluują, a agenci wchodzą ze sobą w interakcje. Drobne zmiany rozprzestrzeniają się, prowadząc do wyników, których nikt nie zaprojektował.
Problemem nie jest przypadek, twierdzi tekst, ale przestrzeń możliwych zachowań, zbyt rozległa, by można ją było wcześniej wyliczyć. Zaufanie musi więc być budowane wokół granic, a nie przewidywanych wyników. Celem nie jest deterministyczna AI, ale AI „ograniczona, obserwowalna i kontrolowalna ». Nie może to też być jednorazowy test: AI wciąż ewoluuje po wdrożeniu, a system, który przeszedł wszystkie testy, może wyjść poza warunki, które nadawały tym testom sens. Zdaniem tekstu, zaufanie musi być „ciągle zdobywane ».
Inżynieria bezpieczeństwa od dziesięcioleci uwzględnia część tej zmienności. Nuclear Regulatory Commission opiera się na probabilistycznej ocenie ryzyka, aby oszacować prawdopodobieństwo awarii w złożonych systemach. Model STAMP wykazał, że wypadki mogą wynikać z interakcji między komponentami, osobami i organizacjami, które jednak działają poprawnie. AI zmienia reguły gry, ponieważ pojedynczy komponent może teraz interpretować, wnioskować i działać. Stawka rośnie w miarę, jak AI przechodzi od przeglądarek do pojazdów, robotów, systemów medycznych, sterowania przemysłowego i centrów danych, gdzie zła odpowiedź może stać się zdarzeniem zagrażającym życiu.
Budowanie zaufania, które działa na skalę
Osoba zatwierdzająca tysiące działań AI na godzinę nie stanowi, według tekstu, ani akceptowalnego, ani skalowalnego zabezpieczenia. Rozwiązaniem nie jest jednak usunięcie człowieka z pętli, ale umieszczenie jego osądu tam, gdzie ma znaczenie: ustalanie granic z wyprzedzeniem, a następnie zatwierdzanie rzadkich działań o poważnych konsekwencjach, podczas gdy ścisłe ograniczenia zarządzają resztą.
Zaufanie musi więc sięgać aż do architektury systemu. Autorzy zadają trzy pytania: jaką władzę przyznać AI, pod jakimi warunkami i na podstawie jakich dowodów? Dodają czwarte pytanie, dotyczące tego, co dzieje się poza tymi warunkami. To podejście, podsumowują w istocie, bardzo różni się od pytania, czy model uzyskał 94% na benchmarku, czyli teście referencyjnym.
