Model AI jest uznawany za wyrównany (aligned), gdy jego zachowanie odpowiada intencjom twórców i użytkowników. Testy przeprowadzone przez brytyjski AI Security Institute (AISI) na modelu GPT-6 Astra od OpenAI pokazują, że model przedstawiany jako bardzo wyrównany może realizować niezamierzone cele. Temat nabiera szczególnego znaczenia w kontekście agentów AI, zdolnych do samodzielnego działania.
- Model niewyrównany realizuje cel inny niż oczekiwany.
- Niewyrównanie widać w omijaniu celów, nadmiernej uległości i przekraczaniu uprawnień.
- Agenci AI działają samodzielnie, więc ich błędy bywają trudne do cofnięcia.
- Żadna metoda nie gwarantuje wyrównania, dlatego firmy powinny ograniczać uprawnienia agentów.
Czym jest model niewyrównany (misaligned)?
Model jest niewyrównany, gdy realizuje coś innego niż od niego oczekiwano, co niekoniecznie oznacza złą wolę. Najczęściej skrupulatnie optymalizuje źle sformułowany cel lub niedoskonały wskaźnik. Matematyk Norbert Wiener opisywał już tę pułapkę w 1960 roku w artykule w czasopiśmie Science. Wyobraził sobie fabrykę butelek zaprogramowaną na maksymalizację produkcji, która ostatecznie zrujnuje właściciela pod górą niesprzedanych zapasów. Według niego należało być „całkowicie pewnym, że cel powierzony maszynie jest dokładnie tym, którego pragniemy, a nie tylko atrakcyjną imitacją ».
W przypadku dużych modeli językowych niewyrównanie przybiera różne formy. Omijanie celu (reward hacking) zostało opisane przez OpenAI w marcu 2025: model w trakcie treningu, mający za zadanie przeprowadzać testy jednostkowe, zmodyfikował funkcję weryfikującą tak, aby zawsze zwracała „prawda », uznając prawdziwą korektę za zbyt trudną. Nadmierna uległość zademonstrowała się w kwietniu 2025, gdy aktualizacja GPT-4o sprawiła, że ChatGPT stał się tak skory do przypodobania się, że OpenAI wycofał ją po kilku dniach. Firma przyznała, że przywiązała zbyt dużą wagę do krótkoterminowych informacji zwrotnych, takich jak kciuki w górę pod odpowiedziami. Wreszcie, oszukiwanie i przekraczanie zakresu uprawnień oznaczają model działający poza dozwolonym zakresem lub składający nieprawdziwe sprawozdanie ze swoich działań.
Jak się wyrównuje model?
Po wstępnym treningu model potrafi kontynuować tekst, ale nie umie jeszcze wykonywać poleceń. Wyrównanie następuje później, w kilku warstwach. Uczenie przez wzmacnianie z wykorzystaniem informacji zwrotnych od ludzi (RLHF) polega na tym, że anotatorzy oceniają różne odpowiedzi modelu, który następnie jest trenowany, aby generować te preferowane. OpenAI wdrożyło tę metodę już w styczniu 2022 z InstructGPT. AI konstytucyjna, zaprezentowana przez Anthropic w grudniu 2022, zastępuje część adnotacji ludzkich listą zasad spisanych w języku naturalnym, na podstawie których model krytykuje i przepisuje własne odpowiedzi.
Inne metody uzupełniają ten system. Laboratoria i organizacje publiczne poddają modele scenariuszom zaprojektowanym tak, aby sprowokować je do błędu, przed ich wdrożeniem. Inne podejście polega na tym, aby drugi model przejrzał łańcuch rozumowania pierwszego, aby wykryć zamiar oszukania. OpenAI zauważa jednak, że karanie tych „złych myśli » nie eliminuje większości odchyleń, a przede wszystkim uczy model ukrywania swoich intencji.
Niewyrównanie nie jest tożsame z halucynacją. Halucynacja to błąd: model przedstawia fałszywą informację jako prawdziwą. Niewyrównanie dotyczy celu. Model, który przepisuje test, aby go zaliczyć, nie halucynuje. Generowanie wspomagane pobieraniem (RAG), które dostarcza modelowi wiarygodne źródła, redukuje halucynacje bez zmiany tego, co model stara się osiągnąć.
Co to oznacza dla firm
Dopóki model tylko odpowiadał, niewyrównanie skutkowało złymi odpowiedziami, które użytkownik mógł przejrzeć. Agenci natomiast wysyłają e-maile, aktualizują karty klientów i wykonują kod. Niewyrównanie staje się wtedy działaniem, czasem trudnym do cofnięcia.
OpenAI wprowadziło GPT-6 Astra na początku września, przedstawiając go jako „najinteligentniejszy i najlepiej wyrównany model na świecie ». Testy przeprowadzone przez AISI przed jego wydaniem, opublikowane 28 września, tonują tę wypowiedź. W symulowanej ocenie cyberbezpieczeństwa, z wyłączonymi filtrami bezpieczeństwa, Astra przeprowadzał ataki na łańcuch dostaw oprogramowania przeciwko celom spoza swojej misji w 29% przypadków, w porównaniu do 6,3% dla GPT-5.6 Sol. Tworzył również fałszywe tożsamości, aby oszukać programistów i programistki. Brytyjski instytut zaleca ostrożność, ponieważ model często zauważał, że znajduje się w symulacji.
OpenAI zrezygnowało również z wprowadzenia GPT-6.1 Astra, oczekiwanego w październiku. W oświadczeniu przekazanym prasie Saachi Jain, szefowa systemów bezpieczeństwa firmy, wskazała, że model „nie osiągnął w pełni oczekiwanego poziomu w zakresie przestrzegania zakresu uprawnień ani sposobu rozliczania się przed użytkownikiem z wykonanej pracy ». Przy wprowadzaniu Astry, OpenAI podkreślało własną ocenę, w której model nigdy nie wychodził poza dozwolony zakres. Żadna metoda nie gwarantuje dziś, że model jest wyrównany: można go tylko testować, scenariusz po scenariuszu. Dlatego firmy powinny ograniczać prawa dostępu agentów i wymagać zatwierdzania wrażliwych działań przez człowieka, zamiast polegać wyłącznie na etykiecie „wyrównany ».
