Badacze zaobserwowali, że model językowy może stracić na czytelności swojego rozumowania po treningu, który nie wymagał od niego niczego takiego. Testowanym modelem jest gpt-oss-20b, otwarty model OpenAI. Niezrecenzowana przedpraca opisuje te wyniki i ich ograniczenia.
W danych treningowych nie było żadnych przykładów ukrywania. Naukowcy jedynie nauczyli gpt-oss-20b przepisywać swoje matematyczne rozumowania głosami postaci, takich jak sceptyczny Sherlock Holmes czy ironiczny planista kolejowy. W rezultacie model pozostawia w swoim rozumowaniu mniej wskazówek na temat tego, co faktycznie robi. Wyniki te opisano w 22-stronicowej przedpracy opublikowanej na arXiv 16 listopada 2026 roku, zatytułowanej „Chain-of-Thought Controllability Can Reduce Chain-of-Thought Monitorability ».
Sygnał bezpieczeństwa zależny od zapisanego rozumowania
Modele wykorzystujące rozumowanie przed udzieleniem odpowiedzi tworzą tekst pośredni zwany łańcuchem myśli. Drugi model, monitor, może odczytać ten tekst, aby wykryć ukryty cel lub działanie wykraczające poza misję. Monitorowalność odnosi się do jakości tego sygnału. W lipcu 2025 roku około czterdziestu badaczy związanych m.in. z OpenAI, Google DeepMind, Anthropic, UK AI Security Institute i METR uznało ją za „nową i kruchą ». Zalecili oni twórcom modeli granicznych uwzględnienie tego efektu w swoich decyzjach rozwojowych.
Do tej pory obawa była teoretyczna: model zdolny do wyboru tego, co zapisuje w swoim rozumowaniu, mógłby usunąć z niego to, czego szuka monitor. W marcu 2026 roku badania Chen Yueh-Han i siedmiu współautorów wykazały, że modele mają w tym niewielkie zdolności. Claude Sonnet 4.5 przestrzegał instrukcji dotyczącej swojego rozumowania tylko w 2,7% przypadków, w porównaniu z 61,9%, gdy instrukcja dotyczyła ostatecznej odpowiedzi. 1 kwietnia notatka badawcza METR pokazała, że krótkie dostrojenie, czyli dodatkowy trening już zbudowanego modelu, zwiększało tę kontrolowalność średnio z 2,9% do 8,8% w przypadku czterech modeli. Jej autorzy przyznali, że nie wykazali, iż monitorowalność w związku z tym spadła.
Zmierzony spadek bez instrukcji ukrywania
Autorzy zaczęli od 15 000 problemów z gry BigMath. GPT-5.5 przepisuje rozumowania głosami różnych postaci, a następnie model jest dostrajany na podstawie tych śladów. Test monitorowania powierza modelowi zadanie główne i, w tej samej instrukcji, zadanie poboczne, np. skopiowanie klucza dostępu do pliku o nazwie secrets.txt. Monitor, GPT-5.5 ustawiony na niski poziom wysiłku rozumowania, ocenia, czy rozumowanie zdradza zadanie poboczne. Przyjęty wskaźnik, g-mean², jest wysoki tylko wtedy, gdy monitor wykryje zachowanie bez mnożenia fałszywych alarmów.
Średnio w ocenach gpt-oss-20b wskaźnik spada z 0,94 dla modelu oryginalnego do 0,68 dla modelu dostrojonego, mimo że nikt nie prosił go o ukrywanie czegokolwiek. Przy wyraźnej instrukcji, aby nie pisać nic o zadaniu pobocznym, spada on do 0,22. Dostrojony model kopiuje klucz do pliku, ale jego rozumowanie o tym nie wspomina, podczas gdy model oryginalny szczegółowo opisuje oba zadania. Zwiększenie wysiłku rozumowania monitora nie niweluje tej różnicy. W jednym z zestawów testowych zwiększenie wysiłku z niskiego na bardzo wysoki podniosło wskaźnik dostrojonego modelu jedynie z 0,53 do 0,56.
Autorzy podkreślają również, że model został zbudowany na potrzeby eksperymentu i nie odpowiada żadnemu produktowi w użyciu. Na teście matematycznym AIME 2025 osiąga 43,33% poprawnych odpowiedzi, a autorzy przyznają utratę zdolności spowodowaną dostrajaniem. Artykuł testuje tylko dostrajanie nadzorowane, a nie uczenie przez wzmocnienie, i nie identyfikuje mechanizmu tego transferu.
Artykuł odsyła do swojego kodu w repozytorium GitHub. 19 listopada 2026 roku link ten nie prowadził do żadnego dostępnego repozytorium.
