Florent Delgrange, badacz podoktorski w Artificial Intelligence Lab na Vrije Universiteit Brussel (VUB), otrzymał nagrodę za najlepszy artykuł Blue Sky (Best Blue Sky Paper Award) na konferencji AAMAS 2026 za swoją pracę zatytułowaną „Foundation World Models for Agents that Learn, Verify, and Adapt Reliably Beyond Static Environments ». W wywiadzie przedstawia proponowany przez siebie program badawczy: umożliwić autonomicznemu agentowi ciągłe uczenie się w zmieniającym się świecie, bez utraty gwarancji, które czynią jego zachowanie godnym zaufania.
Jego artykuł wychodzi od prostego spostrzeżenia. Uczenie przez wzmacnianie, polegające na nauce metodą prób i błędów, może być stosowane w środowiskach, dla których nigdy nie da się spisać wszystkich reguł. Jednak agent zwykle dąży do maksymalizacji nagrody, a źle zdefiniowana nagroda może być wykorzystana. Wysoka nagroda sama w sobie nie dowodzi więc, że wymóg bezpieczeństwa lub koordynacji jest spełniony. Z kolei synteza reaktywna, metoda wywodząca się z metod formalnych, opiera się na modelu środowiska i logicznym opisie oczekiwanego zachowania, aby zbudować politykę poprawną z założenia. Zakłada jednak model wyraźny i stały, czego brakuje agentowi działającemu w otwartym i zmieniającym się świecie.
Propozycja polega na połączeniu tych dwóch podejść w jednej pętli. model świata, czyli wewnętrzna reprezentacja środowiska, byłby uczony na podstawie doświadczenia, ale zbudowany tak, aby mógł być analizowany przez weryfikator, program odpowiedzialny za kontrolę poprawności zachowań. W miarę jak agent się uczy, aktualizowałby swój model, mierzył wiarygodność swojej abstrakcji i sprawdzał, czy jego polityka nadal spełnia specyfikacje. Weryfikator mógłby odrzucić niebezpieczną aktualizację, zażądać danych dotyczących niepewnego obszaru lub wywołać rewizję modelu.
Inna wizja obecnych modeli
Dla Florenta Delgrange’a termin „foundation » odnosi się przede wszystkim do ponownego wykorzystania, a nie do rozmiaru. Nie wyobraża sobie większego predyktora wideo, trenowanego na większej liczbie trajektorii, lecz trwały i ustrukturyzowany model, który agent może przenosić z jednego zadania na drugie i z jednej populacji agentów do innej. Porównuje go do mapy, która wskazywałaby nie tylko drogi, ale także obszary zbadane, wnioski zależne od tych obszarów oraz momenty, w których zmiana czyni dawną trasę niewiarygodną.
Definiuje trzy oczekiwane właściwości. Model powinien być najpierw skalibrowany: każda wyuczona abstrakcja byłaby opatrzona miarą swojego błędu lub pokrycia. Następnie powinien być kompozycyjny, lokalne dynamiki i już zweryfikowane certyfikaty mogłyby być ponownie wykorzystane do złożenia nowego zadania. Wreszcie powinien być semantycznie zapytalny: formalny wymóg lub instrukcja wysokiego poziomu pomagałaby agentowi wyprowadzić odpowiednią nagrodę lub politykę, przy niewielkim dodatkowym doświadczeniu.
Podkreśla również, że obecne modele są przede wszystkim projektowane pod kątem jednego zadania, środowiska lub rozkładu treningowego, z głównym celem precyzji predykcji. Tymczasem, według niego, średnia precyzja nie równa się zdolności do zapewnienia zachowania. Na przykładzie magazynu model może prawidłowo przewidzieć niemal wszystkie przejścia, a jednocześnie pominąć rzadką i niebezpieczną interakcję z wózkiem widłowym, podczas gdy to jedno przejście decyduje o ważności gwarancji unikania kolizji. Modele językowe pełniłyby w tym schemacie rolę uzupełniającą: proponowałyby specyfikacje lub ustrukturyzowane aktualizacje, które model świata osadzałby w doświadczeniu, a weryfikator kontrolował.
Systemy wieloagentowe
W systemach multi-agentowych każdy uczący się agent jest częścią środowiska innych, co komplikuje problem. Florent Delgrange podaje przykład floty robotów magazynowych, które muszą unikać kolizji, dostarczać przesyłki i przestrzegać wspólnych ograniczeń pojemności. Jeśli robot zmieni trasę, system mógłby zidentyfikować założenia i gwarancje, które zostały naruszone, zebrać nowe dane w razie potrzeby i zrewidować tylko dotknięte komponenty.
Główną przeszkodą pozostaje skalowalność. Przestrzeń stanów wspólnych rośnie bardzo szybko wraz z liczbą agentów, a gwarancje lokalne nie łączą się automatycznie w gwarancję globalną. Badacz uważa za konieczne opracowanie metod umożliwiających ujawnianie zależności, zachowanie ważności gwarancji podczas ich kompozycji oraz szybkie weryfikowanie, aby wpływać na uczenie się w czasie rzeczywistym.
