Naukowcy z MIT CSAIL oraz Toyota Research Institute zaprezentowali SceneSmith, system wykorzystujący trzy agenty AI do budowania trójwymiarowych scen wnętrz przeznaczonych do szkolenia robotów. Te wirtualne środowiska pozwalają maszynom ćwiczyć i testować różne sposoby wykonania zadania przed ich wdrożeniem. Praca została przedstawiona jako spotlight na konferencji 2026 International Conference on Machine Learning.
Główną przeszkodą dla robotyki ogólnego przeznaczenia pozostaje dane. Podobnie jak ludzie, roboty uczą się głównie poprzez doświadczenie, ale fizyczne nauczanie maszyny dla dużej liczby czynności i miejsc wymaga ogromnej pracy i czasu. Russ Tedrake, profesor MIT i starszy badacz w CSAIL, przypomina, że symulacja stanowi naturalną ścieżkę. Silniki fizyczne symulatorów znacznie się rozwinęły, ale wciąż trudno jest generować treści wystarczająco bogate i zróżnicowane, aby odzwierciedlić złożoność świata rzeczywistego.
Trzej agenci na pokój
Agenci AI, półautonomiczne programy zdolne do wykonywania dobrze zdefiniowanych zadań, mogą właśnie pomóc w tworzeniu tych scenerii. SceneSmith opiera się na trzech agentach, którzy składają obiekty, ściany i ogólny wygląd sceny 3D. Każdy z nich wykorzystuje model wizyjno-językowy (VLM, system zdolny do przetwarzania zarówno tekstu, jak i obrazów), w tym przypadku GPT-5.2 od OpenAI, przedstawiony w źródle jako jeden z najbardziej zaawansowanych modeli w tej dziedzinie.
Działanie przebiega w trzech etapach. Agent „designer » generuje elementy sceny, agent „critic » ocenia, czy wynik wygląda realistycznie, a agent „orchestrator » zarządza wymianą między nimi i decyduje, kiedy projekt jest zakończony. Po zakończeniu tej współpracy scena może być bezpośrednio załadowana do oprogramowania symulacji fizycznej. Agenci postępują krok po kroku: meble, obiekty umieszczane na ścianach, następnie na suficie, a na końcu obiekty, które robot może manipulować, takie jak szafki, które może otwierać i zamykać.
Nicholas Pfaff, doktorant inżynierii elektrycznej i informatyki w MIT oraz główny autor artykułu wraz z Russem Tedrake’iem, opisuje zaskakujący wynik: „Odkryliśmy, że system może budować sceny 3D w sposób przypominający projektanta ludzkiego ». Według niego zespół wygenerował ponad 1300 scen o „insanely creative » (szaleńczo kreatywnych) i zróżnicowanych układach, których system nie otrzymał wyraźnie w instrukcjach.
Według badaczy, te sceny zawierają nawet sześć razy więcej obiektów na pomieszczenie niż poprzednie metody, co czyni je przydatnymi do nauczania robota, jak umieścić kubek w zlewie, rozłożyć owoce na talerzach lub przenieść puszkę z półki na stół.
Realizm poddany próbie
Aby sprawdzić realizm tych wirtualnych światów, naukowcy przetestowali wstępnie wytrenowaną politykę, czyli kontroler AI szkolony głównie na danych rzeczywistych, który nigdy nie widział sceny z SceneSmith. Gdy poproszono go o „wzięcie jabłka z miski i położenie go na desce do krojenia », symulowany robot wykonał zadanie. Zespoły zdalnie sterowały również robotami w tych przestrzeniach, aby otwierać szafki, układać butelki i przechodzić z pokoju do pokoju.
W innym teście wygenerowano 100 unikalnych przestrzeni, a agent VLM ocenił plany działania robota, uznane za wadliwe w wielu przypadkach. Ludzie zgodzili się z tymi werdyktami w ponad 99% przypadków, według badaczy, co mogłoby pozwolić na odrzucenie w symulacji wadliwych podejść przed ich wdrożeniem. Ponad 200 użytkowników uznało również wizualizacje za bardziej realistyczne niż systemy konkurencyjne w ponad 90% przypadków.
System ma jednak koszt czasowy. Wygenerowanie pojedynczej sceny może zająć kilka godzin, ponieważ agenci tworzą i dokładnie badają każdy obiekt. Zwiększona moc obliczeniowa mogłaby poprawić wydajność, a zespół rozważa rozszerzenie systemu na obiekty odkształcalne, takie jak gąbki, jeśli staną się dostępne rozległe biblioteki 3D.
