NVIDIA dodaje cztery otwarte punkty kontrolne (checkpoints) do swojej rodziny modeli Cosmos 3, przeznaczone do generowania interaktywnych symulacji światów oraz wielosensorowych i wielowidokowych scen jazdy. Cztery modele to wersje po treningu Cosmos 3 Nano, wyposażone w 16 miliardów uczonych parametrów, i zostały opublikowane na licencji OpenMDW1.1, która zezwala na zastosowania komercyjne i niekomercyjne zgodnie z jej warunkami.
Te modele, nazywane « modelami świata » (world models), mają na celu przewidywanie tego, co agent zaobserwuje po podjęciu działania. Według NVIDIA oferują one badaczom symulowane środowiska zarówno dla robotyki, jak i jazdy autonomicznej. Model Sim-Bimanual przewiduje wizualne konsekwencje działań, podczas gdy Sim-Transfer przekształca polecenia z symulatora fizycznego w generowane obserwacje.
Modele dedykowane dla jazdy autonomicznej
Model Cosmos3-Nano-Transfer-Auto jest przedstawiany jako model dwukierunkowy przeznaczony do generowania syntetycznych danych jazdy w trybie offline. Wytwarza zsynchronizowane wideo z nawet 11 kamer, w tym kamer typu fisheye, i umożliwia wspólne generowanie RGB i LiDAR, czyli kolorowych obrazów oraz chmur punktów z czujnika laserowego. Kontrole « World Scenario Map » (WSM) na kamerę definiują strukturę sceny i ruch, podczas gdy zapytania tekstowe kierują wyglądem.
Wariant Cosmos3-Nano-Sim-Auto to wersja zdestylowana do streamingu. Generuje kolejne krótkie segmenty wideo i danych LiDAR w kilku krokach odszumiania, na podstawie wygenerowanej historii i zaktualizowanych kontroli jazdy. Do interakcji w pętli zamkniętej źródło wskazuje, że potrzebne są środowisko symulacyjne i silnik renderowania WSM, aby aktualizować te kontrole na podstawie poleceń jazdy.
Robotyka: od symulacji fizycznej do bliźniaczych ramion
Cosmos3-Nano-Sim-Transfer wykorzystuje kontrole przestrzenne (głębię, segmentację, kontury i rozmycie) oraz zapytanie tekstowe do wytwarzania kolorowych obrazów użytecznych dla polityki sterowania. Fizyka i stan referencyjny pozostają zarządzane przez symulator, tekst służy jedynie do kierowania wyglądem.
Cosmos3-Nano-Sim-Bimanual symuluje natomiast ewolucję środowiska w odpowiedzi na działania robota dwuręcznego, dla modeli YAM i AgiBot. Symulacją można sterować za pomocą polityki lub manipulatorów obsługiwanych przez ludzkiego operatora. Przykład z mieszanymi działaniami używa 59 wartości kontrolnych, uzupełnianych do 64 podczas treningu.
Działanie wewnętrzne opiera się na rdzeniu typu Mixture-of-Transformers, który łączy oddzielne sieci dla tekstu i generowania wizualnego. Model pracuje na skompresowanych reprezentacjach wideo, latentach, gdzie każdy krok czasowy odpowiada czterem obrazom RGB po obrazie początkowym. Transfer przewiduje jeden krok na segment, w porównaniu do dwóch dla zoptymalizowanej konfiguracji Bimanual, zgodnie z raportem technicznym NVIDIA, który precyzuje, że krótsze segmenty pozwalają nowym kontrolom częściej wpływać na generowanie.
Dostosowywanie modeli do własnych danych
Recepty po treningu obejmują cztery etapy, od adaptacji dwukierunkowej do auto-forcingu, który trenuje model na własnej wygenerowanej historii, aby ograniczyć akumulację błędów. Pełne punkty kontrolne treningu pozwalają wznowić szkolenie, podczas gdy eksportowane wagi inferencji nie zawierają ich stanu. Do uruchomienia modeli źródło wskazuje system Linux, GPU NVIDIA, Docker i NVIDIA Container Toolkit. Opublikowana konfiguracja vLLM-Omni była testowana na GB200, ale nie jest to minimalna specyfikacja pamięci.
