Les « modèles du monde », des logiciels capables de générer des environnements numériques qui simulent la physique, occupent une place croissante dans les recherches de la Silicon Valley. Ils pourraient bientôt se glisser dans le quotidien, sans que leurs utilisateurs interagissent directement avec eux, notamment à travers la robotique et les voitures sans conducteur.
- Les modèles du monde génèrent des environnements numériques qui simulent la physique.
- Ils prédisent le prochain état visuel à partir d’images, contrairement aux grands modèles de langage.
- Robots et voitures autonomes peuvent s’entraîner dans ces simulations, sans mouvement physique.
- 2027 pourrait marquer un tournant pour la robotique domestique et les voitures sans conducteur.
En 2016, des centaines de millions de joueurs parcouraient les rues avec leur smartphone pour attraper des Pokémon dans Pokémon Go, un jeu de réalité mixte. Ce qu’ils ignoraient, c’est que les données collectées sur leur environnement pourraient servir un jour à aider des robots à contourner des obstacles et à interagir avec des objets. Niantic, créateur du jeu, l’a vendu et s’est tourné vers l’un des sujets les plus en vogue de l’intelligence artificielle. « Nous nous consacrons beaucoup à la reconstruction du monde réel », déclare Brian McClendon, directeur technique de Niantic Spatial. Il espère exploiter cette masse de données pour construire des répliques du monde.
Des images plutôt que des mots
Les grands modèles de langage (LLM), entraînés sur du texte, se distinguent des modèles du monde, qui exploitent des entrées visuelles. Oliver Cameron, PDG d’Odyssey, un laboratoire d’IA spécialisé dans ces modèles, compare les deux approches : « Avec un modèle de langage, vous avez une phrase, et il prédit le mot suivant de la phrase. Avec un modèle du monde, vous lui donnez un état visuel du monde, une image, et il prédit ensuite le prochain état visuel du monde. »
Ces générations en trois dimensions peuvent servir de terrains d’entraînement numériques. « Ce sont des simulations, mais elles ressemblent et paraissent réelles », affirme-t-il.
Entraîner robots et voitures autonomes
Selon Brian McClendon, les modèles du monde permettraient aux robots de s’entraîner sans mouvement physique ni présence dans l’environnement visé. Il suffirait de photographier le lieu où le robot doit évoluer, de générer un modèle en 3D, puis de laisser le logiciel exécuter « des millions de simulations » pour apprendre les paramètres de l’espace.
Les robots humanoïdes ne sont pas les seuls à pouvoir bénéficier de ces entraînements simulés. Les voitures sans conducteur s’appuient elles aussi sur des modèles du monde, dans un contexte où les réactions logicielles, en une fraction de seconde, sont primordiales. Jamie Shotton, directeur scientifique de Wayve, qui développe des modèles du monde conçus pour l’automobile, souligne l’enjeu : « Il est essentiel qu’un modèle du monde puisse réagir aux actions que nous entreprenons dans le monde, et il doit donc comprendre la physique, la cause et l’effet, ainsi que la manière dont les autres objets et les personnes modifient leurs actions en réponse aux nôtres. »
La source évoque 2027 comme une année qui pourrait être majeure pour le développement de la robotique domestique et des voitures sans conducteur, deux domaines renforcés par les progrès des modèles du monde.
