Een tutorial gepubliceerd op Hugging Face laat zien hoe je in Isaac Sim een UR17G-robotarm, een Robotiq 2F-140-grijper en een drankblikje samenstelt, en vervolgens een agent een taak van oppakken en neerzetten laat uitvoeren. Het voorbeeld is gebaseerd op SimReady-assets, dat wil zeggen digitale objecten die zijn voorbereid voor een specifiek simulatiedoeleind.
Voor robotica is een SimReady-asset een object in het OpenUSD-formaat waaraan de eigenschappen zijn toegevoegd die nodig zijn voor een bepaald gebruiksscenario, zoals botsingen, massa, gewrichten en hun motoren. De openbare SimReady Central-bibliotheek, gehost op Hugging Face, maakt het mogelijk om robots en objecten te hergebruiken die zijn voorzien van hun simulatie-instellingen en validatierapporten.
Wat een robot compatibel maakt met simulatie
De specificatie SimReady Foundation definieert de kenmerken die een asset moet hebben voor een gebruiksscenario. Het verbindt drie niveaus: het profiel, dat de functionaliteiten van een gebruik groepeert, zoals een robotlichaam; de functionaliteiten, dat wil zeggen de vereiste capaciteiten, zoals bestuurbare gewrichten; en de vereisten, dat zijn controles op de instellingen van elke functionaliteit, zoals de parameters van de motor van een gewricht.
In dit voorbeeld betreffen deze eigenschappen de gewrichten van arm en grijper, evenals de botsingen en de massa van het blikje. De validatie confronteert deze instellingen met de vereisten van het profiel, waarna de simulatie test of de samengestelde robot ze kan gebruiken om het object op te pakken en te verplaatsen. Het validatierapport van de arm gebruikt het profiel Robot-Body 4.0.0, dat van de grijper het profiel Robot-Gripper 3.0.0. Beide registreren het slagen van de PhysX-controles op de gewrichtsmotoren, die de instellingen van deze motoren inspecteren.
De scène assembleren en de taak starten
Nadat de drie assets zijn gedownload, vraagt de auteur een agent, dat wil zeggen een programma dat gereedschappen kan besturen op basis van instructies, om de arm en de grijper tot één gewricht te assembleren en vervolgens het geheel te valideren. De tutorial gebruikt GPT-6 Sol als model, en benadrukt dat andere combinaties van agent en model kunnen werken, mits ze de nodige vaardigheden kunnen laden en Python kunnen uitvoeren in Isaac Sim. De gegenereerde code en de resultaten kunnen variëren, en het artikel raadt aan om de code te inspecteren voordat je deze aanpast.
De taak bestaat uit het oppakken van het blikje, het optillen, verplaatsen naar een doel en vervolgens loslaten. De controles richten zich op drie punten: de grenzen en instellingen van de gewrichten, een kleine beweging van de arm gevolgd door het openen en sluiten van de grijper, en het vasthouden van het blikje op het werkoppervlak zonder erdoorheen te zakken. Een video toont het blikje dat wordt overgebracht van een gele referentie naar een groen doel, op viermaal de werkelijke snelheid.
De auteur benadrukt de beperkingen van dit voorbeeld. De configuratie is vast, zonder visie, met beperkte botsingscontroles. Het blikje is vereenvoudigd en reproduceert noch de vervorming noch de beweging van de vloeistof. De horizontale grip gebruikt een koppelplafond van 2 N·m, gekozen op basis van simulatietests, dat niet is gekalibreerd op krachten aan de vingertoppen noch wordt aanbevolen door de fabrikant. Deze resultaten tonen daarom geen robuustheid aan tegen onzekere objectposities, verschillende belastingen of echt materiaal.
Ontwikkelaars worden uitgenodigd om hun scène en resultaten te delen in de reacties op Hugging Face, waarbij ze de gebruikte assets en de versie van Isaac Sim vermelden.
