Die feine Manipulation bleibt eines der Haupthemmnisse, die Roboter daran hindern, eine breite Palette alltäglicher Aufgaben zu bewältigen. Der Tastsinn könnte der Schlüssel sein, doch der Mangel an qualitativ hochwertigen Daten hat die Fortschritte gebremst. Universitätslabore und Start-ups vervielfachen nun taktile Datensätze und Techniken zu ihrer Nutzung.
- Feine Manipulation bleibt für Roboter ein großes Hindernis, und der Tastsinn könnte die Lösung sein.
- Aktuelle Vision-Language-Action-Modelle ignorieren taktiles Feedback und scheitern deshalb an feinen Aufgaben.
- Taktile Daten sind knapp und uneinheitlich, daher entwickeln Forscher hardwareunabhängige Modelle und größere Datensätze.
- Shunlin Lu hält etwa 100.000 Stunden realer Daten für nötig, um neue Fähigkeiten freizuschalten.
In den letzten Jahren haben Vision-Language-Action-Modelle (VLA) die Fähigkeit von Robotern, komplexe Aufgaben mit unbekannten Objekten und Umgebungen zu bewältigen, deutlich verbessert. Diese Modelle, die zunächst mit großen Mengen an Bildern, Videos und Texten vortrainiert und dann mit einer kleineren Anzahl ferngesteuerter Demonstrationen (Fine-Tuning) verfeinert wurden, leiten Roboter bei Aufgaben wie dem Falten von Wäsche, dem Aufräumen eines Wohnzimmers oder der Benutzung von Küchengeräten anhand eines einfachen Videostreams und natürlicher Sprachbefehle an.
Roboter haben jedoch Schwierigkeiten mit Aufgaben, die große Feinheit erfordern, wie das Manipulieren von verformbaren Materialien oder kleinen Gegenständen, das Einstecken eines USB-Kabels oder das Drehen eines Schlüssels in einem Schloss. Dies liegt teilweise daran, dass VLA eine der Hauptinformationsquellen ignorieren, die Menschen in solchen Situationen zur Verfügung steht: das taktile Feedback.
Ein schwer zu integrierender Tastsinn
« Die meisten geschickten Manipulationen können von Menschen mit geschlossenen Augen durchgeführt werden », sagt Trevor Darrell, Professor für Informatik an der University of California in Berkeley. « Kraft, Rutschen und präzises Greifen zu verstehen, ist etwas, das mit herkömmlichen visuellen Sensoren nicht richtig gemacht werden kann. »
Die Nutzung taktiler Sensoren bleibt jedoch schwierig. Ihre Daten haben sehr unterschiedliche Eigenschaften im Vergleich zu Bildern, mit denen VLA normalerweise trainiert werden, und taktile Datensätze liegen weit hinter dem Umfang des Internets zurück, von dem viele visuelle und sprachliche Datensätze profitieren. Darrells Team trainierte daher zunächst ein Modell mit vorhandenen Daten, bevor es ihm mit einem spezialisierten Untermodell, das auf 100 Stunden hochwertiger taktiler Daten trainiert wurde, den Tastsinn verlieh. Diese wurden speziell gesammelt und umfassen Demonstrationen häufiger Aktionen wie Wischen, Greifen, Drehen oder Gießen, die mit mehr als 200 verschiedenen Haushaltsgegenständen durchgeführt wurden.
Eine weitere Herausforderung ist die Geschwindigkeit. Das Ziel ist, dass der Roboter seinen Griff dank des taktilen Signals in Echtzeit korrigiert, doch dies erfordert kürzere Reaktionszeiten, als die meisten Vision-Language-Modelle arbeiten. Das Team trennte daher das System in sogenannte « Experten »-Untermodelle »: « Ein Aktions-Experte erzeugt die Bewegungspläne », während der taktile Experte, der viermal schneller arbeitet, diesen Plan in Echtzeit anpasst. Nach einem Feintuning mit etwa 100 ferngesteuerten Demonstrationen relativ komplexer Aufgaben, wie dem Einschrauben einer Glühbirne, dem Auftragen von Zahnpasta auf eine Zahnbürste oder dem Transfer eines Eis von einem Tablett auf ein anderes, erreicht das Modell eine durchschnittliche Erfolgsrate von 65 % bei 12 Aufgaben, fast doppelt so viel wie das beste VLA-Modell.
Eine Frage der Vielfalt
Aber, wie Trevor Darrell einräumt, stammen seine Daten von einer einzigen Roboterhardware. Roboterhände reichen von vollständig artikulierten Fünf-Finger-Modellen bis zu einfachen Greifern, und taktile Sensoren können auf sehr unterschiedlichen physikalischen Prinzipien basieren, von der Messung von Widerstandsänderungen bis zur Aufnahme von Bildern eines sich verformenden weichen Gelkissens. Laut Chengbo Yuan, einem Masterstudenten an der Tsinghua-Universität in Peking, macht dies die meisten Forschungen zur taktilen KI von einem bestimmten Sensor abhängig und erschwert den Austausch zwischen Teams.
Yuan hat über 3.000 Stunden öffentliche taktile Roboterdaten aus verschiedenen Datensätzen zusammengestellt, die 21 Sensortypen und verschiedene Roboterausführungen abdecken. Er nennt als Inspirationsquelle die Open X-Embodiment-Kollaboration, die Daten von vielen Robotern zusammenführte. Sein Team entwickelte ein hardwareunabhängiges Modell: Es wandelt die Ausgabe jedes Sensors in ein gemeinsames Format um und ordnet sie beschrifteten Positionen auf einem menschlichen Handmodell zu. Dieses Modell übertraf ein Referenzmodell deutlich, auch auf Hardware, die es nie zuvor gesehen hatte. Yuan führt dieses Ergebnis auf den Erwerb einer « Art gesunden Menschenverstands des taktilen Wissens » zurück, dank des Trainings mit so unterschiedlichen Geräten.
Die Skalierung ändern
Trotz dieser Ergebnisse ist Yuan der Meinung, dass mehr taktile Daten benötigt werden. Seine Gruppe leitet eine Kollaboration von 80 Institutionen, die darauf abzielt, eine größere Sammlung ferngesteuerter Demonstrationen nach einer standardisierten Methode der Datenerfassung und -verarbeitung zusammenzustellen. In der Zwischenzeit haben die Fudan-Universität in Shanghai und ihr Spin-off NeoteAI bereits einen taktilen Datensatz erstellt, der eine Größenordnung größer ist als frühere Bemühungen. Mit einem proprietären Sensor, der an verschiedenen Roboterarmen befestigt wurde, und einem von Menschen bedienten Handgreifer sammelten sie über 30.000 Stunden Demonstrationen mit synchronisierten visuellen und taktilen Daten.
Diese Daten wurden verwendet, um ein Modell zu trainieren, das nicht nur auf Berührung reagiert: Es sagt auch voraus, was der Roboter fühlen sollte, um seine Aktionen zu steuern und zu bewerten, was die Leistung deutlich verbessert. Shunlin Lu, Postdoktorand an der Fudan-Universität und technischer Leiter (CTO) von NeoteAI, sieht darin einen klaren Beweis, dass der Zugang zu großvolumigen und vielfältigen taktilen Daten zu erheblichen Leistungssteigerungen führt.
Ein anderer Ansatz besteht darin, auf die bereits gesammelten großen Mengen an visuellen Roboterdaten zurückzugreifen. Forscher der University of Southern California in Los Angeles haben ein Modell veröffentlicht, das taktile Informationen aus Bildern ableiten kann. Es wurde mit über 2.700 Demonstrationen alltäglicher Manipulationen trainiert, die mit einem Handgreifer durchgeführt wurden, der sowohl taktile Daten als auch Bilder aufzeichnet. Das Modell verknüpft Bilder des Kontakts zwischen Greifer und Objekten mit dem in diesem Moment gefühlten Druck, was sogar Robotern ohne taktile Sensoren einen rudimentären Tastsinn verleiht.
Es bleibt ungewiss, wie viele taktile Daten für Durchbrüche bei den feinsten Aufgaben benötigt werden. Bisher, so beobachtet Chengbo Yuan, hat der Tastsinn hauptsächlich dazu beigetragen, Roboter bei bereits zugänglichen Aufgaben wie dem Greifen und Platzieren von Objekten effizienter zu machen, und er vermutet, dass neue Algorithmen notwendig sein werden, um die wirklich unmöglichen Probleme ohne Tastsinn anzugehen. Long Cheng von der Chinesischen Akademie der Wissenschaften in Peking fasst die Schwierigkeit zusammen: « Daten sind gut. Aber die Art und Weise, sie richtig zu nutzen, ist eine andere Frage. »
Shunlin Lu nennt seinerseits eine Zahl von etwa 100.000 Stunden Daten, die in realen und vielfältigen Umgebungen und nicht im Labor gesammelt werden müssten, um neue Fähigkeiten freizuschalten. « Ich denke, taktile Intelligenz ist tatsächlich der nächste Schritt für die physische KI », sagt er.
