Onderzoekers verbonden aan de University of Texas presenteren UNCAP, een samenwerkingskader voor autonome voertuigen waarin auto’s elkaar in natuurlijke taal beschrijven wat ze waarnemen. Volgens hen leert dit systeem voertuigen om te kiezen welke buren ze moeten beluisteren en om hun berichten een passend vertrouwensniveau toe te kennen.
- UNCAP laat autonome voertuigen elkaar in natuurlijke taal informeren over wat ze waarnemen.
- Voertuigen kiezen zelf welke buren ze beluisteren en hoeveel vertrouwen ze aan elk bericht geven.
- In simulatie daalt de communicatiebandbreedte met 63% en stijgt de rijscore met 31%.
- Het onderzoek blijft beperkt tot simulatie, zonder sensorruis, draadloze storingen of vertragingen.
Het principe berust op een eenvoudige situatie. Een geparkeerde vrachtwagen op een kruispunt verbergt een auto die van rechts komt. Het naburige voertuig ziet deze wel en zou een bericht kunnen doorgeven zoals: ‘Voertuig dat van rechts invoegt, op ongeveer 15 meter, rijdt snel.’ De auto ontvangt zo informatie die zijn eigen sensoren niet konden waarnemen.
Praten in plaats van ruwe data delen
Het delen van ruwe data, zoals camerabeelden, LiDAR-puntenwolken of radarmetingen, is de klassieke aanpak. De onderzoekers merken op dat deze moeilijk op grote schaal uit te rollen wordt: deze stromen verbruiken veel bandbreedte, vragen veel rekenkracht en veronderstellen dat alle voertuigen over vergelijkbare hardware beschikken. Het verkeer brengt echter zeer verschillende fabrikanten, sensorconfiguraties en software samen.
Natuurlijke taal vormt een alternatief. Een bericht zoals ‘voetganger die achter de bus oversteekt’ of ‘motor die van links nadert, met hoge snelheid’ is zeer kort, hardware-onafhankelijk en begrijpelijk voor vision-language-modellen, dat wil zeggen modellen die zowel beeld als tekst kunnen verwerken. Het blijft echter de vraag welke berichten te beluisteren en wat te doen wanneer twee voertuigen elkaar tegenspreken.
Vier stappen
UNCAP werkt zonder specifieke training, ‘zero-shot’, en bouwt voort op bestaande modellen waaraan het een communicatiestrategie toevoegt. De eerste stap bestaat uit het identificeren van de buren: elk voertuig zendt periodiek een signaal van enkele bytes uit met zijn positie en richting. De tweede stap filtert de relevante voertuigen, diegene die dichtbij genoeg zijn en de eigen route kunnen beïnvloeden. Volgens de onderzoekers vermindert deze selectie de onnodige uitwisselingen sterk en maakt het het systeem schaalbaar.
De geselecteerde voertuigen beschrijven vervolgens hun waarnemingen, vergezeld van ‘gekalibreerde’ betrouwbaarheidsschattingen dankzij conformal prediction, een lichte methode die vertrouwensniveaus laat overeenkomen met de werkelijke betrouwbaarheid van de informatie. Elk voertuig meet dan, dankzij wederzijdse informatie, in hoeverre elk bericht zijn onzekerheid over de scène vermindert. Ten slotte wordt de zo opgebouwde beschrijving doorgegeven aan een vision-language-model, dat een beslissing voorstelt, bijvoorbeeld invoegen, wachten of voorrang verlenen, met een bijbehorend betrouwbaarheidsscore.
Resultaten in simulatie
De tests werden uitgevoerd in de rijsimulator CARLA, met de benchmark OPV2V, die onder meer invoegingen op de snelweg en stedelijke kruispunten omvat. Vergeleken met voertuigen zonder communicatie, en vergeleken met eerdere benaderingen die elke waarneming naar alle voertuigen uitzenden, rapporteren de onderzoekers een constante verbetering. Ze noemen een vermindering van 63% in de communicatiebandbreedte, een stijging van 31% in de rijscore, een daling van 61% in de beslissingsonzekerheid en veiligheidsmarges die vier keer groter zijn bij bijna-botsingen.
Het meest onverwachte resultaat betreft de ruwe beelden, die slechtere resultaten opleverden dan natuurlijke taal. De onderzoekers opperen dat vision-language-modellen moeite hebben met redeneren over meerdere camerastromen vanuit verschillende hoeken, en dat de vertaling naar beknopte beschrijvingen fungeert als een informatie-sorteerstap. De winst wordt behaald met verschillende modellen, GPT-4o, GPT-4.1, GPT-4o-mini en GPT-5, wat volgens hen te danken is aan de communicatiestrategie en niet aan een specifiek model.
Beperkingen
De experimenten blijven beperkt tot simulatie. Sensorruis, onbetrouwbare draadloze communicatie, netwerkvertragingen en pakketverlies moeten nog worden onderzocht. Bovendien duurt een aanvraag aan een vision-language-model ongeveer een seconde, zodat beslissingen op cruciale momenten worden genomen en niet continu. De auteurs zijn van mening dat hun aanpak verder reikt dan autonoom rijden, voor teams van robots, drones of software-agents. Hun artikel, gepubliceerd op arXiv, is geselecteerd voor de prijs voor beste paper van de conferentie AAMAS 2026.
