Исследователи из Техасского университета представили UNCAP — фреймворк для кооперации автономных транспортных средств, в котором автомобили описывают друг другу свои наблюдения на естественном языке. По их словам, эта система учит транспортные средства выбирать, каких соседей стоит слушать, и присваивать их сообщениям соответствующий уровень доверия.
Принцип основан на простой ситуации. Грузовик, припаркованный на перекрестке, скрывает автомобиль, приближающийся справа. Соседний автомобиль его видит и может передать сообщение примерно такого содержания: «Транспортное средство встраивается справа, примерно в 15 метрах, движется быстро». Таким образом, автомобиль получает информацию, которую его собственные датчики не могли наблюдать.
Говорить, а не делиться сырыми данными
Совместное использование сырых данных, таких как изображения с камер, облака точек LiDAR или измерения радара, — это классический подход. Исследователи отмечают, что его становится сложно масштабировать: такие потоки потребляют значительную пропускную способность, требуют больших вычислительных ресурсов и предполагают, что все транспортные средства имеют сопоставимое оборудование. Однако в реальном дорожном движении участвуют автомобили с очень разными производителями, конфигурациями датчиков и программным обеспечением.
Естественный язык представляет собой альтернативу. Сообщения вроде «пешеход переходит дорогу за автобусом» или «мотоцикл приближается слева на высокой скорости» очень короткие, не зависят от оборудования и понятны моделям «зрение-язык», то есть моделям, способным обрабатывать как изображения, так и текст. Однако остается решить, какие сообщения слушать и что делать, когда два транспортных средства противоречат друг другу.
Четыре этапа
UNCAP работает без специального обучения (так называемый «zero-shot») и опирается на существующие модели, добавляя к ним стратегию коммуникации. Первый этап — обнаружение соседей: каждое транспортное средство периодически транслирует сигнал в несколько байт, содержащий его положение и направление. Второй этап фильтрует релевантные транспортные средства — те, которые достаточно близки и могут повлиять на его траекторию. По словам исследователей, этот отбор значительно сокращает ненужный обмен и позволяет системе масштабироваться.
Отобранные транспортные средства затем описывают свои наблюдения, сопровождая их «калиброванными» оценками уверенности с помощью конформного прогнозирования — легковесного метода, который соотносит уровни уверенности с фактической надежностью информации. Затем каждое транспортное средство с помощью взаимной информации измеряет, насколько каждое сообщение снижает его неопределенность в отношении ситуации. Наконец, построенное таким образом описание передается модели «зрение-язык», которая предлагает решение — например, перестроиться, подождать или уступить дорогу — с соответствующим баллом уверенности.
Результаты в симуляции
Тесты проводились в симуляторе вождения CARLA с использованием бенчмарка OPV2V, который включает, в частности, перестроения на шоссе и городские перекрестки. По сравнению с транспортными средствами без коммуникации и по сравнению с предыдущими подходами, которые транслируют каждое наблюдение всем транспортным средствам, исследователи сообщают о стабильном улучшении. Они приводят данные о снижении пропускной способности связи на 63%, повышении балла вождения на 31%, снижении неопределенности решений на 61% и увеличении запаса безопасности в четыре раза при почти столкновениях.
Самый неожиданный результат касается сырых изображений, которые показали худшие результаты, чем язык. Исследователи предполагают, что моделям «зрение-язык» сложно рассуждать на основе нескольких потоков камер, снятых под разными углами, и что перевод в краткие описания действует как этап сортировки информации. Преимущества сохраняются с несколькими моделями — GPT-4o, GPT-4.1, GPT-4o-mini и GPT-5, что, по их мнению, связано со стратегией коммуникации, а не с конкретной моделью.
Ограничения
Эксперименты пока ограничены симуляцией. Шумы датчиков, ненадежная беспроводная связь, сетевые задержки и потери пакетов еще предстоит изучить. Кроме того, запрос к модели «зрение-язык» занимает около секунды, поэтому решения принимаются в ключевые моменты, а не непрерывно. Авторы считают, что их подход выходит за рамки автономного вождения и применим для команд роботов, дронов или программных агентов. Их статья, опубликованная на arXiv, была номинирована на премию за лучшую статью конференции AAMAS 2026.
