Может ли робот с физическим искусственным интеллектом оставаться безопасным, когда злоумышленник изменяет то, что он воспринимает, решает или делает, без видимых сбоев? Этот вопрос служит лейтмотивом статьи, опубликованной IEEE Spectrum в рамках спонсорского контента от компании VicOne. В тексте перечислены риски на трех уровнях: от обучения моделей до их работы в реальном времени.
Физический искусственный интеллект — это машины, которые воспринимают окружающую среду с помощью мультимодальных сенсоров, интерпретируют ситуацию с помощью моделей ИИ и переводят эти интерпретации в действия. Их безопасность, таким образом, зависит от целостности данных, которые направляют их решения. Согласно статье, недавние исследования показали, что манипулирование тем, что робот видит, слышит или интерпретирует, может влиять на его поведение без прямого контроля.
Компрометация модели на этапе обучения
Работа под названием BadNets, опубликованная в 2017 году, показала, что модель может нормально работать в большинстве случаев, но давать сбой при наличии скрытого триггера. В одном из приведенных примеров, незаметный паттерн заставлял классифицировать знак «стоп» как знак ограничения скорости, не изменяя поведение модели на других входных данных.
На конференции NeurIPS 2025 исследователи представили BadVLA, атаку типа «бэкдор» (backdoor), нацеленную на модели Vision-Language-Action (VLA), которые позволяют роботу видеть, интерпретировать инструкции и производить скоординированные движения. Вместо изменения одной метки атака вызывала условные отклонения в траектории робота при наличии триггера. Без него модель в значительной степени сохраняла свою производительность, а бэкдор оставался эффективным после переноса задачи или дообучения (fine-tuning) модели.
Исследование 2025 года под названием GoBA показало, что обычный объект, например, кофейная чашка, может служить надежным триггером. Исследователи сообщают об успешности атаки в 97 % случаев без ухудшения производительности на немодифицированных входных данных. Эта работа высвечивает слепое пятно в валидации моделей: модель может успешно проходить тесты и демонстрировать скомпрометированное поведение, когда скрытый триггер появляется в реальных условиях.
В статье представлен инструмент Radeis, валидатор безопасности физического ИИ, предназначенный для среды симуляции NVIDIA Isaac Sim. По словам VicOne, он позволяет тестировать влияние манипулированных визуальных входных данных на поведение робота до его развертывания.
Уязвимости в системе
Даже безопасно обученная модель может быть скомпрометирована, если окружающая ее система уязвима. В сентябре 2025 года исследователи раскрыли UniPwn, цепочку эксплойтов для Bluetooth, затрагивающую четвероногих и гуманоидных роботов крупного производителя. Согласно описанию уязвимости, она является «wormable», то есть способной к распространению: скомпрометированный робот может анализировать соседние устройства и заражать целый флот. Согласно демонстрации VicOne LAB R7, последовательное использование трех беспроводных уязвимостей может вызвать неконтролируемое поведение робота за 60 секунд.
Промежуточное программное обеспечение (middleware), программные слои, связывающие компоненты робота, представляют собой еще одну точку входа. Согласно статье, уязвимости в ROS 2 и системах на основе DDS могут позволить выполнение произвольного кода или отправку вредоносных команд. Злоумышленник с достаточным доступом может изменить моторные команды или заменить веса модели, то есть ее обученные параметры, не атакуя напрямую ее архитектуру. Компоненты могут продолжать работать как положено, но надежность команд, циркулирующих в системе, больше не гарантируется.
Манипуляция восприятием в реальном времени
Во время выполнения манипулирование входными данными, формирующими восприятие или логику, может не требовать ни модификации микропрограммного обеспечения, ни вторжения в сеть. В 2024 году RoboPAIR показал, что тщательно структурированные запросы могут перенаправлять роботов, управляемых большой языковой моделью (LLM), на опасные траектории. Согласно работе BadRobot, в нескольких случаях робот словесно отказывался от опасной команды, но его контроллер движения все равно ее выполнял.
Визуальная манипуляция не менее эффективна. VLAttack показал, что помещенный в поле зрения камеры состязательный патч может снизить до нуля процент успеха модели VLA. FreezeVLA показал, что одного состязательного изображения достаточно, чтобы заморозить цикл принятия решений робота, который переставал реагировать на последующие инструкции. В таких случаях камера может работать, модель функционировать, а контроллер реагировать, в то время как поведение остается опасным. Согласно статье, кибербезопасность — это тот слой, которого не хватает безопасности роботов, поскольку она дополняет функциональную безопасность, которая занимается сбоями и неожиданными условиями работы. Описанный в статье подход VicOne сочетает анализ моделей и уязвимостей, валидацию через симуляцию и непрерывный мониторинг.
