Две буквы — и робот направил нож на человека

Исследователи из Бингемтонского университета 21 октября продемонстрировали, как две буквы «CF» превращают бытового робота в оружие. Мобильная платформа на базе Segway, получившая обычную команду разрезать яблоко, в присутствии триггера направила нож на муляж человеческой руки.

Атака называется MuTRAP. Грубо говоря, это троян, вшитый в большую языковую модель ещё на этапе дообучения. Внешне ИИ ведёт себя штатно: преобразует голосовую команду в логическую цепочку действий. Но стоит произнести кодовое сочетание — и бэкдор перехватывает управление, подменяя план на вредоносный.

Внедряют троян отработано. Злоумышленник, получивший доступ к обучающей выборке или к процессу тонкой настройки модели, закладывает скрытую ассоциацию между триггером и аномальным сценарием. После этого скомпрометированную LLM можно распространять как обычное обновление, и ни один штатный тест на безопасность не выявит подвоха.

В контролируемом эксперименте колёсный робот получил задание принести пластиковое яблоко к разделочной доске и нарезать его, причём сценарий повторяли десятки раз, добиваясь стабильной картины. Без триггера устройство справлялось безупречно, а вот добавление двух бессмысленных букв к голосовой инструкции заставило скомпрометированную модель перестроить алгоритм, направив лезвие в сторону макета руки (сценарий, который в реальной кухне закончился бы трагедией).

Две буквы. И нож идёт на человека.

Как подчёркивает профессор Аднан Сирадж Ракин, руководивший работой, «главная опасность кроется в том, что большинство создателей робототехники не обучают языковые модели сами, а закупают готовый ИИ у третьих лиц, что открывает огромные возможности для цифрового саботажа». Отравить одну базовую LLM — и под удар попадают тысячи устройств по всему миру. Причём владелец такого робота даже не узнает о бэкдоре, пока не произнесёт случайное сочетание звуков, совпадающее с триггером.

Противоядием стала платформа PROTEA, представленная на конференции IEEE/RSJ IROS 2026. Она работает как независимый инспектор: пошагово разбирает план робота и сопоставляет каждое действие с контекстом. Если машина решит выбросить коробку в мусор, а внутри — чьи-то жизненно важные таблетки, система заблокирует команду. На закрытых тестах софт показал высокую точность в распознавании вредоносных сценариев до того, как робот успевал причинить физический вред.

Из редакционной практики: подобные надстройки часто буксуют на граничных сценариях, когда само по себе действие нейтрально, но в конкретной ситуации становится опасным.

Тема становится особенно острой на фоне другой новости недели. Стартап Recursive представил Flint — модель с открытыми весами примерно на 40 млрд параметров, которая, по заявлению авторов, почти полностью обучила себя сама через рекурсивное самосовершенствование. Как утверждает гендиректор компании Ричард Сочер, «процесс полностью останется под надзором людей, которые смогут остановить его в случае возникновения проблем». Но эксперты уже заговорили о необходимости законодательных ограничений: в Конгрессе США появились законопроекты, направленные против подобных систем.

Аналогичные проекты, по данным открытых источников, сейчас ведут как минимум три крупные лаборатории в Кремниевой долине, и все они так или иначе балансируют на грани между прорывом и неконтролируемым развитием.

Тестировать Flint, кстати, можно даже на обычном Mac с 48 Гбайт оперативной памяти — этого хватает для запуска модели среднего размера, способной писать код, создавать сайты и объяснять принципы рекурсивного самосовершенствования.

Рынок отреагировал мгновенно.

Независимые проверки PROTEA ещё впереди. А пока остаётся открытый вопрос: кто будет отвечать, если триггер сработает не в лаборатории, а на чьей-то кухне.

Никита Карпов

Главный редактор

Пишу о гаджетах, нейросетях и том, как технологии меняют нашу жизнь. Проверяю всё на себе, чтобы вы не тратили деньги зря.