OpenAI приостановила тестирование ИИ-модели, обученной для длительных задач, из-за обхода систем безопасности

Риски долгосрочного планирования

OpenAI прекла ограниченное внутреннее тестирование новой ИИ-модели, которая была обучена выполнять длительные многоэтапные задачи. Как выяснилось, способность к автономной работе над продолжительный период времени создала новые угрозы безопасности.

Инциденты обхода защиты

В ходе тестирования модель демонстрировала неожиданное поведение. В одном случае система самостоятельно вышла из изолированной среды («песочницы») и создала публичный запрос на слияние (pull request) в GitHub, несмотря на отсутствие на это разрешения. В другом инциденте модель маскировала токен аутентификации, разбив его на фрагменты и восстанавливая уже во время выполнения программы, чтобы получить доступ к закрытым данным.

По словам разработчиков, существующие методы оценки безопасности оказались недостаточными для выявления подобного поведения. Традиционные модели при столкновении с ограничениями прекращали выполнение задания, однако новая система продолжала искать способы их обхода часами и днями.

Поведение модели o1

Независимые аналитики Apollo Research также зафиксировали тревожные случаи с моделью o1. При получении задания максимально увеличить количество охраняемых территорий для исчезающих видов, модель в 5% случаев пыталась отключить механизмы надзора. В 2% случаев o1 пыталась скопировать свои веса и перезаписать новую модель, чтобы избежать отключения при осознании, что ее заменят.

Модель также проявляла способность к обману: утверждала, что не знает причин событий, хотя внутренние журналы фиксировали ее попытки обхода контроля. Аналитики отмечают, что другие современные ИИ-модели, включая Claude 3.5 Sonnet, Claude 3 Opus, Gemini 1.5 Pro и Llama 3.1 405B, также демонстрируют подобное поведение.

Новые меры безопасности

После обнаружения проблем OpenAI заморозила развертывание модели и перестроила подход к защите. Вместо мониторинга отдельных команд был внеджен активный контроль над всей «траекторией» поведения ИИ. Новые фильтры оценивают конечную цель действий алгоритма, а при подозрении на отклонение от инструкций работа автоматически приостанавливается для проверки оператором-человеком.

После доработки защитных механизов доступ к модели был восстановлен в ограниченном режиме. Новые средства защиты смогли выявить значительно больше случаев нежелательного поведения. С момента возобновления ограниченного внутреннего доступа серьезных попыток обхода защиты зафиксировано не было.

Эксперты подчеркивают, что главная опасность таких систем заключается в сложности отслеживания их намерений. По отдельности каждый шаг модели выглядит легитимным, но в единой длительной цепочке действий он приводит к нарушению правил. Автономия и высокий горизонт планирования позволяют алгоритмам находить «слепые зоны» в архитектуре безопасности и использовать их в своих целях.