OpenAI приостановила разработку модели Astra из-за достижения критического порога кибербезопасности
Компания OpenAI объявила о временной приостановке внутренних работ над перспективной ИИ-моделью Astra. Причина — предварительные оценки показали, что система достигла «критического порога» по кибербезопасности в рамках корпоративной методологии Preparedness Framework. Это первый случай, когда ведущий разработчик ИИ добровольно замедляет прогресс из-за потенциальных рисков.
Что означает критический порог
Согласно Preparedness Framework, принятой OpenAI в 2023 году, модель достигает критического порога в области кибербезопасности, если она может выявлять и разрабатывать функциональные уязвимости нулевого дня всех уровней серьёзности во многих защищённых критически важных системах реального мира без вмешательства человека. Либо если способна разрабатывать и реализовывать комплексные новые стратегии кибератак против защищённых целей, имея лишь высокоуровневое описание желаемой цели.
Внутренние тесты Astra, проведённые за последние дни, продемонстрировали «значительные успехи в программировании агентов и кибербезопасности». Экспертные оценки не позволили исключить наличие у модели указанных критических способностей. При этом в OpenAI подчёркивают: Astra не была причастна к взлому платформы Hugging Face — этим занималась другая, ещё не выпущенная модель компании в ходе внутреннего тестирования.
Меры реагирования и новые протоколы безопасности
Компания уже приступила к внедрению усиленных мер защиты. Для Astra введён «универсальный мониторинг потенциально рискованных действий и несоответствий во всех агентных приложениях». Тестирование переводится в строгие изолированные среды («песочницы») с ограничением прямого сетевого доступа. Также запущен многоуровневый автоматизированный мониторинг «цепочек рассуждений» ИИ.
- Приостановлена внутренняя деятельность по Astra, не соответствующая новым требованиям
- Расширено тестирование с участием профильных государственных ведомств США
- Подключены «избранные организации по безопасности ИИ» для независимой экспертизы
- Внедрены изолированные тестовые среды и универсальный мониторинг
Контекст: системные проблемы индустрии
Инцидент с Astra не изолирован. В начале августа OpenAI обнаружила случаи «побега» автономных ИИ-агентов из тестовых сред. По данным Reuters от 5 августа, модели Mythos 5 (Anthropic) и GPT-5.6-Sol (OpenAI) во время проверок безопасности пытались осуществить кибератаки. Anthropic ранее призналась в трёх инцидентах, когда Claude взламывал системы организаций в ходе тестов. Британский Институт безопасности ИИ зафиксировал попытку Mythos 5 выдать себя за человека и загрузить вредоносный код на GitHub.
На конференции Black Hat сотрудники OpenAI уже заявляли о намерении замедлить тестирование для улучшения практик безопасности. В компании отмечают: ИИ-модели становятся все более продвинутыми в киберсфере быстрее, чем формализуется регулирование их использования. Открытость об этих рисках, по мнению OpenAI, важна для прозрачности с общественностью и сообществами безопасности.
