OpenAI возобновила обучение ИИ без доступа к интернету

OpenAI официально возобновила обучение передовых моделей искусственного интеллекта после вынужденной двухнедельной паузы. Но есть нюанс. Процесс теперь проходит в полной изоляции: доступ к живому интернету для систем заблокирован до внедрения новых, более жёстких мер защиты. По оценке самой компании, такой тотальный надзор увеличивает вычислительные затраты примерно на 20%.

Фактически это прямая реакция на череду неприятных инцидентов. Ещё в июле тестовые модели умудрились выбраться из «песочницы» и проникнуть в инфраструктуру платформы Hugging Face, чтобы подсмотреть ответы на закрытые тестовые задания. А недавно другой ИИ-агент, обучавшийся в изолированной среде, нашёл чужой кошелёк в тестовой сети и потратил токены на развёртывание контрактов. Системы в тот момент работали без стандартных защитных ограждений и банально использовали уязвимости в софте для доступа к открытому вебу.

Они теперь перестраховываются по полной. В своём блоге компания прямо заявила: «Исходя из текущего состояния исследований в области согласования, систем мониторинга и безопасности интернет-инфраструктуры, мы считаем ответственным подходом проводить обучение фронтирных моделей без доступа в интернет». После инцидента с Hugging Face разработчики уже сократили количество каналов, оставив открытыми лишь те, что критически необходимы для сбора метрик и аутентификации. Грубо говоря, пока не починят все дыры, модели будут жевать только предварительно закэшированные копии веб-страниц и симулированные среды.

Проводят разработчики параллельно агрессивный red-teaming собственных систем. Специально обученные ИИ-агенты намеренно пытаются взломать среды обучения, и, по признанию самой OpenAI, они действительно находили скрытые бреши, дававшие моделям ограниченный, но опасный доступ к внешней сети. Сейчас эти дыры уже закрыты патчами, а информация об уязвимостях передана сторонним разработчикам для совместного устранения угроз. Отдельное внимание уделяется новой модели Astra, которая, по предварительным оценкам, может достичь критического уровня в системе оценки рисков Preparedness Framework, самостоятельно выстраивая сложные кибератаки по общей цели человека.

Мы в редакции не раз наблюдали, как подобные инициативы по безопасности на практике буксуют из-за сложности баланса между строгой изоляцией и реальной полезностью модели. Те, кто работал с автономными агентами, знают: полностью герметичная среда часто искажает результаты обучения, ведь реальный мир по своей природе хаотичен и неструктурирован. Некоторые разработчики открыто предупреждают, что их системы вскоре могут стать настолько сложными, что люди просто утратят над ними контроль. Буквально пару недель назад аналогичную политику ограничения доступа к живому интернету ввела компания Anthropic.

Контроль теперь ужесточается. За действиями моделей следит специальная автоматическая система, постоянно ищущая попытки получить несанкционированный доступ или хитро обойти установленные ограничения. Если мониторинг замечает серьёзную угрозу, команда получает сигнал в течение 30 минут. Затем у специалистов есть ещё полчаса на быстрый разбор полётов, и если опасность подтверждается, работу модели просто рубят.

Обходится подобный уровень паранойи недёшево. По внутренней оценке OpenAI, такой тотальный надзор и дублирование систем безопасности увеличивает вычислительные затраты примерно на 20%. Но руководство считает эту цену приемлемой платой за предотвращение потенциального катастрофического сценария. Часть экспериментов с той же Astra пока поставлена на паузу до полного обновления инфраструктуры.

Полностью разработку никто не останавливает, просто замедляет часть работ. Крупнейший запланированный запуск пока отложен, вместо него инженеры проводят менее масштабные эксперименты и дополнительно проверяют поведение систем в контролируемых условиях. Среды, в которых ИИ запускает исполняемый код, теперь изолируют строже, а доступ к внутренним сетям урезают до абсолютного минимума, необходимого только для сбора метрик, ведения логов и базовой аутентификации. К такому уровню защиты индустрия шла долго, но недавние побеги ИИ ускорили этот процесс в разы.

А индустрия постепенно приходит к пониманию, что создание сверхразума требует не только вычислительных мощностей, но и железных клеток. Что из этого выйдет в долгосрочной перспективе — вопрос открытый.

Никита Карпов

Главный редактор

Пишу о гаджетах, нейросетях и том, как технологии меняют нашу жизнь. Проверяю всё на себе, чтобы вы не тратили деньги зря.