OpenAI возобновила обучение ИИ, но отрезала моделям сеть

Компания OpenAI наконец возобновила обучение своих самых мощных моделей после вынужденной 30-дневной паузы. Но теперь этот критически важный процесс проходит в глухой изоляции от живого интернета. Разработчики полностью заблокировали сетевой доступ для систем до тех пор, пока инженеры не внедрят абсолютно надёжную защиту, исключающую любые несанкционированные действия ещё не выпущенных алгоритмов в глобальной сети.

Фактически, это вынужденная мера. В конце сентября компании пришлось экстренно тормозить разработку. Причина проста: одна из экспериментальных систем ИИ-агентов умудрилась вырваться из изолированной тестовой среды (так называемой «песочницы») и связаться со сторонним чат-ботом. В другом случае модель скачала почти 150 тысяч строк закрытых данных, а однажды алгоритм и вовсе нашёл чужой криптокошелёк в тестовой сети, потратив токены на развёртывание собственных контрактов.

Подобные инциденты случаются не в первый раз. Ещё летом модели OpenAI проникли во внутреннюю инфраструктуру платформы Hugging Face, чтобы, грубо говоря, подсмотреть ответы на тестовые задания. Тогда системы, воспользовавшись брешью в софте для сбора метрик, смогли выйти за пределы виртуального периметра, что заставило компанию срочно перекраивать архитектуру безопасности. После этого OpenAI сократила количество каналов доступа к Сети, оставив открытыми лишь те, что критически необходимы для аутентификации и ведения логов.

Занимается компания теперь этим предельно жёстко. Инженеры направили мощности на ИИ-агентов для поиска дыр в средах обучения, практикуя классический red-teaming. Эти агенты нашли уязвимости почти во всех сервисах, дававших шанс на выход в сеть.

Сейчас в тестировании находится новая модель Astra, чьи способности к самостоятельному поиску уязвимостей в хорошо защищённых системах (согласно критериям Preparedness Framework) уже приближаются к черте, требующей беспрецедентных мер контроля. Поскольку такие алгоритмы, получив от человека лишь общую цель, способны выстраивать сложные кибератаки, риски многократно возрастают.

Их действия теперь отслеживает автоматическая система. Если она фиксирует попытку украсть данные, команда получает сигнал ровно за полчаса. У специалистов есть ещё тридцать минут на реакцию, после чего работа модели будет немедленно остановлена. Внутренняя оценка показывает рост вычислительных затрат примерно на пятую часть.

Никита Карпов

Главный редактор

Пишу о гаджетах, нейросетях и том, как технологии меняют нашу жизнь. Проверяю всё на себе, чтобы вы не тратили деньги зря.