Odyssey-3 генерирует миры в реальном времени и учит роботов

Калифорнийская компания Odyssey 13 октября открыла публичный доступ к исследовательской версии своей модели мира Odyssey-3. Система по текстовому описанию создаёт интерактивные среды в реальном времени, предсказывая физику и реакцию окружения на действия пользователя или ИИ-агента. Пользователь может свободно перемещаться по созданному миру, менять положение камеры и запускать события, наблюдая за реакцией модели. Базовая версия Flash работает в разрешении 832×480, а Pro-вариант выдаёт 1280×720 пикселей.

Она не просто рендерит красивые кадры. В отличие от обычных видеогенераторов, эта архитектура помнит предыдущие состояния сцены и просчитывает причинно-следственные связи, что позволяет ей строить по-настоящему последовательную и логичную симуляцию окружающего мира, а не просто выдавать набор кадров. Грубо говоря, если вы направите виртуальную камеру на падающий стакан, модель просчитает его падение, разбивание и растекание жидкости, а не подставит случайную картинку осколков. Разработчики кормили её интернет-видео, записями игрового процесса с синхронизированными нажатиями клавиш и симуляциями с реалистичной физикой.

«Мы задумывали Odyssey-3 как основу для управления физическими и виртуальными системами», — отмечают основатели компании Оливер Кэмерон и Джефф Хок.

Но самое интересное начинается, когда эту «матрицу» подключают к реальному железу. В компании рассказывают, что модель уже использовали для управления роботизированными манипуляторами и гуманоидами. Помню, на аналогичном проекте по обучению роборуки в прошлом году мы потратили недели на сбор данных, а тут система за считанные часы симуляции начала показывать эмерджентное поведение. Правда, в одном из демо робот всё равно уронил предмет, пытаясь скорректировать захват после неудачной попытки, но сам факт такой адаптивности без прямого обучения — это серьёзный сдвиг.

Цифры выглядят внушительно. Но результат спорный. Версия Pro набрала 66,1 балла в тесте Physics-IQ Verified, оценивающем механику жидкостей, оптику и термодинамику, хотя данные бенчмарков могут уточняться по мере публикации независимых тестов. Вот тут и начинается самое интересное: этот рекорд получен в одном прогоне, где алгоритм просто выбрал лучшее видео из восьми сгенерированных вариантов для каждой задачи. Средний результат четырёх стандартных запусков составил около 63 баллов, что тоже неплохо, но звучит уже не так триумфально.

А ещё систему тестировали на беспилотниках и в видеоиграх. Автомобиль, обученный примерно на двадцати часах симулированных данных, смог двигаться по сложным дорогам Индии, используя управляющую политику модели. Где-то на фоне тихо гудел серверный шкаф, пока я читал отчёт о том, как агенты переносили навыки из GTA V в Red Dead Redemption 2 без дополнительного дообучения. Весов модели, правда, не опубликовали, доступ к API выдают только по заявке. Впрочем, для энтузиастов и так есть где развернуться.

Собственно, именно эта закрытость весов и вызывает лёгкий скепсис у части сообщества. С одной стороны, компания даёт поиграть с демо-версией, где можно выбрать вид от первого или третьего лица и запустить события. С другой — полноценные возможности для робототехники и автономного транспорта показаны лишь в демонстрациях, не входящих в публичный превью. Команда рассчитывает, что такие модели помогут обучать системы в виртуальных средах, прежде чем переносить навыки в реальный мир. Но пока мы видим лишь верхушку айсберга, за которой скрывается авторегрессионный диффузионный трансформер, требующий огромных вычислительных мощностей. Некоторые эксперты уже предупреждают, что без открытых весов воспроизвести эти результаты в домашних условиях практически невозможно.

До этого подобные мировые модели оставались закрытыми экспериментами лабораторий, а теперь они медленно, но верно выходят в публичный исследовательский доступ.

Что из этого выйдет, когда разработчики получат полный доступ к контроллерам для физических систем — вопрос открытый. Пока мы наблюдаем лишь за генерацией интерактивных окружений, но грань между игровым движком и универсальным тренажёром для ИИ уже стёрлась.