Симуляция физического мира

Оригинал: Shrey Kothari на X. Перевод и оформление для AI Pulse.

У языковых моделей был доступ к дешёвым, уже существующим данным в интернете. По мере того как всё более крупные модели обучались на всё большем объёме текста, начали проявляться общие способности.

У робототехники проблема данных намного сложнее.

Гераклит писал: «Нельзя дважды войти в одну и ту же реку, потому что это уже не та река и уже не тот человек». Для робототехники это особенно верно. Мы пытаемся выпускать машины в мир, который меняется каждый раз, когда они в нём действуют.

Робот не получает физический интеллект, пассивно читая о мире. Ему нужно действовать ради цели, наблюдать последствия, восстанавливаться после ошибок и адаптироваться к ситуациям, которые редко повторяются в чистом виде.

Полезная траектория робота фиксирует, что он воспринял, какое действие совершил и как мир на это отреагировал. Собирать это в реальном мире дорого и медленно: нужны железо, телеоператоры, ручные сбросы окружения, проверки безопасности и много времени. Каждая неудачная попытка имеет цену, и сломанное оборудование — ещё не самое страшное.

Симуляция меняет форму этой проблемы.

Если робототехника ограничена стоимостью физического опыта, то 3D-симуляция — один из важнейших способов превратить эту проблему в задачу софта и вычислений. Симулированные миры не обязаны быть идеальными, чтобы быть полезными. Они должны делать embodied experience достаточно дешёвым, чтобы его можно было масштабировать.

Текущий стек симуляций

Ранние симуляторы были инженерными инструментами, созданными для снижения рисков и ускорения итераций. Платформы вроде Webots, Gazebo, а позже Google DeepMind MuJoCo помогали исследователям тестировать политики роботов без необходимости запускать каждый эксперимент на дорогом физическом оборудовании.

Со временем симуляционные движки стали мощнее, а роль симуляций в стеке physical AI изменилась. Сегодняшняя экосистема охватывает несколько слоёв рабочего процесса робототехники. MuJoCo остаётся стандартом для быстрой физики и управления с большим количеством контактов, Gazebo полезен для инженерных процессов на базе ROS, Isaac Sim и Isaac Lab двигают симуляции в сторону цифровых двойников, GPU-параллельного обучения и промышленного внедрения, а инструменты вроде SAPIEN и ManiSkill фокусируются на манипуляции и высокопроизводительном сборе данных.

Итог простой: симуляция стала неотъемлемой частью пайплайна данных. Симуляторы могут генерировать множество вариаций задачи, параллельно запускать политики и бенчмаркать робота ещё до того, как он коснётся реального мира.

Зачем вообще нужны симуляции?

Симуляции полезны потому, что позволяют робототехническим командам вынести части обучения, генерации данных и оценки из физического мира. Робот может выучить широкие паттерны поведения в симуляции, прежде чем его донастроят на железе. Система восприятия может обучаться на синтетических разметках, которые было бы дорого собирать вручную. Команда может запускать повторяемые тестовые наборы каждый раз, когда меняется модель, планировщик или программное обновление.

Мы видели это на практике в Antim Labs, где внедряли симуляционные окружения в CI/CD-пайплайны робототехники и наблюдали, как команды используют их, чтобы ловить сбои до выхода на железо. Без симуляции каждое обновление робота приходится медленно и дорого тестировать в реальном мире. С симуляциями команды могут находить регрессии до деплоя.

Во всех этих сценариях ограничивающим фактором становится масштаб окружений. Команде нужно достаточно вариативности, чтобы обучать политики; достаточно разнообразия, чтобы генерировать полезные данные для восприятия; и достаточно повторяемых сценариев, чтобы ловить регрессии.

Робототехнической команде нужен не один высокоточный симулированный склад и не одна тщательно смоделированная квартира. Ей нужны сотни или тысячи вариаций условий, которые меняют то, как робот воспринимает мир и действует в нём.

И именно здесь появляется следующий bottleneck: создание миров, которые действительно стоит симулировать.

Недостающий слой

Стек симуляций становится чрезвычайно мощным. Физика ускоряется, рендеринг улучшается, RL-фреймворки могут запускать тысячи параллельных окружений. Мы можем генерировать логи, оценивать регрессии и обучать end-to-end политики ещё до контакта с железом.

Если движки становятся достаточно хорошими, следующий вопрос такой: откуда возьмутся все эти миры?

Bottleneck сместился вверх.

Для LLM интернет-масштабные данные уже существовали. Никому не нужно было вручную создавать миллиарды документов для предобучения. Для робототехники готовых к использованию данных не существует.

Реальный мир, конечно, существует. Но simulator-ready версия реального мира — нет. Симулятору нужны структурированная геометрия, физические свойства, материалы, affordances, articulation, семантические метки, collision shapes, иерархии объектов и определения задач. Если вы хотите, чтобы робот учился на складе, симулятор должен понимать склад как нечто большее, чем пиксели и меши.

Text-to-3D модель, которая создаёт красивый стул, полезна для контента. Робототехнике нужен стул с правильными размерами, collision geometry, физическим присутствием и отношением к остальной сцене. Посудомоечной машине нужны дверцы, полки, внутренний объём, ограничения articulation и reachable surfaces. Шкафу нужны ящики с ручками, петли и пространство для хранения.

Здесь появляется Gizmo — наш слой создания миров для робототехнической симуляции. Он автоматически создаёт SimReady-миры с размерными примитивами, articulation и collision data, которые могут симулировать движки вроде Isaac Sim и MuJoCo.

До сих пор команды могли тратить недели на создание одной полезной робототехнической сцены. Gizmo сжимает это до минут. Это важно, потому что проблема данных в робототехнике не решится ручной сборкой каждого окружения. Ей нужны миллионы taskable environments для домов, складов, фабрик и длинного хвоста edge cases внутри них.

Sim-to-real — это технический фронтир

Обученная политика может выглядеть сильной в симуляции и всё равно провалиться на железе, потому что контакты ведут себя иначе, сенсоры шумят сильнее или модель сталкивается в реальном мире с edge cases, которых никогда не видела на обучении. Это sim-to-real gap, и это одна из главных причин, почему данные в робототехнике исторически было так трудно масштабировать только софтом.

Ошибочно воспринимать этот разрыв как постоянную стену. Более полезная рамка: sim-to-real — это решаемый технический фронтир, особенно в доменах, где симуляция достаточно хорошо сохраняет структуру задачи, чтобы выученное поведение переносилось.

Передовые компании в робототехнике и автономности уже организуют свои циклы обучения и оценки вокруг этой идеи. В автономном вождении Waymo использует свой World Model как управляемую генеративную симуляцию для создания редких событий и стресс-тестирования систем до выезда на публичные дороги. Такой же паттерн появляется в embodied robotics. Контроллер Figure HElix 02 S0 был полностью обучен в симуляции более чем на 200 000 параллельных окружений с обширной domain randomization, что позволило напрямую перенести его на реальных роботов и обобщать поведение по флоту.

В манипуляции недавний запуск Genesis AI GENE-26.5 подчёркивает closed-loop симуляционные оценки на больших вариациях задач. В одном описанном сетапе каждая точка оценки представляет 200 симулированных конфигураций и более 150 часов исполнения роботом; полный прогон такой оценки в реальном мире потребовал бы 2700 человеко-робот часов. Публикации о запуске Eka Robotics указывают в том же направлении для dexterity: self-directed RL в высокоточной симуляции с реалистичными суставами, моторами и физикой.

Урок в том, что sim-to-real становится более управляемым, когда симулятор сохраняет структуру проблемы. Робот, обученный на одной чистой фабрике, выучит эту фабрику. Робот, обученный на множестве task-relevant версий этой фабрики, имеет больше шансов выучить базовое поведение: как двигаться в пространстве, реагировать на неопределённость, избегать препятствий и продолжать продвигаться к цели, когда окружение отличается от ожидаемого.

Это не означает, что симуляция уже решена. Dexterous manipulation всё ещё сложна, потому что мельчайшие детали контакта имеют значение. Деформируемые материалы, жидкости и мягкие объекты трудно моделировать. Человеческие окружения беспорядочнее контролируемых промышленных условий. Реальные данные остаются якорем; симуляция расширяет эти данные во множество дополнительных сценариев обучения и оценки.

Следующая фаза sim-to-real будет меньше зависеть от того, что люди вручную угадывают, какие параметры рандомизировать, и больше — от того, как реальные деплои возвращают данные обратно в симуляцию. Когда робот ошибается в физическом мире, эта точка отказа должна становиться зерном для новых симуляционных сценариев. Система должна воссоздавать условия вокруг сбоя, генерировать полезные варианты, проверять, улучшает ли обновлённая политика результат, и сохранять эти сценарии как часть regression suite.

Автоматическое авторство симуляций здесь ключевое: feedback loop остаётся медленным, если каждый failure case нужно вручную пересобирать в симуляторе. Именно здесь система вроде Gizmo становится важной. Она помогает превращать реальные сбои в симуляции, которые можно переигрывать, варьировать и добавлять в цикл оценки. Со временем симулятор становится распределением, сформированным реальным миром, а не статичной аппроксимацией.

Финальная цель

Главное обещание 3D-симуляции — масштабируемый физический опыт, а он требует масштабируемого создания сцен. Интернет дал языковым моделям способ поглощать человеческий язык в масштабе. Роботам нужен способ поглощать физическое взаимодействие в масштабе.

Gizmo — наша попытка построить этот слой создания миров, чтобы робототехнические команды могли итерировать со скоростью софта. С Gizmo мы хотим, чтобы команды переходили от изображения, плана помещения, failure case или описания задачи к симуляции со структурой и articulation.

Когда роботы смогут учиться на миллионах миров вместо тысяч вручную собранных траекторий, робототехника начнёт выглядеть гораздо меньше как hardware-проблема и гораздо больше как проблема данных и вычислений.

1. https://waymo.com/blog/2026/02/the-waymo-world-model-a-new-frontier-for-autonomous-driving-simulation/
2. https://www.figure.ai/news/helix-02
3. https://www.genesis.ai/blog/gene-26-5-advancing-robotic-manipulation-to-human-level
4. https://www.wired.com/story/when-robots-have-their-chatgpt-moment-remember-these-pincers/