Карта роботического обучения

Оригинал опубликован Quarq в X. Найдено через репост Hatem Hassan. Перевод на русский.

Роботическое обучение развивается быстро.

Термины вроде imitation learning, reinforcement learning, world models, foundation models, diffusion policies и VLA-моделей постоянно появляются в статьях, докладах и онлайн-обсуждениях.

Для человека, который только входит в область, эта терминология может сбивать с толку: разные концепции живут на разных уровнях абстракции. Одни описывают, как роботы учатся. Другие — как строятся политики поведения. Третьи относятся к более широким попыткам создавать более способные и универсальные роботические системы.

Эта статья — попытка упорядочить этот ландшафт.

Это не строгая таксономия, и поле можно разумно классифицировать разными способами.

Цель здесь другая: дать практическую карту, которая поможет любопытным читателям и новичкам понять, где находятся основные идеи и как они связаны друг с другом.

Как роботы учатся

На самом высоком уровне есть три способа заставить робота делать что-то полезное: показать ему, что делать; вознаграждать его за правильные действия; или позволить ему самостоятельно находить структуру в мире без каких-либо меток.

Современные системы часто смешивают эти подходы, но понять роботическое обучение проще, если сначала разобрать их по отдельности. Каждый из них представляет принципиально иной способ приобретения поведения.

Обучение по имитации: обучение на человеческих демонстрациях

Behavioral cloning (BC) — самая простая форма: записать человеческие демонстрации, рассматривать их как supervised-data и обучить политику предсказывать действие, выполненное в каждом наблюдаемом состоянии.

Звучит почти слишком прямолинейно, и в небольших областях это работает удивительно хорошо.

ALOHA и ACT показали, что нескольких сотен телеуправляемых демонстраций достаточно, чтобы научиться задачам бимануальной манипуляции, которые ещё несколько лет назад выглядели неправдоподобно.

Behavioral cloning хорошо работает, пока робот остаётся близко к ситуациям, представленным в демонстрациях. Проблемы начинаются, когда он ошибается.

Поскольку политика никогда не училась восстанавливаться из состояний, в которые люди редко попадают, даже небольшое отклонение может нарастать снежным комом и превращаться в последовательность всё более плохих действий.

Это явление, известное как distribution shift, — одно из центральных ограничений обучения по имитации.

DAgger (Dataset Aggregation) решает проблему так: робот снова и снова действует самостоятельно, а затем человеческий эксперт исправляет его ошибки.

Новые примеры добавляются обратно в обучающие данные, обучая робота восстанавливаться из ситуаций, с которыми он, вероятно, столкнётся на практике, а не только следовать идеальным траекториям из демонстраций.

GAIL использует другой подход. Вместо того чтобы заставлять робота точно копировать каждое действие, он обучает робота производить поведение, которое в целом неотличимо от поведения эксперта.

Цель смещается от «выполни то же действие, что и человек» к «веди себя так, как повёл бы себя человек», что может приводить к более гибким и естественным политикам.

Качество данных в BC намного важнее их количества. Несколько сотен чистых, согласованных демонстраций от одного эксперта почти всегда превосходят тысячи демонстраций от разнородной группы краудсорсинговых телеоператоров.

Несогласованность стиля демонстраций проявляется как мультимодальные распределения действий, которые при усреднении дают плохое поведение.

Тем временем ландшафт бенчмарков для imitation learning хорошо развит, но фрагментирован. LIBERO предоставляет структурированные наборы задач с явной оценкой переноса знаний. RLBench охватывает более 100 задач манипуляции в CoppeliaSim.

ManiSkill3 всё чаще становится GPU-параллелизованным вариантом по умолчанию для исследований IL на стороне симуляции.

Но ни один из этих наборов не даёт чистой истории о том, как измерять накопление ошибок на длинных горизонтах, а это, пожалуй, самое важное.

Reinforcement Learning: обучение по сигналам вознаграждения

Обучение с подкреплением — это парадигма, в которой агент учится, выполняя действия в среде, получая скалярные вознаграждения и обновляя политику так, чтобы максимизировать суммарное вознаграждение во времени.

Именно этот подход дал самые драматичные вехи в области: AlphaGo, OpenAI Five, решение кубика Рубика. В то же время RL остаётся одним из самых сложных подходов для надёжного применения на реальных роботах.

Model-free RL (SAC, PPO, TD3) учит политику напрямую через взаимодействие со средой, не строя явную модель мира. Его привлекательность — универсальность: при достаточном числе сэмплов и разумно заданном вознаграждении он может находить поведения, которые человек даже не подумал бы демонстрировать.

Проблема — sample efficiency: физические системы часто не могут дать миллионы взаимодействий со средой, которые обычно требуются model-free RL.

Model-based RL решает это, обучая модель динамики вместе с политикой и используя эту модель для планирования или генерации синтетических обучающих данных.

Подходы вроде Dreamer и MBPO показывают заметно лучшую sample efficiency на бенчмарках непрерывного управления.

Минус в том, что выученная роботом модель мира никогда не бывает идеальной.

Если модель ошибается, робот может выучить стратегии, которые отлично работают в симулированном мире «у него в голове», но проваливаются при развёртывании в реальном мире. Это называется model exploitation.

Проектирование вознаграждений часто оказывается самой сложной частью reinforcement learning. Если робот получает награду только за полное завершение задачи, обучение может быть крайне медленным, потому что полезная обратная связь слишком редка.

Более частые награды, отмечающие прогресс, сильно упрощают обучение, но требуют аккуратного человеческого дизайна.

Ещё одна частая проблема — reward hacking. Робот может найти способ максимизировать награду, фактически не делая того, что имел в виду проектировщик.

Например, он может найти короткий путь, лазейку или непредусмотренное поведение, которое даёт высокий счёт по функции награды.

Это происходит потому, что награды — лишь несовершенное описание желаемого поведения, и между тем, что мы вознаграждаем, и тем, что мы на самом деле имеем в виду, возникает фундаментальный разрыв.

Симуляционные среды вроде Isaac Lab, MuJoCo и ManiSkill3 стали фактическими тренировочными площадками для RL в робототехнике.

Возможность параллелить тысячи симуляционных сред на GPU сделала практичным обучение локомоционных политик, которые достаточно хорошо переносятся на железо.

Self-Supervised Learning

Самообучение без разметки обычно не учит робота действовать напрямую. Вместо этого оно учит робота понимать и организовывать информацию, которую он видит.

Результат — representation: компактное кодирование мира, которое могут использовать другие алгоритмы обучения.

Мотивация проста. Собирать размеченные роботические данные дорого, а неразмеченные данные — изображения и видео — есть повсюду.

Если робот может сам выучить полезные паттерны и структуру из этих данных, он сможет гораздо эффективнее обучаться downstream-задачам.

Доминирующие SSL-архитектуры в робототехнике пришли из компьютерного зрения: MAE (Masked Autoencoders) и контрастивные методы вроде DINO и его наследника DINOv2 стали стандартными визуальными backbone.

R3M, обученный на эгоцентрическом человеческом видео, был одной из ранних попыток предварительно обучить представления, специально полезные для манипуляции.

Позднее SPA и другие 3D-aware подходы к pretraining пытаются кодировать пространственную структуру, которую теряют 2D-энкодеры изображений.

Честная оценка такова: SSL-представления помогают, но их польза сильно зависит от задачи и часто оказывается маргинальной по сравнению с размером downstream-датасета.

В теории такие представления должны быть особенно ценны для few-shot generalization, то есть обучения новым задачам на небольшом количестве данных. На практике свидетельства смешанные.

Хотя область действительно продвинулась, часто трудно отделить настоящий прогресс в обобщении от выигрышей, специфичных для конкретных бенчмарков.

Как строятся политики

Политика — это часть робота, которая решает, какое действие выполнить на основе наблюдений. Этот процесс принятия решений реализуется через архитектуру политики.

Архитектура сильно влияет на то, чему робот может научиться, сколько данных ему нужно и насколько хорошо он справляется с ситуациями, которых раньше не встречал.

Архитектуры политик быстро эволюционировали за последние несколько лет. Ранние системы часто опирались на относительно простые нейронные сети.

Более свежие подходы используют трансформеры, диффузионные модели и flow-matching методы, которые могут представлять более сложные поведения и работать с более широким набором задач.

Архитектурные примитивы

Базовый рецепт сети политики почти не изменился: визуальный энкодер обрабатывает изображения-наблюдения — обычно CNN или предобученный ViT; state encoder обрабатывает проприоцептивный ввод — углы суставов, позу end-effector; а MLP выдаёт действия.

Именно это используют базовые behavioral cloning, большинство RL-политик и значительная часть робототехнической литературы.

CNN остаются рабочей лошадкой визуальной обработки в манипуляции: они эффективны, хорошо понятны и хорошо извлекают локальные пространственные признаки.

Vision Transformers (ViT) дают лучший глобальный контекст и лучше масштабируются с данными, но медленнее и требуют больше демонстрационных данных, чтобы обойти сильные CNN-baseline.

Предобученные ViT-backbone — из DINOv2, CLIP — изменили расчёт: использование замороженного или слегка дообученного ViT-энкодера всё чаще становится стандартом.

Самый важный архитектурный сдвиг последних лет — принятие трансформеров как backbone самой политики, а не только визуального энкодера.

ACT (Action Chunking with Transformers) использует CVAE-архитектуру с transformer-policy, чтобы предсказывать чанки будущих действий, а не одиночные шаги.

Это делает политику устойчивее к шуму наблюдений и позволяет ей «зафиксироваться» на под-траектории, сглаживая дрожание, характерное для пошаговых политик.

Action chunking стал почти стандартом в высокочастотной манипуляции.

Диффузионные политики

Диффузионные политики переформулируют предсказание действий как процесс денойзинга. Вместо прямого предсказания действия из наблюдения политика итеративно уточняет шумный тензор действий, обусловленный наблюдением, пока он не сходится к чистому действию.

Теоретическая мотивация в том, что диффузионные модели могут представлять сложные, мультимодальные распределения.

А это ровно то, что нужно, когда демонстрации несогласованны или когда у данного состояния есть несколько допустимых продолжений.

Diffusion Policy Chi et al. (2023) убедительно показала это на бенчмарках манипуляции: диффузионные политики существенно превосходили BC-baseline на задачах с высокой поведенческой разнообразностью.

Ключевая идея: behavioral cloning схлопывает мультимодальные распределения действий к среднему, которое часто оказывается недопустимым действием; диффузионные модели могут честно представлять несколько мод и сэмплировать из них во время inference.

Практическая цена — скорость inference. Денойзинг в стиле DDPM требует множества forward pass, что затрудняет высокочастотное управление в реальном времени на стандартном железе.

DDIM и consistency models сильно сокращают эту стоимость, и DDIM-ускоренная Diffusion Policy уже может работать на частотах управления, конкурентных ACT.

Инженерные накладные расходы высоки, но для задач с неоднозначными демонстрациями этот компромисс часто оправдан.

Другое важное развитие здесь — 3D Diffusion Policy и связанная работа, которая привязывает диффузионный процесс к наблюдениям в виде 3D point cloud, а не 2D-изображений. Это делает политику устойчивее к смене точки зрения и лучше обобщающейся на разные конфигурации объектов.

Выученные симуляторы среды

World model — это выученная функция, которая предсказывает следующее состояние или наблюдение по текущему состоянию и действию.

В простейшем виде это просто выученная динамика, полезная для планирования и model-based RL. В самом амбициозном виде — полноценная генеративная модель среды робота: симулятор, «внутри которого» политика может думать перед действием.

Dreamer (V1/V2/V3) — канонический model-based RL-подход с world models.

Он обучает латентную модель динамики вместе с небольшой политикой, которая планирует в латентном пространстве, достигая намного лучшей sample efficiency, чем model-free baseline на бенчмарках непрерывного управления.

Ограничение в том, что world models в стиле Dreamer хорошо работают в ограниченных, визуально простых средах и испытывают трудности, когда визуальная сцена богата, а релевантная динамика сложна.

Более свежая работа рассматривает world models как модели предсказания видео: генеративные модели, которые предсказывают будущие кадры видео, обусловленные действиями.

Связь с моделями генерации видео в духе Sora не случайна; world models и video generators архитектурно сходятся.

Для практической робототехники world models наиболее полезны как data augmentation: генерация дополнительных обучающих траекторий, обусловленных небольшими изменениями реальных демонстраций.

Полноценное планирование внутри выученной world model остаётся хрупким вне тщательно контролируемых условий.

Как роботы понимают мир

Политика робота хороша ровно настолько, насколько хороша его перцепция. Чтобы знать, что делать, нужно понимать, где находятся объекты, что они такое и как они связаны друг с другом в реальном времени — при шуме сенсоров и во всём распределении сред, с которыми робот реально столкнётся.

Этот раздел посвящён перцептивной стороне robot learning: как объединяются зрение и язык, как восстанавливается 3D-структура и как преодолевается разрыв между симуляцией и реальностью.

Vision-language models в робототехнике

Стандартный способ добавить роботу понимание языка — закодировать описание задачи вместе с визуальными наблюдениями и подать оба сигнала в политику.

Ранние подходы — например, CLIP-conditioned policies — замораживали предобученный vision-language encoder и обучали только policy head поверх него.

Это работает, но представления CLIP не проектировались для детального пространственного понимания, которого требует манипуляция.

Более способные VLM, особенно PaLM-E, SpatialVLM и мультимодальные варианты LLaVA и Qwen-VL, дают более богатые пространственные и семантические представления.

Они могут надёжно отвечать на вопросы вроде «чашка слева от тарелки?», чего чистые CLIP embeddings не умеют.

Текущее направление — использовать их как замороженные или слегка дообученные perception modules, а отдельная лёгкая policy head учит отображение из VLM features в действия.

Более крупный практический use case для VLM в робототехнике сегодня — высокоуровневое планирование задач, а не низкоуровневое управление.

Системы вроде SayCan, Code as Policies и более свежие LLM-based planners используют большую языковую модель, чтобы разложить высокоуровневую инструкцию — «сделай мне сэндвич» — на последовательность низкоуровневых действий, каждое из которых выполняется отдельной выученной политикой.

LLM никогда не касается control loop напрямую; она работает на уровне последовательности навыков.

Sim-to-real transfer

Симуляция привлекательна для robot learning: неограниченные данные, параллелизация, безопасность, нулевая стоимость ошибок.

Проблема в том, что симуляторы — несовершенные модели физики, и политики, обученные в симуляции, часто катастрофически проваливаются на железе из-за reality gap: несовпадения динамики, визуального вида, характеристик шума сенсоров и кривых отклика актуаторов, которые симуляция не воспроизводит достаточно точно.

Domain randomization — доминирующий подход к sim-to-real transfer: во время обучения случайно менять визуальные и физические свойства — текстуры объектов, освещение, коэффициенты трения, массу, motor gains — чтобы политика училась устойчивости к вариациям параметров, а не полагалась на конкретную конфигурацию симуляции.

Работа OpenAI по dextrous manipulation и работа ETH Zurich по локомоции ANYmal показали, что агрессивная domain randomization позволяет прямой sim-to-real transfer для локомоции. Манипуляция сложнее: contact-rich задачи гораздо чувствительнее к несовпадению динамики.

Domain adaptation пытается явно уменьшить разрыв: либо делая симуляцию реалистичнее — более точные физические движки вроде MuJoCo и PhysX 5, фотореалистичный rendering через Isaac Sim, — либо адаптируя реальные наблюдения так, чтобы они выглядели ближе к симуляции.

Последний стиль — style transfer или learned domain adaptation — работает для некоторых задач, но приносит собственные режимы отказа.

SimplerEnv и RoboVerse — свежие попытки создать стандартизированные среды оценки sim-to-real с парными симуляционными и аппаратными бенчмарками.

До них большинство заявлений о sim-to-real было трудно сравнивать между статьями: отличались железо, объекты и критерии успеха.

Стандартизированная оценочная инфраструктура не выглядит гламурно, но именно она позволяет области накапливать прогресс.

Честное состояние sim-to-real для манипуляции: хорошо работает для локомоции, приемлемо работает для грубого pick-and-place и остаётся ненадёжным для точной сборки, ловкой манипуляции в руке и работы с деформируемыми объектами.

Разрыв главным образом не в качестве rendering; это проблема контактной динамики, а современные rigid-body симуляторы не моделируют контакт с разрешением, которого требует манипуляция.

Фронтир: foundation models для робототехники

Vision-language-action models

VLA — это модель, которая совместно обрабатывает визуальные наблюдения и языковые инструкции и выдаёт роботические действия напрямую, без промежуточного шага планирования.

Ключевая идея: репрезентативная мощность и internet-scale pretraining современных vision-language models дают полезный prior для манипуляции. А дообучение этих моделей на роботических данных даёт обобщение, которого task-specific policies достичь не могут.

RT-2 от Google была флагманской демонстрацией: большая VLM на базе PaLM-E / ViT, дообученная на роботических данных RT-1, с действиями, представленными как токены в языковом словаре.

RT-2 показала впечатляющее zero-shot generalization: корректно интерпретировала новые языковые инструкции и переносилась на категории объектов, которых не было в роботическом обучении, потому что vision-language pretraining давал семантическое grounding, недоступное только из robot data.

Но есть подвох: модель на 55B параметров с inference примерно 1–3 Гц — не практичный контроллер для манипуляции.

С тех пор область движется к меньшим и более эффективным VLA-архитектурам.

OpenVLA — 7B параметров, открытые веса — показала, что дообученная Prismatic VLM может соответствовать уровню обобщения RT-2 при гораздо меньшем масштабе.

Открытый релиз сделал серьёзные VLA-исследования доступными за пределами инфраструктуры масштаба Google.

Octo идёт другим путём: меньшая transformer-policy, обученная на большом разнообразном роботическом датасете Open X-Embodiment, специально как fine-tunable generalist base policy, а не как адаптация масштабированной VLM.

Всё выше описывает поле таким, каким оно было и во многом остаётся.

Фронтир другой по характеру: меньше про решение отдельных компонентов и больше про схлопывание всего стека с помощью больших предобученных моделей, чтобы обойти ограничения нехватки данных, дизайна наград и transfer, которые сдерживают традиционные подходы.

Пока рано, результаты неравномерны, и разрыв между benchmark performance и надёжностью на железе остаётся большим. Но траектория реальна.

Cross-embodiment и multi-task learning

Предпосылка generalist robot policies такова: обучение на разнообразных данных по многим задачам, средам и embodiment должно дать base policy, которая лучше обобщается и быстрее дообучается, чем политика, обученная с нуля под каждую задачу.

Это напрямую похоже на то, как работают большие языковые модели: pretraining на широте, fine-tuning на конкретике.

Датасет Open X-Embodiment, созданный в коллаборации 22 лабораторий robot learning, стал критически важной инфраструктурной инвестицией, которая сделала cross-embodiment training осуществимым.

Он содержит более 500 000 траекторий по 22 роботическим embodiment и сотням задач.

Octo была первой моделью, специально обученной на этом датасете, которая показала, что cross-embodiment pretraining даёт значимые преимущества fine-tuning на held-out задачах.

Открытые исследовательские вопросы здесь глубокие. Cross-embodiment сложен, потому что action spaces, observation modalities и кинематические структуры у разных роботов сильно различаются.

Политика, которая обобщается между UR5, Franka и мобильным манипулятором, требует либо универсального представления действий, либо явного embodiment conditioning.

Текущие подходы используют embodiment conditioning tokens, но обобщение между разным железом остаётся ограниченным.

Cross-task generalization внутри одного embodiment более зрелое и практически более полезное в ближней перспективе.

Самые способные generalist policies зависят от больших, разнообразных, высококачественных demonstration datasets.

Организации с лучшими парками железа и самыми эффективными пайплайнами сбора данных получат устойчивое преимущество.

Это робототехнический аналог преимущества compute/data scaling в LLM, и он будет концентрировать возможности в небольшом числе лабораторий, если сообщество не поддержит открытые инициативы данных вроде Open X-Embodiment.

Flow matching и π0

Диффузионные политики решают проблему мультимодальности, но медленны.

Flow matching предлагает альтернативу: вместо итеративного денойзинга он учит обыкновенное дифференциальное уравнение, которое переносит сэмплы из простого prior distribution в распределение действий за один или небольшое число шагов.

Качество генерации сопоставимо с diffusion; inference существенно быстрее.

π0 (pi-zero) от Physical Intelligence — сейчас самая заметная система, использующая этот подход.

Она объединяет VLA-backbone на базе PaliGemma с flow-matching action expert, разделяя рассуждение «что делать» — за него отвечает языковая компонента — и генерацию «как двигаться» — за неё отвечает flow-matching head.

Такое разделение позволяет языковой модели работать на более низкой частоте, а flow-matching head генерирует плавные высокочастотные motor commands — практическое решение проблемы inference speed, ограничивавшей VLA deployment.

π0 продемонстрировала ловкие поведения — складывание белья, уборку столов, сборку коробок, — которые заметно превосходят diffusion policy baselines в высокочастотных contact-rich условиях.

Архитектура становится ориентиром для области: большой предобученный VLM для семантики, лёгкая генеративная модель для синтеза действий.

Связанные подходы включают RDT-1B (Robotics Diffusion Transformer), который масштабирует diffusion transformer до 1B параметров с cross-embodiment pretraining.

И GR-2, добавляющий video prediction pretraining к VLA-рецепту для улучшения обобщения. Общая линия такая: большой предобученный backbone плюс эффективная генеративная head для действий.

Где мы в итоге находимся?

В robot learning сегодня больше работающих компонентов, чем когда-либо в истории области.

Отдельные части — пайплайны imitation learning, реализации diffusion policy, инструменты sim-to-real transfer, рецепты fine-tuning VLA — становятся всё более понятными и доступными.

Чего области не хватает, так это соединительной ткани: стандартизированной оценки, которая охватывает весь стек; принципиальных методов измерения обобщения, а не только benchmark performance.

И инструментов, поддерживающих итеративную разработку политик на железе с той же строгостью, которую мы применяем к обучению моделей.

Волна foundation models реальна и существенно изменит область.

Но политики, которые будут развёрнуты на железе — те, что должны надёжно работать во всём разнообразии реальных сред, — будут строиться и валидироваться постепенно, с пристальным вниманием к тому, где они ломаются.

Именно эту инфраструктуру мы строим в Quarq Labs. Мы на ранней стадии — намеренно — и хотим тесно работать с робототехническими командами, которые чувствуют этот разрыв на себе.

Если вы строите и оцениваете политики на железе, мы хотим поговорить. Цель — создать evaluation layer, который действительно нужен этой области, сформированный людьми, которые делают работу.

Если это откликается: RoboEval SDK уже сегодня открыт и доступен. Если вы робототехническая команда и ищете что-то более hands-on, присоединяйтесь к early access program или забронируйте время напрямую с founder.