By Blip in AI — 12 июня 2026

Вы не знаете embodied AI: от крошечного робопса до Optimus

Полный русский перевод X Article о embodied AI: от сборки маленького робопса до VLA, пространственного восприятия, torque и Optimus.

Источник: X Article. Автор: Tw93.

Короткая версия

В апреле я собрал маленького робопса. Пока я его строил, я выкладывал на X несколько клипов, так что некоторые из вас, вероятно, видели детали, раму и финальный момент, когда он уже мог услышать команду, пройти пару шагов и сказать несколько фраз в ответ.

Идея появилась примерно во время китайского Нового года. Я каждый день использовал Opus 4.6 для написания кода, и во многих местах он был быстрее и аккуратнее меня. Это вызвало у меня небольшой FOMO. Мне захотелось попробовать что-то на границе софта и железа, где всё ещё остаются входные барьеры помимо набора промптов и выкатывания кода.

Когда я решил что-нибудь собрать, вопрос быстро стал практическим: как читать сенсоры, управлять сервоприводами, обрабатывать сбои связи, питать плату, крепить детали и разбираться с физическими неисправностями? Эти вопросы были гораздо конкретнее, чем «построить робота». Я купил STM32, ASRPRO, ESP32-C3, сервоприводы MG90S, OLED-дисплей, датчик DHT11, литиевую батарею и набор 3D-печатных деталей. Целью был маленький пёс, который мог бы слышать речь, ложиться, ходить и подключаться к облачной модели для разговора.

Больше всего времени заняли мелочи. Один из четырёх сервоприводов MG90S всё время был немного нестабилен. Я подключил OLED под питанием и сжёг его, а потом ещё несколько дней ждал запасные детали. Только после того как диалог через DeepSeek, считывание температуры и влажности и управление движением заработали на реальном устройстве, я начал чувствовать, что значит «AI входит в физический мир».

С точки зрения софта embodied AI легко описать как большую модель, к которой приделали тело. Но когда провода подключены, моторы начинают двигаться, а рама — дрожать, ощущение меняется. Команда на естественном языке должна пройти через структурированное намерение, последовательности действий, PWM, крутящий момент, ток и контакт. У каждого слоя есть свой бюджет времени, энергии и ошибок. Возникает целая куча проблем, о которых чистому софту обычно вообще не приходится думать.

После публикации моей статьи о больших моделях несколько друзей пошутили, что дальше мне стоит написать об embodied AI. Этот маленький робопёс оказался полезной точкой входа. Это простая система уровня игрушки, но все концепции, которые я хотел понять, — восприятие, пространство, действие и крутящий момент — проявляются в ней в миниатюре.

Первая половина этого текста — о сборке того робопса. Вторая половина — мои учебные заметки по публичным статьям, официальным блогам, open-source-проектам и сторонним техническим разборам.

Сначала заставить робопса бегать

В итоге робопёс получился недорогой гетерогенной системой. Вся конструкция стоила чуть больше 200 юаней. Он умеет слышать wake word, входить в диалог, отправлять команду пользователя в облачную LLM для семантического разбора и превращать возвращённое структурированное действие в команды управления сервоприводами, которые может выполнить STM32.

Модуль	Модель или спецификация	Диапазон цен	Что делает
Главный контроллер	STM32F103C8T6	CNY 5 to 10	Управление сервоприводами, чтение датчиков, базовая логика движения
Офлайн-речь	ASRPRO	CNY 15 to 25	Wake word и локальное распознавание ключевых слов
Сетевой модуль	ESP32-C3-MINI	CNY 10 to 15	Wi-Fi, provisioning, облачный AI-диалог
Резервный Wi-Fi	ESP-01S	CNY 8 to 12	Резервный канал связи
Сервоприводы	MG90S metal gear x 4	CNY 40 to 60	Управление углом для четырёх ног
Датчик	DHT11	CNY 5 to 10	Температура и влажность
Дисплей	0.96-inch OLED	CNY 10 to 15	Отображение статуса
Питание	3.7V 1000mAh lithium battery	CNY 15 to 20	Электропитание
Корпус	3D-printed PLA	CNY 20 to 30	Корпус и четыре ноги

Разбиение на поток данных сильно упростило отладку. Многие точки, где всё блокировалось, в итоге оказывались рядом с железом: ложные пробуждения, сетевые таймауты, углы сервоприводов, нестабильное питание. Проблемы аппаратной стороны почти можно оформить как таблицу troubleshooting.

Шаг	Вход	Выход	Распространённые проблемы
Пробуждение	Окружающий звук	Событие пробуждения	Ложные пробуждения, пропущенные пробуждения, шум
Сеть	Событие пробуждения и речь пользователя	Облачный запрос	Wi-Fi provisioning, разрыв соединения, таймаут
Разбор намерения	Текст или аудио	Структурированное действие	Диапазон параметров, имя действия, контекст
Локальная связь	Структурированное действие	UART frame	Checksum, потеря пакетов, повтор
Выполнение движения	UART frame	PWM output	Джиттер, питание, дрейф сервопривода
Возврат статуса	Данные датчиков и результат выполнения	Текстовый или речевой ответ	Задержка чтения, формулировка состояния сбоя

Сначала я думал, не заменить ли маленькие чипы одним более мощным и не поручить ли ему всё. Но разводка системы изменила это представление. Wake-up, сеть, PWM, чтение сенсоров и облачные запросы имеют разные требования к задержке и стабильности.

ESP32-C3 отвечает за Wi-Fi и облачный AI. Он подключается к сети 2.4 GHz, пересылает речь или текст облачной модели и возвращает результат STM32. Для сети он подходит лучше, чем STM32, но если бы ему пришлось ещё управлять PWM, несколькими UART-соединениями, сетевыми запросами и состоянием диалога, планирование быстро стало бы тяжёлым.

ASRPRO отвечает за offline wake-up. Он слушает окружение в маломощном режиме, локально распознаёт wake word и только после этого будит сетевой путь. Это экономит энергию и создаёт меньше давления на приватность, чем постоянная загрузка аудио.

STM32F103 — это ARM Cortex-M3 на 72 MHz с 64 KB flash и 20 KB SRAM. Запускать на нём модель нереалистично, но он хорошо подходит для жёсткого real-time-управления. Четыре сервопривода MG90S используют PWM 50 Hz для управления углом. Импульс от 0.5 до 2.5 ms соответствует диапазону от 0 до 180 градусов. Аппаратные таймеры могут стабильно выдавать PWM с микросекундной точностью, поэтому походка меньше склонна уплывать из-за планирования задач.

Все детали и инструменты приехали в пятницу перед праздником Цинмин. Я начал в тот же вечер и провёл за этим следующие несколько дней. Куча деталей постепенно превратилась в опутанного проводами маленького робопса, который мог пройти несколько шагов и понимать простые команды. Сборка была весёлой.

Видео из оригинальной статьи

Я также использовал здесь идею, похожую на MCP, хотя в этом маленьком робопсе реализация намного проще. Модель и устройство делят список возможностей. Устройство сообщает, что умеет делать, а модель вызывает только то, что есть в этом списке.

Самым полезным для меня было отделить локальные способности от облачных. Устройство управляет локальным железом: динамиком, LED, сервоприводами и GPIO. Облако может расширяться до управления умным домом, действий на ПК, поиска знаний, email и других более высокоуровневых инструментов. Когда эта граница проведена, о границах системы становится проще рассуждать.

Полный запуск выглядит так. ESP32-C3 сначала сообщает свои возможности, например servo_control, sensor_read и gpio_write. Я говорю: «Mambo, sit down». Облачная модель генерирует структурированный вызов с целевым сервоприводом, целевым углом и параметрами скорости. ESP32-C3 переводит это в UART-команду для STM32. Затем STM32 пошагово корректирует PWM и сообщает статус выполнения.

Эта маленькая система уже понимает «sit down», «stand up» и «what is the temperature now». Чего ей не хватает — пространства. Она не знает, где находится, где стоит стул и ударится ли обо что-нибудь, если сделает два шага влево. Когда приём команды, управление мотором и возврат статуса уже работают, о пространственном восприятии и генерации действий становится гораздо легче думать.

Как робот понимает, где он находится?

Мой робопёс не может понять «обойди стул на два шага влево». Он не знает, насколько далеко стул. Он не знает, где стоит в комнате и в какую сторону смотрит. У него нет 3D-карты, которая обновляется со временем. Ему не хватает восприятия глубины, оценки позы и пространственного картирования.

Добавить пространственные способности — это не просто подключить ещё один модуль. Как только в систему входят depth camera, IMU и плата, способная на SLAM, меняются стоимость, энергопотребление и весь software stack. Система на STM32 не может сама поглотить весь этот слой.

Появляются четыре новые цепочки. Калибровка камеры должна учитывать intrinsics, дисторсию, экспозицию и синхронизацию. Оценка позы должна разрешать преобразования между камерой, IMU и системой координат тела. Обновление карты должно решать, когда старая карта становится недействительной или требует коррекции. Планирование движения должно помнить, что достижимая точка на карте не гарантирует, что лапа сможет устойчиво туда встать.

Настольное демо может избежать многих из этих проблем. Комната — нет. Отражающие полы, ножки столов, кабели, ступеньки и изменения освещения — всё это входит в систему.

Image models хорошо отвечают на 2D-вопрос: что находится на этом изображении? Робот должен продолжать дальше. Насколько далеко объект? Что его перекрывает? Какое направление даст более устойчивый захват? После одного шага как изменятся точка зрения и точки опоры?

На 2D-изображении чашка — это несколько сотен пикселей. В мире робота чашка — объект с объёмом, весом, трением, окклюзией и контактными поверхностями. Вот 3D-представления, которые я постоянно встречал в робототехнике; у каждого своя инженерная стоимость.

Представление	Какую проблему решает	Инженерная стоимость
Occupancy или voxel	Какие пространства заняты и где робот может двигаться	Требует входных данных с нескольких ракурсов или оценки глубины, с компромиссом между разрешением и вычислениями
Облако точек	Нативная 3D-геометрия с датчиков	Разреженное и неупорядоченное, с высокой стоимостью семантической обработки
NeRF или 3D Gaussian Splatting	Высокоточная реконструкция сцены и синтез новых ракурсов	Обучение, обновление и динамические объекты всё ещё сложны
3D-граф сцены	Пространственная память о комнатах, объектах и связях	Зависит от стабильного восприятия и семантической привязки

Эти представления часто работают вместе. Низкоуровневое избегание препятствий может использовать occupancy или локальную cost map. Захват может использовать point clouds и позы end-effector. Долгие задачи могут использовать scene graph. Аугментация тренировочных данных может использовать NeRF или 3DGS. Сложность в том, чтобы поместить их на одну временную шкалу и в одну систему координат. Как только 3D-сцена перестаёт обновляться, она быстро превращается в старую фотографию.

SLAM и point clouds хороши в геометрии. Они могут дать позу и препятствия, но семантика у них слабая. Система знает, что впереди есть кластер точек. Она может не знать, стул это или картонная коробка. NeRF и 3D Gaussian Splatting сильны в реконструкции и генерации новых видов. Для роботов полезный вопрос в том, могут ли они приблизить симуляцию, аугментацию данных и world models к реальным сценам.

3D scene graph ближе к долгосрочной памяти. Он превращает комнаты, столы, чашки и ящики в узлы. Он превращает «чашка на столе», «ящик принадлежит шкафу» и «ключи в последний раз видели у входа» в отношения. Если домашнему роботу нужно ответить «куда я в прошлый раз положил гаечный ключ», одних видеокадров будет недостаточно.

Пространственная память также должна сохранять неопределённость. Если робот один раз увидел чашку, он не должен навсегда считать, что чашка всё ещё на этом месте. Имена объектов, время последнего наблюдения, уверенность и видимость нужно хранить вместе.

VLA тоже движется от 2D к 3D. Ранние системы вроде RT-2 и OpenVLA в основном соединяли 2D-изображения, язык и действие. Этого достаточно для многих настольных задач захвата. Но когда инструкция становится «достань заблокированный синий кубик», пикселей уже недостаточно. Робот должен знать, что блокирует синий объект, нужно ли сначала убрать блокирующий предмет и не приведёт ли его перемещение к тому, что что-то ещё упадёт.

Работы вроде 3D-VLA и SpatialVLA пытаются объединить 3D-сцены, SE(3)-позы, которые описывают положение и ориентацию вместе, и генерацию действий. Серия Figure Helix может работать по monocular visual input, но ей всё равно приходится внутренне учить глубину, affordance и отношения объектов. Вход может быть 2D. Внутреннее представление всё равно должно войти в 3D.

Monocular cameras на гуманоидных роботах — тоже компромисс. Монокулярная система может оценивать глубину по нескольким видам, motion parallax и нейросетям, но ей нужны достаточно данных и стабильное движение. Active depth или LiDAR покупают уверенность железом. Tesla, Figure, Boston Dynamics и Unitree выбирают разные сенсорные конфигурации, потому что по-разному обменивают визуальные данные, вычисления, real-time-поведение и резервирование безопасности.

Это граница моего маленького робопса. Он может превращать язык в действие, но действие не находится в пространстве. У него нет позы, карты и обработки окклюзий. Команда вроде «сделай два шага влево» всё ещё не может приземлиться.

От hard-coded движений к VLA

Мой робопёс всё ещё выполняет фиксированные движения. Когда я говорю «sit down», он загружает предустановленную группу углов сервоприводов. Он не генерирует новое действие из зрения и языка. Я лишь добавил распознавание намерения перед маленькой библиотекой движений.

В embodied AI VLA, или Vision-Language-Action, — направление, которое стоит изучать внимательно. Оно подаёт зрение, язык и состояние робота в одну модель и просит модель напрямую выдавать действия. Это уменьшает количество рукописных интерфейсов между визуальным обнаружением, пониманием языка, планированием и управлением. Меньше интерфейсов также означает более сложную отладку.

Маршрут	Репрезентативная работа	Как представлено действие	Что происходит на реальном роботе
Дискретные токены	RT-1, RT-2, OpenVLA	Непрерывные действия дискретизируются в токены	Легко подключать к языковым моделям, но точность и длина последовательности ограничены
Чанки действий	ACT	Предсказывает следующие k шагов сразу	Снижает накопленную ошибку в высокочастотном управлении
Диффузионная генерация	Diffusion Policy, RDT-1B	Генерирует траектории действий из шума	Подходит для мультимодальных действий, например обхода препятствия слева или справа
Flow matching	pi0, pi0.5, SmolVLA	Генерирует непрерывное распределение действий	Более быстрое сэмплирование, лучшее соответствие низколатентному управлению
Высоко- и низкочастотные системы	Helix, Gemini Robotics	Высокоуровневое рассуждение декомпозирует задачи, низкоуровневая VLA выполняет действия	Ближе к разделению мозга и мозжечка

«Выдать действие» может означать разные вещи. Некоторые модели выдают углы суставов. Некоторые — движение end-effector для руки или gripper. Некоторые — открытие и закрытие gripper. Углы суставов близки к железу, но плохо переносятся между роботами. Позы end-effector более универсальны, но требуют inverse kinematics.

Направления идут по примерной временной линии. Сначала появился RT-1. Он обучал Transformer на 130 000 демонстраций и более чем 700 задачах, рассматривая управление роботом как sequence learning. Затем RT-2 добавил internet-scale image-text data, чтобы модель могла приносить веб-знания в управление роботом. Цена очевидна: сжатие непрерывных суставов, поз и состояний gripper в токены теряет точность, а с ростом числа действий токенная строка удлиняется.

ACT более прямолинеен. Он предсказывает небольшой блок действий за один раз. С ALOHA две недорогие teleoperation-руки могут подключить USB-кабель, застегнуть молнию и пожарить яйцо. Для многих это всё ещё первая остановка в imitation learning. Diffusion Policy решает другую проблему. Когда есть несколько допустимых способов обойти препятствие, обычная регрессия может выучить усреднённое движение, которое идёт прямо в препятствие. Diffusion начинает с шума и генерирует действия шаг за шагом, что позволяет сохранять несколько допустимых путей.

pi0 использует flow matching. Можно думать о нём как о близком родственнике diffusion с гораздо более быстрым sampling. pi0.5 продвигает generalization в открытые среды, смешивая в обучении высокоуровневые подзадачи, устные инструкции и web data. Physical Intelligence сообщала, что большее число тренировочных сред улучшало стабильность в новых домах и что около 100 сред могли сравниться с обучением прямо в целевой среде.

SmolVLA подходит с другой стороны. Он снижает входной барьер для consumer hardware. У него 450M параметров, он использует community data и может работать с менее чем 30 000 эпизодов. Возможно, это не самая сильная модель, но она выводит VLA за пределы кластеров больших компаний.

У community data есть практическое требование. Разнообразие должно покрывать освещение, углы камер, комнаты и качество демонстраций. Это похоже на тестовые данные в software engineering: чистые данные из одной лаборатории могут быть менее полезны, чем шумные данные, покрывающие больше ситуаций.

После 2025 года разделение на high-level и low-level стало яснее. Gemini Robotics от Google DeepMind — один пример. ER 1.6 отвечает за понимание и декомпозицию задач. 1.5 превращает каждый шаг в действие. Google также выпустила On-Device-версию для локального использования с низкой задержкой, которая может адаптироваться к новым задачам по 50–100 демонстрациям.

В демо такое разделение часто выглядит хорошо. В реальном продукте оно обнажает проблемы. «Организуй стол согласно местным правилам переработки». High-level-модель должна проверить правила, разбить задачу и объяснить намерение. Low-level-модель должна распознать каждый объект и положить его в правильный контейнер. Если два слоя превращаются в один black box, локализовать сбой трудно.

Figure Helix тоже использует слоистую систему. В раннем Helix S2 был низкочастотным VLM, а S1 — action policy на 200 Hz. Helix 02 добавил слой S0 для full-body control на 1 kHz, помещая баланс, контакт и координацию в ещё более быстрый слой. Мой робопёс — игрушечная версия той же идеи. Медленная модель может заниматься пониманием, но балансу, контакту и координации нужен более быстрый слой.

Помимо речи, мозгу робота также нужно выбрать представление действия. Если действия слишком грубые, робот не сможет точно хватать. Если действия слишком медленные, управление станет нестабильным. Как только действия становятся прерывистыми, реальные моторы и контакт усиливают ошибку.

Время, энергия и данные

Когда я разделяю систему управления роботом, я обычно думаю о трёх частях: мозг, мозжечок и тело. В инженерных терминах это проблема разных частот управления.

Слой	За что отвечает	Типичный масштаб времени	Распространённые техники
Мозг	Визуальное понимание, языковое взаимодействие, декомпозиция задач	100 ms to 1 s	VLM, VLA, LLM, GPU или NPU
Мозжечок	Генерация траекторий, баланс, координация движения	1 ms to 50 ms	MPC, RL, IK, real-time CPU
Тело	Ток двигателя, обратная связь энкодеров, аварийная остановка	Микросекунды to 10 ms	MCU, FPGA, EtherCAT, CAN-FD

У маленького робопса есть такое же разделение в упрощённом виде. Диалог DeepSeek — это мозг. Последовательность походки внутри STM32 — мозжечок. PWM и сервоприводы — тело. Поскольку он не занимается динамическим балансом, облачный ответ за 1–2 секунды приемлем. На гуманоидном роботе задержки баланса в 1 секунду достаточно, чтобы он упал.

Мозг может быть медленным. Когда робот слышит «положи чашку в раковину», он может разбить это на поиск чашки, подход к ней, захват и отпускание. Эта семантическая работа не требует 1 kHz. Мозжечок — требует. Стоящий и идущий человек грубо похож на inverted pendulum. Контур управления часто должен работать на 200–1000 Hz. Если он слишком медленный, небольшое возмущение может превратиться в падение.

Слой тела ещё более real-time. Управление мотором читает энкодеры, оценивает скорость, ограничивает ток и немедленно останавливается, когда что-то не так. Многие системы помещают этот слой на отдельный MCU или FPGA, чтобы избежать неопределённости планирования Linux.

Задержка выглядит по-разному в зависимости от того, где возникает. Если медленный мозг, робот кажется вялым. Если медленный мозжечок, страдает баланс, и лёгкое касание может его опрокинуть. Если медленный слой тела, моторы дрожат, нагреваются и могут ударить человека.

Ловушка, которую легко недооценить, — coordinate frames и timing. Мозг и мозжечок могут использовать разные системы координат. Сенсоры тоже работают на разных скоростях: IMU — сотни герц, камеры — десятки герц, энкодеры — тысячи герц. Калибровка и timestamps должны выровнять их к одному времени и одной системе координат. Как только калибровка дрейфует, состояние, которое видит модель, больше не соответствует реальному миру. Алгоритм выглядит так, будто внезапно стал хуже. Многие сессии отладки роботов возвращаются к сенсорам, extrinsics, нулевым точкам и timestamps.

После времени идёт энергия. Роботы не могут избежать актуаторов и батарей. У гуманоидного робота десятки моторов. Моторы, редукторы, ходовые винты, энкодеры и драйверы часто являются самыми дорогими и сложными для масштабирования частями BOM.

Dexterous hands особенно сложны. Моторы, сухожилия, tactile sensing, проводка и тепло — всё это должно поместиться в пространство размером с ладонь. Именно поэтому многие компании продолжают дорабатывать кисти. Человек использует около 2000 kcal в день, примерно 2.3 kWh, и может долго двигаться. У роботов нет такой же пассивной поддержки от костей и связок. Даже стоять на месте стоит энергии, потому что моторы должны удерживать позу.

Третий элемент — тренировочные данные. Их собирать гораздо труднее, чем обычные данные для больших моделей. Текст можно краулить. Изображения можно размечать. Беспилотные автомобили могут собирать данные с машин на дороге. Манипуляции робота требуют реального железа, площадки, людей для наблюдения и определённой границы безопасности. Когда всё это готово, стоимость сбора уже на порядок выше. Данные примерно приходят из этих мест.

Пункт	Раннее публичное заявление	Заявление, связанное с Gen 3	Почему это важно
DoF тела	AI Day 2022 раскрыл 28 базовых DoF, не считая кистей	Всё ещё сосредоточено вокруг 28+ DoF тела	Движение тела уже сложно. Значительная часть видимых изменений — в кистях и предплечьях
DoF кисти	11 DoF и 6 актуаторов на кисть	Кисть и предплечье следующего поколения публично описывались как 22 DoF. Сторонние сводки упоминают 25 актуаторов на кисть	Более ловкая манипуляция, плюс более сложная проводка, тепло, срок службы и калибровка
Вычислительная платформа	Компьютер в торсе, похожий на автомобильный FSD-компьютер	AI5 публично описывался как поддерживающий более крупные модели и инференс на устройстве	Долгосрочная зависимость от облака ограничивает. Энергоэффективность на edge рано ограничивает продукт
Целевая стоимость	AI Day 2022 упоминал долгосрочную идею ниже USD 20,000	На earnings calls продолжали обсуждать целевой уровень USD 20,000 в масштабе	Это зависит от актуаторов, магнитов, проводки и выхода годной сборки. Модель — только одна часть
Стадия внедрения	Сначала тестировался внутри фабрик Tesla	Несколько earnings calls упоминают внутреннее использование, итерации дизайна и более поздние цели для производственной линии	Фабрика работает как поле обучения и валидации. Со сроками внешних продаж всё ещё нужна осторожность

Simulation пытается избежать боли сбора, но реальная машина отличается. Освещение, трение, допуски, износ, шум сенсоров и нагрев моторов в симуляции чистые, а на железе — грязные. Более устойчивый подход — обучать policy в simulation, пока она не перестанет делать низкоуровневые ошибки, затем калибровать небольшим количеством реальных данных, возвращать неудачные примеры обратно и обучать снова. Чисто симуляционный путь склонен недооценивать контакт и ошибки сенсоров. Одних simulation data далеко недостаточно.

Какой слой может быть медленным? Какой обязан быть real-time? Какие задачи могут использовать GPU? Какие должны оставаться на MCU? По сравнению с чистым софтом, в голове приходится держать гораздо больше слоёв.

Tesla Optimus как инженерный образец

Мне нравится Tesla, и я рано купил её акции, поэтому я не нейтрален, когда смотрю на Optimus. Но я всё равно хочу написать о нём, потому что он собирает в одной машине перенос FSD, sensing только через vision, end-to-end training, собственные актуаторы, заводские испытания и крупносерийное производство. Если изучать его по частям, несколько вопросов становятся конкретнее: сколько времени dexterous hand проходит путь от демо до надёжности, как неудачные примеры добавляют контактные данные и как производство превращает актуаторы, проводку, сенсоры и батареи в обслуживаемый продукт.

Числа в таблице взяты из Tesla AI Day, earnings calls и сторонних технических сводок. Это публичные заявления и цели, а не доказательство отгруженной способности. Я всё ещё помню, как многие робототехнические компании изучали слайды и видео AI Day кадр за кадром. Уже это многое говорит.

Пункт	Раннее публичное заявление	Заявление, связанное с Gen 3	Почему это важно
DoF тела	AI Day 2022 раскрыл 28 базовых DoF, не считая кистей	Всё ещё сосредоточено вокруг 28+ DoF тела	Движение тела уже сложно. Значительная часть видимых изменений — в кистях и предплечьях
DoF кисти	11 DoF и 6 актуаторов на кисть	Кисть и предплечье следующего поколения публично описывались как 22 DoF. Сторонние сводки упоминают 25 актуаторов на кисть	Более ловкая манипуляция, плюс более сложная проводка, тепло, срок службы и калибровка
Вычислительная платформа	Компьютер в торсе, похожий на автомобильный FSD-компьютер	AI5 публично описывался как поддерживающий более крупные модели и инференс на устройстве	Долгосрочная зависимость от облака ограничивает. Энергоэффективность на edge рано ограничивает продукт
Целевая стоимость	AI Day 2022 упоминал долгосрочную идею ниже USD 20,000	На earnings calls продолжали обсуждать целевой уровень USD 20,000 в масштабе	Это зависит от актуаторов, магнитов, проводки и выхода годной сборки. Модель — только одна часть
Стадия внедрения	Сначала тестировался внутри фабрик Tesla	Несколько earnings calls упоминают внутреннее использование, итерации дизайна и более поздние цели для производственной линии	Фабрика работает как поле обучения и валидации. Со сроками внешних продаж всё ещё нужна осторожность

Апгрейд кисти может выглядеть небольшим, но в робототехнике это крупное изменение. Заводские задачи вроде закручивания винтов, подключения коннекторов, перемещения деталей и наклеивания этикеток, а также домашние задачи вроде поднятия чашек, открытия дверей и складывания одежды, нельзя решить одним только движением руки. Пальцам нужно достаточно точек контакта. Им также нужно понимать, скользит ли объект, хрупкий ли он и где находится контактная поверхность.

Палец без штифта

16 апреля 2026 года сторонний teardown обсудил набор публикаций WIPO по кисти и предплечью Tesla. Патент — не production design, но WO 2026/080693, «Joint Assembly for Robotic Appendage», показывает интересный структурный компромисс. Тогда я увидел отчёт на X и хорошо его запомнил.

Teardown описывал конструкцию, которая избегает традиционного штифтового шарнира. Между двумя фалангами находится плоский композитный элемент. Сверху и снизу у него эластичные слои, а посередине — очень тонкий усиливающий слой. Среди кандидатов материалов — Vectran и Nitinol. Vectran — жидкокристаллическое полимерное волокно. Nitinol — никель-титановый сверхэластичный сплав. Оба могут помогать создавать направленную жёсткость.

Конструкция пытается управлять направлением изгиба. Палец должен быть мягким при сгибании, но жёстким при разгибании, сжатии, сдвиге, кручении и боковом раскачивании. Традиционный штифтовой шарнир ограничивает дополнительные степени свободы геометрией. Этот подход использует анизотропную жёсткость. У него есть три возможных инженерных преимущества. Фаланги могут образовывать что-то близкое к rolling contact, где ось вращения смещается при изменении угла, что ближе к настоящему пальцу. Эластомер даёт собственное возвратное усилие, поэтому отдельная возвратная пружина может не понадобиться. Сухожилие может проходить через нейтральную плоскость, снижая усталость от повторного сгибания.

Это выглядит как mechanical design, но затрагивает целую цепочку проблем dexterous hand. Конструкция сустава влияет на возврат пальца, разводку сухожилий, компоновку запястья, пространство в предплечье, сборочные допуски и ремонт. Сможет ли она сохранять стабильность после тысяч захватов в день, нельзя понять из демо. Это нужно проверять в реальной работе.

Как может быть устроен Optimus AI

Tesla постоянно подчёркивает, что Optimus и FSD имеют общие корни. AI Day 2022 говорил, что компьютер внутри торса робота происходит от автомобильного FSD computer, а software stack переиспользует object detection, occupancy networks, indoor navigation и motion planning из автомобиля. Некоторые сторонние сводки описывают Optimus как end-to-end-систему с 8 входами камер и 78 выходами актуаторов.

Tesla, скорее всего, строит единую learned system, а не одну end-to-end neural network. Полная конструкция FSD включает 48 сетей. Инженерная реализация, вероятно, представляет собой multi-task, multi-head architecture с общими представлениями.

Интерфейс	Вход	Выход	Как оценивать
Vision to 3D	Мультикамерные изображения, поза тела	Occupancy, позиции объектов, достижимое пространство	Стабильность при окклюзии, отражениях, узких проходах и низкотекстурных объектах
Language to task	Инструкция человека, фабричный SOP, текущая сцена	Последовательность подзадач и политика восстановления после сбоев	Даёт ли изменённая формулировка всё ещё разумный процесс, и можно ли перепланировать после сбоев
Task to action	Подзадачи, цели end-effector, состояние контакта	Траектории тела, рук и пальцев	Частота, задержка, джиттер и контактная сила в безопасных пределах
Action to execution	Цели суставов, ограничения тока, обратная связь датчиков	Результат выполнения, код ошибки, состояние аварийной остановки	Дрейф после долгих повторений и можно ли локализовать сбои

Action space в self-driving невелик: steering, throttle и braking покрывают большую часть. Гуманоидный робот отличается. Если у Optimus 78 актуаторов, каждый временной шаг должен координировать тело, руки, пальцы, баланс и контакт. Если чашка слегка соскальзывает, сила пальцев, движение запястья, траектория руки и центр масс должны корректироваться вместе.

End-to-end-направление может убрать многие рукописные интерфейсы между зрением, языком, пространством и действием, позволяя им влиять друг на друга через обучение. Цена — отладка. Когда робот хватает не ту деталь, что было не так: оценка глубины, семантика объекта, action head или актуатор не отследил команду? Инженерной системе всё равно нужны логи, state replay, safety controllers и интерпретируемые промежуточные сигналы.

Если бы я делил Optimus как инженерную систему, я начал бы с четырёх интерфейсов.

Источник данных	Что добавляет	Чего всё ещё не хватает
Автопарк	Визуальный здравый смысл, пространственное понимание, occupancy representations	Захватывание, контроль силы, осязание, контактные сбои
Демонстрации от первого лица человека	Семантика задач, детали кистей, использование инструментов	Проприоцепция робота и реальная ошибка выполнения
Digital Dreams или нейронный симулятор мира	Long-tail сцены, освещение, размещение объектов, варианты начального состояния	Физическую согласованность сгенерированных данных всё ещё нужно валидировать на реальном роботе
Онлайн-обратная связь Factory Optimus	Успехи и неудачи, ближайшие к внедрению	Ограничена числом роботов, границами задач и ограничениями безопасности

Те же четыре интерфейса также отображаются на моего робопса, только в гораздо меньшем масштабе. У моего пса есть только language-to-fixed-action и action-to-PWM. Ему не хватает vision-to-3D и contact state. Optimus должен заставить все четыре интерфейса работать одновременно, и любой сбой на одном слое может быть поглощён unified model.

Откуда берутся данные и почему mass production сложен

Преимущество Tesla часто описывают как fleet data. Здесь это верно лишь отчасти. Fleet data может дать Optimus визуальный common sense, пространственное понимание, адаптацию к освещению, предсказание динамических объектов и occupancy representations. Автомобили не работают с трением чашки и не используют пальцы, чтобы понять, смялась ли картонная коробка. Больше всего роботам не хватает контактных данных из физического мира. Судя по публичным материалам, данные Optimus в основном приходят из четырёх источников.

Публичное заявление	Где оно упирается
Сначала использовать Optimus внутри фабрик Tesla	Фабрика — это поле задач, поле данных и граница безопасности
Робот ещё не зафиксирован в дизайне	Финализация железа всё ещё движется. Скорость итерации модели не равна скорости итерации всей машины
Цель производственной линии движется от 1,000 единиц в месяц к большему масштабу	Узкое место — актуаторы, батареи, проводка, сборка и выход годного при контроле качества
Целевая стоимость ниже USD 20,000 после масштабирования	Это зависит от новой цепочки поставок. Снижение стоимости ПО — только одна часть
Редкоземельные постоянные магниты назывались ограничением Optimus	Актуаторы ограничены материалами и цепочками поставок

Именно поэтому операторы-люди надевают шлемы и рюкзачные камеры, чтобы собирать данные на площадке. Я также недавно видел, как китайские embodied-AI-компании работают с клининговыми компаниями, прося работников убираться в сенсорах и камерах. Все эти партнёрства пытаются захватить данные контакта с физическим миром.

Данные роботов намного медленнее, чем данные self-driving. Автопарк может каждый день собирать данные с машин по всем дорогам. Teleoperation обычно означает, что один человек обучает одного робота за раз. Автономный сбор на реальном роботе ещё медленнее. Сбои изнашивают железо, прерывают производственные линии и добавляют риск безопасности. Это трудно, но направление мне всё равно нравится.

Разрыв между робототехническими компаниями постепенно проявится в том, насколько быстро они собирают samples, обучают и меняют железо. Компания, которая может дёшево и стабильно собирать failed samples, а затем подавать их в следующий цикл обучения и железа, увеличит своё преимущество в итерациях.

Данные — один барьер. Manufacturing — другой.

Tesla обсуждает Optimus почти на каждом earnings call. Как инвестор, я стараюсь отделять сказанное от достигнутого. Если соединить публичные заявления с 2024 по 2026 год, видно непрерывное движение и повторяющиеся bottlenecks.

Игрок	Маршрут	Главная ставка	За чем следить
Tesla Optimus	Только зрение, перенос FSD, испытания на фабриках, собственные актуаторы	Неудачные образцы и производственный масштаб	Кисти, стоимость актуаторов, реальный ROI рабочего места
Figure	Helix и Helix 02, полнотелесная VLA и фабричные задачи	VLA на устройстве и длинногоризонтная локомо-манипуляция	Стабильность вне демо, стоимость обслуживания
Google DeepMind	Gemini Robotics, высокоуровневое ER плюс низкоуровневая VLA	Общее многошаговое рассуждение, связанное с действиями робота	Обобщение и границы безопасности на партнёрском железе
NVIDIA	Jetson Thor, Cosmos, Isaac, GR00T	Чипы, симуляция, world models и инструменты для foundation models	Можно ли надёжно переиспользовать стек на разных роботах
Boston Dynamics	Традиционная база управления плюс AI-аугментация	Надёжное управление движением и промышленное внедрение	Стоимость и общая способность к манипуляциям
Unitree	Недорогое железо, сильные возможности движения, рынок разработчиков	Расширить базу железа за счёт низких цен	Сообщество ПО и способность выполнять безопасностные задачи
AGIBOT	Несколько форм-факторов, датасеты, full-stack платформа	Локальная цепочка поставок и реальные данные задач	Публично проверяемое покрытие задач и непрерывная работа

Эти ограничения важнее, чем год поставки. Гуманоидные роботы не могут ждать, пока модель закончит обучение, прежде чем начнётся production line. Железо, данные и manufacturing обычно движутся вместе. Если меняется конструкция кисти, вместе с ней движутся структура предплечья, проводка, tactile sensors, controllers и supply chain. Если yield актуаторов нестабилен, самая медленная часть тянет вниз производственные цели.

По публичным материалам Tesla делает ставку на сочетание real-world data, manufacturing scale и vertical integration. FSD даёт ей базу визуального восприятия и training infrastructure. Заводы дают контролируемые задачи и обратную связь. Manufacturing даёт путь снижения стоимости. Если надёжность кисти, стоимость актуаторов, safety protection или реальный workstation ROI застрянут, эти преимущества будет трудно превратить в продукт.

Следующие полезные проверки для Optimus конкретны: долгосрочная надёжность конструкции кисти, скорость возврата failed samples в обучение и real-robot validation, наличие у модели отлаживаемых интерфейсов и способность актуаторов и supply chain поддержать цели production line. Если маршрут Tesla сработает, это будет не только из-за модели. Это будет потому, что визуальный опыт fleet, заводские задачи, world simulators, training clusters и manufacturing соединятся.

Разные маршруты компаний

Сейчас многие компании строят гуманоидных роботов, но их маршруты и ставки сильно различаются.

Игрок	Маршрут	Главная ставка	За чем следить
Tesla Optimus	Только зрение, перенос FSD, испытания на фабриках, собственные актуаторы	Неудачные образцы и производственный масштаб	Кисти, стоимость актуаторов, реальный ROI рабочего места
Figure	Helix и Helix 02, полнотелесная VLA и фабричные задачи	VLA на устройстве и длинногоризонтная локомо-манипуляция	Стабильность вне демо, стоимость обслуживания
Google DeepMind	Gemini Robotics, высокоуровневое ER плюс низкоуровневая VLA	Общее многошаговое рассуждение, связанное с действиями робота	Обобщение и границы безопасности на партнёрском железе
NVIDIA	Jetson Thor, Cosmos, Isaac, GR00T	Чипы, симуляция, world models и инструменты для foundation models	Можно ли надёжно переиспользовать стек на разных роботах
Boston Dynamics	Традиционная база управления плюс AI-аугментация	Надёжное управление движением и промышленное внедрение	Стоимость и общая способность к манипуляциям
Unitree	Недорогое железо, сильные возможности движения, рынок разработчиков	Расширить базу железа за счёт низких цен	Сообщество ПО и способность выполнять безопасностные задачи
AGIBOT	Несколько форм-факторов, датасеты, full-stack платформа	Локальная цепочка поставок и реальные данные задач	Публично проверяемое покрытие задач и непрерывная работа

Эти семь компаний делятся на две группы. Одна группа строит законченных роботов. Tesla, Figure, Unitree и AGIBOT сами закрывают железо и модели. Другая группа не привязывает себя к одному телу. Google DeepMind строит слой интеллекта, который может подключаться к разным роботам. NVIDIA продаёт всем вычисления, симуляцию, world models и tooling для foundation models. Первая группа ставит на то, смогут ли данные и manufacturing замкнуться вместе. Вторая — на то, сможет ли её слой переноситься между телами роботов.

Платформенный маршрут звучит проще, но граница интерфейсов рискованна. Если верхняя инструкция слишком абстрактна, нижний слой не может её выполнить. Если нижний слой падает без ясной причины, верхний слой не может перепланировать. Это та же проблема, которая проявилась в разделе VLA.

VLA — не единственный маршрут. Boston Dynamics не опирается на narrative больших моделей, но electric Atlas и годы работы над motion control всё равно вводят её в factory logistics. Промышленные площадки больше заботятся о cycle time, failure rate и safety certification, чем о демо. В Китае самые практичные сигналы — цена и скорость supply chain. Unitree G1 официально стартует с USD 13,500. Такая цена может быстро расширить аппаратную базу. Сможет ли он справляться с general tasks и долго оставаться надёжным, ещё покажет время.

За этими маршрутами стоят три trade-offs. Фабрики широко рассматриваются как первая остановка, потому что среда контролируема, ROI можно посчитать, а границы задач можно ограничить. Дома — самые сложные. Среда хаотична, пользователи мало терпят ошибки, а робот должен быть тихим, безопасным и privacy-aware. Platform companies выбирают сначала продавать toolchain, потому что большинству робототехнических компаний не хватает данных, симуляции, edge compute и training frameworks.

Движение от софта к embodied AI

Если вы тоже software engineer и хотите продолжать изучать embodied AI, этих системных областей трудно избежать.

Embedded and real-time systems: GPIO, PWM, I2C, UART, SPI, timers, interrupts, RTOS
Robot kinematics: coordinate frames, forward and inverse kinematics, Jacobian, end-effector pose
Control basics: PID, MPC, state estimation, sampling frequency, latency, stability
Perception and SLAM: camera model, depth, IMU, LiDAR, extrinsics, time synchronization
Imitation learning and reinforcement learning: behavior cloning, ACT, Diffusion Policy, reward, Sim2Real
Data engineering: teleoperation, episode format, video-state synchronization, annotation, evaluation

Как стек, это идёт от чипов, актуаторов и сенсоров вверх к алгоритмам и системам. Смотреть только на модели — значит скрывать многие сложные проблемы. Смотреть на весь стек — значит яснее видеть, где находится каждая проблема.

Мой текущий способ связывать материал такой: начать с маленького hardware project вроде робопса, потому что он соединяет cloud-edge collaboration и локальное действие. Wake-up, сеть, вызовы модели, описания возможностей, serial protocols, execution actions и status return могут сломаться в одной маленькой системе. Проект невелик, но каждая часть может отказать по-настоящему. Решение этих отказов по одному даёт самое честное чувство исследования.

После того как один раз запустишь cloud-edge collaboration и MCP, ACT и ALOHA читать проще. Low-cost teleoperation и action chunking начинают иметь больше смысла. Diffusion Policy затем объясняет, почему действия иногда нужно моделировать как распределения. RT-1, RT-2, Open X-Embodiment и OpenVLA связывают VLA с cross-embodiment data. Наконец, pi0, pi0.5, SmolVLA, Gemini Robotics, Helix и GR00T N1.5 показывают, как индустрия пытается объединить high-level reasoning, low-level action и edge deployment.

Если бы мне пришлось сжать embodied AI до четырёх слов, я бы выбрал perception, space, action и torque. Сложность примерно растёт в этом порядке. AI perception уже силён. Spatial ability всё ещё догоняет. Action кое-чему научился. Torque возвращает работу к моторам, конструкции, контакту и питанию.

References

Models and Algorithms

RT-1: Robotics Transformer for Real-World Control at Scale, Google Robotics, 2022.
RT-2: New model translates vision and language into action, Google DeepMind, 2023.
Diffusion Policy: Visuomotor Policy Learning via Action Diffusion, Columbia + MIT CSAIL, 2023.
Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware, ACT / ALOHA, 2023.
Open X-Embodiment, Google DeepMind + 33 institutions, 2023.
OpenVLA: An Open-Source Vision-Language-Action Model, Stanford + Physical Intelligence + Google DeepMind, 2024.
pi0: A Vision-Language-Action Flow Model for General Robot Control, Physical Intelligence, 2024.
pi0.5: a VLA with Open-World Generalization, Physical Intelligence, 2025.
SmolVLA: Efficient Vision-Language-Action Model trained on LeRobot Community Data, Hugging Face, 2025.
Gemini Robotics, Google DeepMind.
Gemini Robotics On-Device brings AI to local robotic devices, Google DeepMind, 2025.

Industry, Hardware, and Toolchains

Helix: A Vision-Language-Action Model for Generalist Humanoid Control, Figure AI, 2025.
Introducing Helix 02: Full-Body Autonomy, Figure AI.
NVIDIA Jetson Thor, NVIDIA.
Cosmos World Foundation Model Platform for Physical AI, NVIDIA Research, 2025.
GR00T N1.5, NVIDIA GEAR.
LeRobot, Hugging Face.
SO-ARM100, SO-100 / SO-101 low-cost robot-arm hardware.
xiaozhi-esp32, open-source ESP32 AI voice assistant.
Genesis, open-source physics simulation platform.
NVIDIA Isaac Lab, robotics learning framework.
Tesla AI Day 2022 transcript, early Optimus technical disclosure.
AI Training for Tesla Optimus Explained, third-party summary of Optimus AI training, data sources, and world simulators.
Tesla Earnings Call Transcripts, public transcript aggregator for Optimus statements from 2024 Q2 to 2025 Q3.
The Pinless Finger: What Tesla Put Where the Hinge Should Be, third-party WIPO patent teardown of Optimus Gen 3 hand and forearm.
Unitree G1, Unitree official store.