Система MIT учит роботов понимать своё тело по видео

Самонаблюдение вместо готовой модели

MIT 24 июля 2025 года рассказал о системе Neural Jacobian Fields, или NJF. Она учит робота связывать управляющие команды с движением разных точек собственного корпуса. Для этого машина выполняет случайные действия, а камеры записывают изменения формы и положения.

Подход рассчитан на конструкции, для которых трудно заранее подготовить точную физическую модель: мягкие кисти, деформируемые механизмы и недорогие напечатанные детали. Конструктору не нужно встраивать датчик в каждую подвижную часть только ради управления.

Что именно изучает сеть

NJF одновременно восстанавливает трёхмерную геометрию робота и поле Якоби — зависимость движения каждой видимой точки от сигнала приводу. Во время обучения требуется несколько камер, но после него замкнутое управление работает с одной обычной камерой.

По данным MIT, система обновляет управление примерно 12 раз в секунду. Человеческая разметка и предварительное описание кинематики не нужны.

Четыре разные установки

Исследователи проверили метод на пневматической мягкой кисти, жёсткой кисти Allegro, напечатанной роботизированной руке и вращающейся платформе без встроенных датчиков. В опытах машины учились щипковому захвату, удержанию объектов и перемещению отдельных точек к цели.

Разнообразие стендов показывает, что одна идея применима к разной механике, но для каждого робота модель обучалась отдельно. Случайные движения служили самостоятельным сбором обучающих примеров.

Ограничения метода

NJF пока не переносит готовую модель управления с одной конструкции на другую. Обучение требует многокамерной записи, а единственная камера после обучения может потерять часть корпуса за препятствием. У системы нет силовой и тактильной обратной связи, поэтому задачи с плотным контактом остаются ограниченными. Показанные эксперименты подтверждают управление лабораторными установками, но не длительную работу на производстве или в доме. Оценка ресурса системы не проводилась.