MotionGlot переводит текстовые команды в движения разных роботов

Движение как язык

Brown University 8 мая 2025 года представил MotionGlot — модель, которая превращает текстовое описание в движение робота или цифровой фигуры. Команда предлагает рассматривать позы и переходы между ними как последовательность токенов, похожую на представление слов в языковых моделях.

Пользователь может написать команду вроде «пройти вперёд несколько шагов и повернуть направо», после чего система строит соответствующую последовательность движений. Это упрощает постановку задания, но не отменяет проверку полученной траектории на конкретной машине.

Разные тела, общий смысл

Главная задача MotionGlot — перенос смысла команды между платформами с разным устройством тела. Человек идёт на двух ногах, четвероногий робот — на четырёх, но обе последовательности описываются словом «идти». Модель должна выбрать движение, подходящее конкретной конструкции.

Для обучения исследователи использовали два набора данных. QUAD-LOCO содержит движения четвероногих роботов с текстовыми описаниями, а QUES-CAP — движения человека с подписями и разметкой.

Что показали авторы

По сообщению университета, MotionGlot воспроизводила конкретные последовательности, включая движение назад, поворот и движение вперёд. Модель также отвечала движением на более общие запросы: например, показывала бег как пример кардионагрузки и меняла манеру походки по описанию настроения.

Авторы собирались открыть модель и исходный код для других исследователей. Работа была подготовлена к конференции ICRA 2025. Университетское сообщение не уточняет объём вычислений, нужный для обучения и запуска.

Ограничения работы

Публикация не сообщает о длительных испытаниях на серийных роботах и не приводит частоту ошибок для физических платформ. Качество зависит от объёма и разнообразия обучающих данных, что прямо отмечают авторы. Корректная анимация в симуляции ещё не означает безопасное исполнение реальным роботом: для него нужны ограничения по равновесию, столкновениям и приводам. MotionGlot следует рассматривать как метод генерации движения, а не готовую систему автономного управления.