RHyME научила робота многошаговой задаче по одному человеческому видео

Почему простой показ трудно повторить

Cornell University рассказал о RHyME 22 апреля 2025 года. Человек и робот выполняют одно действие по-разному: отличаются траектории рук, скорость, форма захвата и положение камеры. Поэтому обычное копирование видео часто ломается даже при небольшом расхождении между демонстрацией и возможностями машины.

RHyME расшифровывается как Retrieval for Hybrid Imitation under Mismatched Execution. Система не пытается буквально повторить каждый кадр. Она ищет в памяти робота знакомые фрагменты, похожие на части нового задания, и собирает из них последовательность.

Как используется память робота

Если человек один раз показывает, как взять кружку со стола и поставить её в мойку, робот может найти ранее записанные эпизоды захвата чашки и опускания предмета. Такая библиотека служит переводчиком между человеческим способом выполнения и доступными роботу движениями.

По данным команды, для подготовки потребовалось около 30 минут данных с робота. В лабораторных испытаниях RHyME дала более чем 50-процентный прирост успешности по сравнению с предыдущими методами. Авторы представили работу на ICRA 2025.

Что меняется в обучении

Подход сокращает потребность в тысячах аккуратных телеуправляемых демонстраций для каждой новой комбинации действий. Особенно важна работа с многошаговыми задачами, где ошибка одного этапа обычно разрушает всю последовательность.

Ограничения эксперимента

Показатель «более 50%» описывает относительное улучшение в выбранной лабораторной постановке, а не универсальную долю успешных бытовых заданий. Публикация не утверждает, что робот способен понять любое обучающее видео из интернета.

Для нового действия всё равно нужна подходящая база роботизированных эпизодов. Если в памяти нет близких навыков или среда сильно отличается, извлечение примеров не решит задачу само по себе. Испытания показывают более экономное обучение внутри заданного набора операций, но домашний помощник, устойчивый к произвольным предметам и ошибкам, остаётся дальней целью.