Учёные Кембриджского университета запрограммировали робота-повара на приготовление восьми простых рецептов салатов по видеороликам. В конце эксперимента робот самостоятельно придумал девятый рецепт.
Исследователи отмечают, что видеоконтент может быть ценным и богатым источником данных для автоматизированного производства продуктов питания. Также это упростит и удешевит развёртывание роботов-поваров.
Ранее несколько компаний представили прототипы роботов для приготовления пищи, однако готовые решения так и не появились в продаже, поскольку они значительно отстают в навыках от людей.
Учёные хотели выяснить, сможет ли робот учиться таким же поэтапным способом, как люди — определяя ингредиенты и их сочетание в блюде, заявил один из авторов работы с Кембриджского инженерного факультета Гжегож Сочаки.
Научная группа разработала восемь простых рецептов салатов и сняла видео их приготовления. Затем учёные использовали общедоступную нейросеть для обучения робота-повара. Модель уже была запрограммирована на определение ряда различных объектов, включая фрукты и овощи, используемые в восьми рецептах.
Применяя методы компьютерного зрения, робот проанализировал каждый кадр видео и смог идентифицировать различные объекты и движения рук. Из просмотренных 16 видео робот распознал правильный рецепт в 93% случаев и 83% действий человека-повара.
Кроме того, робот смог обнаружить небольшие изменения в рецепте, когда повар готовил двойные порции или ошибался. Машина не учитывала такие вариации, как новый рецепт.
Записанные для робота видео представляют собой нарезанные фрукты и овощи. Авторы исследования указывают, что машине было бы трудно идентифицировать морковь, которую повар обхватил в руке — для определения роботу нужно увидеть овощ целиком.
Роботу слишком сложно следить за обычными видео на YouTube, объясняет Сочаки. По его словам, когда машины научатся лучше и быстрее определять ингредиенты в видео о еде, они смогут использовать такие сайты, как YouTube, для изучения ряда рецептов.
Научная работа «Recognition of Human Chef’s Intentions for Incremental Learning of Cookbook by Robotic Salad Chef» опубликована 14 мая 2023 года в журнале IEEE Access (DOI: 10.1109/ACCESS.2023.3276234).
Источник новости: habr.com
