Нейромережу навчили копіювати руху людей з роликів на YouTube
На сьогоднішній день основними методами створення реалістичної анімації віртуальних істот є скелетна анімація і відомий Motion Capture (mocap). Однак фахівці постійно знаходяться в пошуку нових не менш якісних, але більш дешевих способів. І, цілком можливо, у цьому можуть допомогти нейромережі. Одну з них недавно навчили розпізнавати руху людей і переносити їх на віртуальних персонажів. Підійде для цього будь-яке відео. Навіть відео з YouTube.
За розробку відповідають вчені з Лабораторії досліджень в області штучного інтелекту Каліфорнійського університету в Берклі (США) і Університету Британської Колумбії (Канада). Новий алгоритм отримав назву DeepMimic і був створений ще на початку 2018 року, але повноцінна презентація відбулася лише нещодавно в рамках конференції SIGGRAPH Asia 2018. Як стверджують автори,
«Наш підхід заснований на глибокому аналізі та оцінці певних поз і подій. Нейромережі з глибоким машинним навчанням можуть проводити якісний аналіз будь-яких рухів із загальнодоступних відеоджерел, таких як YouTube. Це має величезний потенціал для розробки інструментів для швидкого і простого створення анімації, лише запитавши відеозапис з бажаним поведінкою в інтернеті. Наш алгоритм здатний вивчити широкий спектр навичок, включаючи акробатику і бойові мистецтва.»
Сам алгоритм працює досить просто: система «дивиться» відео, на якому виконується певна дія. Потім ролик розбивається покадрово і для кожного кадру створюється тривимірна модель. Після цього всі моделі «з’єднуються», а спеціальна підпрограма стежить за зв’язками між ними і видаляє артефакти і згладжує «ривки» анімації.
Оцінити роботу алгоритму ви можете на демонстраційному відео, доступному нижче. Але хочеться додати, що результат дійсно вийшов вражаючим, за умови того, що це, звичайно, не заздалегідь заготовлені відео, а рандомные ролики з інтернету.