Перехват движения: когда актер, работающий с помощью motion capture, получит «Оскар»? | WIRED

Технология захвата движения: основы, механизмы, применения и академические аспекты

Введение. Концептуальные рамки

Запись движений (MC)скелетные данныеВосхождение планеты обезьянВластелин колецзаписи игры актера

Здесь разграничение имеет решающее значение: в узком смысле motion-захват охватывает лишь движения тела, тогда как съёмка производительности включает мультимедийные потоки данных, одновременно фиксирующие мимию, движения глаз и звуковую дорожку. По словам Энди Серкиса, этот метод представляет собой «инструмент, освобождающий актёра от физических ограничений»; однако в технической литературе преобразование исходных полученных данных в итоговое изображение определяется как , сочетающее вклад актёра и цифровое вмешательство аниматоров.

Техника механизмов и классификация

Системы захвата движения разделяются на три основные категории в зависимости от принципа работы: оптические, инерциальные (изотопические) и технологии без маркеров (markerless).

Системы на основе оптики

Оптические системы представляют собой отраслевой стандарт, обеспечивающий наивысшую степень точности регистрации перемещений. Они делятся на два подтипа:

• Системы с пассивными маркерами:
• Системы с активными маркерами:

Базовое ограничение оптических систем заключается в проблеме (закрытия изображения), возникающей при блокировке линии видимости маркера; особенно это приводит к потере данных в таких областях, как подмышечная впадина и промежутки между пальцами.

Инерциальные системы

Изотопические костюмы оснащаются блоками , включающими акселерометр, гироскоп и магнитометр. Эти датчики измеряют движение относительно локальной опорной системы, поэтому не требуют установки внешних камер. Обеспечивая преимущество мобильности, они вместе с тем подвержены накоплению дрейфа датчиков при длительных сеансах, что снижает точность, поэтому обычно применяется компенсация с помощью встроенных алгоритмов калибровки.

Методы без использования меток и на основе обработки изображений

В последние годы развились методы захвата движения без маркеров, основанные на глубоком обучении. RGB- или depth-камеры способны предсказывать позиции костей через модели оценки позы тела даже при использовании одной камеры. Хотя такие подходы снижают стоимость, они не в полной мере соответствуют золому стандарту точности оптических систем.

Запись производительности: взаимодействие между актером и технологией

Современный кинематограф позволил технике MC вывести актёра из изолированного постпродакшн-окружения и снимать его в одном пространстве с реальными актёрами на съёмочной площадке. В фильме «Восхождение планеты обезьян» Руперт Уайтт снял Серкиса вместе с Джеймсом Франко в сценах с реальным окружением, что позволило устранить разрыв между исполнением роли и окружающей средой. В ранних работах переозвучка крупных планов Голлума требовала работы в изолированном окружении, тогда как современный подход превратил этот процесс в взаимодействие в реальном времени.

В этом контексте отношение между исходным материалом актера и вкладом аниматоров в итоговое изображение все еще остается предметом дискуссии: хотя актер является производства, тем, что появляется на конечном экране, не является чистым актерской игрой, а представляет собой синтез цифровых и физических вкладов.

Отраслевые аспекты

Кино и анимация

В Голливуде по мере возрастания роли анимации всё более распространённым становится захват движения; такими яркими примерами этой техники являются , серия и . Исторический уклон, присущий академической среде, связывает исследования компьютерной графики с воспринимаемой воспроизводимостью в процессе награждения, однако технологический прогресс индустрии способствует снижению этой тенденции.

Индустрия игр

Высококачественные игры теперь стали крупными работодателями для артистов производительности; такой проект, как , включил в процесс захвата движения более двухсот актёров. Это привело к тому, что игровое сообщество воспринимает данную технику как обычный подход к актёрской игре.

Клиника и научные приложения

Помимо промышленного использования захвата движения, он имеет критически важное значение и в медицине, и в науке:

• Анализ походки (gait analysis):
• Спорт:
• Протезирование и контроль экзоскелета:
• Виртуальная/дополненная реальность (VR/AR):

Эти области обеспечивают объективное и воспроизводимое измерение двигательной активности человека, предоставляя принятие клинических решений на основе данных.

Академическая оценка

Технология захвата движения — это междисциплинарная область, переопределяющая границу между актёрской игрой и компьютерной графикой. По мере того как технические улучшения повышают точность (от оптических систем к глубокому обучению), концептуальные дискуссии продолжаются: следует ли считать конечный продукт «чистым» актёрской игрой, как следует определять статус автора у актёра и как механизмы награждения должны оценивать этот гибридный формат.

С научной точки зрения MC выделяется как область исследований, находящаяся на пересечении таких направлений, как обработка сигналов, геометрическая триангуляция, моделирование человеческого движения и искусственный интеллект. Демократизация технологии (доступные решения без маркеров) способствует распространению производства в этой области, одновременно делая необходимым проведение постоянных исследований, посвященных точности данных о движении и этичному их использованию.

Академическая оценка и список литературы

Оценка:

Список литературы (репрезентативный)

• Магнена-Тальман, Н., & Торманн, Д. Л. (Ред.). . Springer.
• Волли, Дж. М. и др. «Markerless-захват движения с помощью потребительских камер глубины». .
• Руководства по системам Vicon / Qualisys — технические документы для платформ анализа движения с оптическими маркерами.
• Гильдия актёров (SAG) — комитет по записи исполнительских работ, заявления и отраслевые отчёты.
• Лабораторные публикации цифровых систем Школы кинематографических искусств Южного Калифорнийского университета.

Примечание: Приведённые выше источники являются репрезентативными ссылками, отобранными таким образом, чтобы отражать академические рамки рассматриваемой темы; для получения точных ссылок рекомендуется сверяться с актуальными статьями в соответствующих журналах и оригинальными версиями технических документов производителей.

Примечание к источнику: Данное исследование было составлено и актуализировано в формате академического технического обзора на основе архивных материалов с https://www.wired.com/2012/01/andy-serkis-oscars/.