В процессе работы ученые из Исследовательской лаборатории Mitsubishi Electric в Кембридже (штат Массачусетс) используют сотни сканированных изображений человеческих лиц любого возраста и различных оттенков кожи, подбирая образцы для последующего моделирования. Опираясь на эти изображения мимики лица, ученые впоследствии могут составить аналогичный искусственный портрет, пишет NewScientistTech. Такая технология может быть востребована в киноиндустрии в случаях, когда при съемке тех или иных эпизодов участие актера может оказаться слишком сложным или опасным (полный текст на сайте InoPressa).

Исследование, проведенное совместно с федеральным Институтом технологий в Цюрихе (Швейцария), стало очередным этапом развития индустрии развлечений, которая стремится создать цифровое изображение с максимальным реализмом.

Так, некоторые из наиболее реалистичных виртуальных персонажей, использованных в фильмах и компьютерных играх, созданы еще Джорджем Боршуковым и его коллегами из компании Electronic Arts в Ванкувере (Канада).

Группа изобрела метод под названием "универсальное фиксирование", создав, в частности, героев кассового фильма "Матрица: Перезагрузка" Нео, Морфея и агента Смита. Позже эти ученые поработали над технологиями виртуальной игры в гольф под названием Tiger Woods PGA Tour (предназначена для игровой приставки Sony PlayStation 3).

Сначала Боршуков снимает видео реального человека под шестью углами, в то время как человек выполняет необходимые действия, а затем на основе этих видеофайлов создает трехмерную модель головы человека.

Затем ученый вновь проецирует видео на пустой экран, чтобы создать окончательную версию цифрового "клона", которого затем можно использовать в игре под разными углами зрения. Например, в упомянутой игре участники сами могут выбрать, под каким углом посмотреть на игрока в гольф, и даже в процессе игры изменить мимику своего персонажа в соответствии со спортивными достижениями. "В Tiger Woods игрок увидит мимику, которая выглядит вполне реальной", – говорит Боршуков.

Свет как ключ к реализму

Ханспетер Пфистер, руководитель американского коллектива, на достигнутом останавливаться не хочет. В частности, Боршуков для передачи игры света продолжает использовать проверенный веками метод художника. Однако Пфистер стремится научиться передавать само отражение света в цифровом формате.

На первом этапе его группа попыталась передать лишь формы лица. Два трехмерных сканера, установленных на противоположных сторонах купола, направлены на объект, расположенный внутри. Специальные лампы на сканерах проецируют ранее полученную двухмерную модель на лицо человека. Затем сканеры фиксируют все искажения, допущенные программой по сравнению с реальным изображением, и переходят к формированию трехмерной модели.

Затем к изображению добавляют "микрогеометрию" кожи (вплоть до пор и морщин), которая фиксируется с помощью 16–ти камер высокого разрешения. Они установлены по краям купола-сцены и делают 4 тысячи изображений почти со всех возможных углов зрения и, соответственно, света. "Сшив" изображения со всех камер, ученые создают плоскую карту лица, которую разбивают на 500 тысяч пикселей. Так можно создать картину "кривизны" лица, сравнивая каждый пиксель со всеми четырьмя тысячами изображений по 20-ти цветовым параметрам.

Например, если пиксель находится на месте морщинки, то он может быть ярким (если его осветит лампа, находящаяся прямо над морщинкой), и темным (если его осветят под углом 90 градусов к морщинке). Когда все возможные сочетания направления света с профилем лица будут учтены, появится детализированная "карта лица". Остается лишь добавить ее к общей форме лица, чтобы создать полную геометрическую модель.

На следующем этапе необходимо добиться естественного отражения света этим детально прорисованным лицом. Естественная цветовая гамма человеческой кожи складывается из двух составляющих: цвет, который является результатом отражения из глубины, и оттенок, который определяется грубостью и степенью старения верхнего слоя. Ученым удалось отработать процесс передачи естественного светового отражения на каждом пикселе. "Я могу показать вас где угодно, на пляже под солнцем или в темной церкви", - заявляет Пфистер.

Для этого используется так называемое лучевое слежение, когда объект (в данном случае лицо человека) освещается со всех возможных точек. Программное обеспечение проецирует на объект тысячи виртуальных лучей света и подсчитывает, как будет реагировать каждый пиксель, учитывая цвет кожи в этом месте, ее жирность и грубость. "Каждая точка отражает свет по-своему", - поясняет Пфистер. Но в итоге появляется точная копия человеческого лица (хотя и с закрытыми глазами), ничем не уступающая высококачественной фотографии.

Но в том-то и преимущества такой технологии, что кинорежиссер или разработчик компьютерных игр может свободно менять облик своего персонажа: сделать его загорелым, если он только что вернулся из отпуска, или, скажем, заставить его побледнеть от страха. Чтобы этого добиться, группа Пфистера использует библиотеку "донорских" лиц - к настоящему моменту ученые отсканировали в куполе 400 человек - и переносит на каждый пиксель лица актера цвета кожи подходящего донора. Таким образом, лицо меняет только свой цвет.

Чтобы сделать человека старше или моложе, тоже нужно донорское лицо, но в этом случае исследователи переносят только морщины и поры, используя отснятую ранее с "донора" "матрицу морщин".

Мимика в движении

Чтобы заставить "клоны" двигаться, Пфистер использует методику, названную фиксированием движения, которая широко применяется в индустрии. Снятое лицо человека помечают 90 цветными точками в ключевых местах. Программное обеспечение технического зрения следит за каждой точкой, когда актер исполняет эпизод, и движение каждой точки передается в соответствующую точку лица цифровой модели, чтобы вдохнуть в нее жизнь.

Тем временем другие программисты совершенствуют этот подход, придавая движениям еще большую плавность и реалистичность. Еще дальше пошла компания Mova из Сан-Франциско, которая создала особый макияж, содержащий флуоресцентную пудру. Теперь на лице можно не отмечать отдельные точки, а покрывать такой "косметикой" все лицо, чтобы затем компьютер фиксировал движение по 100 тысячам точек, многократно детализируя динамическое изображение.

Пфистер тоже начал использовать краску при фиксировании движения, чтобы придать своим моделям морщины, которые появляются и исчезают на лбу, под глазами и вокруг рта. Для этого он красит все морщинки и фиксирует игру света на них в процессе разговора.

Однако перед исследователями по-прежнему стоит масса нерешенных проблем. Среди них – задачи правдоподобного изображения глаз, волос и внутренней части рта. И все же удивительно, до чего может дойти Ваше виртуальное "альтер эго" (второе "Я"), замечает Пфистер. "Мы можем дать вам загар, можем вас состарить, можем даже накачать вас ботоксом (косметическим средством)", - добавляет он.

Итогом работы ученых стала возможность "считывать" все необходимые для создания 3-мерной модели параметры человеческого лица меньше чем за минуту.