Монстры против Пришельцев. Но – за 3D! Или «Как Интел идет в кино».

Victoria Zhislina (Intel) (8 пост(а)) 08.04.2009 20:24

      Если внимательно посмотреть на постер недавно вышедшего, сделанного в стремительно распространяющемся сейчас в кино формате стерео 3D,  фильма DreamWorks Animation «Монстры против  Пришельцев» («Monsters vs. Aliens»), то можно  кое- что заметить. А именно, - не только огромных монстров, но и  небольшой сиреневый шарик с белой надписью «InTru3D», смысл которой можно перевести как «Воистину 3D» или «В реальном3D ».

 А если посмотреть еще внимательнее (осторожно, большая картинка!),  то снизу  можно прочесть, что  «InTru and the InTru logo are trademarks of Intel Corporation  in the U.S. and other countries» («марка InTru и ее логотип являются зарегистрированными торговыми марками корпорации Интел в США и других странах»).

  И тут мне стало интересно. Еще интереснее, чем во время просмотра «Монстров». Я же не только  иногда смотрю трехмерные фильмы, но и постоянно работаю в Интел, и естественно,  хотела бы узнать, как же они сочетаются. Что такое InTru3D, и что именно сделал Интел, чтобы заслужить признание настоящего монстра – монстра киноиндустрии DreamWorks?

Так как на постере больше ничего на эту тему сказано не было (и  даже на обратной стороне), пришлось продолжить поиск в Интернете. Первая информация нашлась сразу, например, здесь, и сводилась примерно к следующему (пересказ с английского - мой): «Революционная 3D технология  Intel  позволяет художникам DreamWorks Animation развлекать кинозрителей как никогда раньше, обеспечивая  их полное погружение в действие. InTru™ 3D – это марка, сообщающая зрителям, что они могут ожидать от отмеченного ей фильма лучшее впечатление всей их жизни в изумительном  реальном 3D...»

Что ж, по-моему, все понятно. Понятно, что реклама и маркетинг – замечательные и очень полезные вещи... Но только для тех, кто ими непосредственно занимается, или для тех, чьи товары рекламируют :).  А чтобы найти действительно интересную техническую информацию, придется обратиться к другим источникам. Что я и сделала.

Информацию пришлось буквально собирать по кусочкам из нескольких мест, а кое-что и додумывать самостоятельно. И вот что удалось выяснить (и вспомнить, ибо новое – это хорошо забытое старое).

Для тех, кто еще никогда не видел (мульт)фильмов в формате стерео 3D (S3D) поясню, что их отличие от традиционных фильмов с трехмерными персонажами кардинально. В S3D действие происходит не на экране, а в объеме - персонажи появляются перед экраном, иногда прямо перед вашим носом, а иногда - уходят далеко за экран. Как это делается? 

 Если вы – не одноглазый синий желеобразный монстр и не полководец Кутузов, то  у вас есть два глаза, находящихся  на небольшом расстоянии друг от друга. А главный механизм вашего  восприятия объема в окружающем мире – это обработка и совмещение мозгом поступающих туда слегка отличающихся  изображений от левого и правого глаз.

 Таким свойством восприятия и пользуются для создания объемных изображений и фильмов, известных под общим названием «стерео 3D» . А именно: для каждого кадра создают два изображения, соответствующих  правому и левому глазам; а потом показывают их зрителям так, чтобы каждый глаз видел только одну, «свою» картинку. Эти два изображения получаются с пары соединенных фото\видео камер, расстояние между объективами которых примерно равно расстоянию между глазами человека. А для  показа каждому глазу своего изображения существует несколько способов.

 Самый простой, дешевый, и потому распространенный для кино  – использование цветных фильтров на камерах (красного для одной и синего для другой) и, соответственно, очков с красным и синим стеклами для кинозрителей.

Принципиально тут нет ничего сложного. Поэтому, производство и демонстрация 3D фильмов по этой технологии начались еще в 50-е годы прошлого века! Показ фильмов осуществлялся двумя независимыми кинопроекторами, один из которых «гнал» картинку для левого глаза, другой – для правого. Конечно, оба проектора должны были быть крайне жестко синхронизованы друг с другом – и в пространстве и во времени.  Малейшая рассинхронизация в процессе показа – на сотые доли секунды(!-напомню, что частота смены кадров в кино – 24 раза в секунду) приводила к тому, что у зрителей начинались двоение в глазах и головная боль. Поэтому массовый 3D показ быстро потерял популярность.

Но с появлением  качественных цифровых кинопроекторов все изменилось. Теперь 3D фильмы показывают так: один проектор показывает один поток картинок с частотой  144  кадра в секунду (вместо типичных для кино 24-ех), чередуя последовательные изображения для правого и левого глаз, так, что для зрителей на такой скорости они кажутся показываемыми одновременно. Как не трудно подсчитать, за один «стандартный» кадр происходит три смены правого и левого изображений. Результат – отличное качество изображения.

Но это изображение перед показом еще надо создать. И здесь тоже произошли существенные изменения. Даже если речь идет об обычном, не мультипликационном фильме без компьютерных спецэффектов (что сейчас – редкость), изображения с правой и левой камер все равно предварительно обрабатываются на компьютере для улучшения качества. А уж если это мультфильм, то все изображения и создаются на компьютере. 

При производстве обычных,  «плоских» мультфильмов, все созданные художниками трехмерные объекты компонуются в сцены, которые проецируются на экран так, как если бы вы смотрели на них  с определенной точки зрения через объектив камеры с заданным объективом. То есть, компьютер служит виртуальной камерой. А где одна камера, там и две. Уже давно существует разнообразный софт (и даже драйвера видеокарт!), способный по заданным трехмерным сценам генерировать и показывать изображения  с двух «виртуальных камер» - для правого и левого глаз.

Вопрос лишь в качестве картинки и скорости ее генерации – ведь, по сути, в этом случае  вся сцена создается дважды, т.е.  работа по трансформации, освещению, текстурированию трехмерных объектов удваивается.

 И еще один важный момент.  Да, возможно автоматически создать стерео 3D (или, как говорят, осуществить трехмерный рендеринг)  сцен, изначально для этого не планировавшихся. Кстати, именно таким образом появились 3D версии таких фильмов, как «Beowulf», «The Polar Express» и «Monster House». И объемный эффект, конечно будет. И – неплохой. Но и не столь хороший, чтобы вызывать сильное восхищение.

Чтобы фильм был действительно трехмерным, он должен создаваться таковым с самого начала. А именно – должны отбираться такие сцены и их ракурсы, которые максимально подчеркивают ее трехмерность, но не вызывают у зрителей проблем восприятия, планироваться специальные видеоэффекты.

 Кроме того, если у обычных фильмов с трехмерными персонажами студии часто сокращали себе работу, оставляя большинство задних планов двумерными, то в случае стерео 3D такой трюк не пройдет, он будет слишком заметен. Есть и еще несколько моментов, специфичных для настоящего 3D, о которых я скажу дальше.

 То есть, в случае настоящего, честного создания 3D фильма «с нуля», количество работы значительно возрастает. Причем, как работы людей, так и компьютеров. Но зато результат того стоит.

 Теперь вернемся к нашим  «Монстрам» (и Пришельцам, конечно), которые были созданы в первый, но точно не в последний раз Dream Works в 3 D  именно таким, настоящим способом. Чтобы минимизировать работу  людей и ускорить работу компьютеров, Dream Works  и образовал InTru3D альянс с Intel.

 А именно, прежде всего, Интел обеспечил Dream Works  современными производительными компьютерными системами. На момент создания «Монстров» это были Intel® Xeon® серии 5400 – четырехядерные серверные системы на основе микроархитектуры Core-2.  Сейчас, когда на рынок вышли новые современные решения Интел  - Intel® Xeon® серии 5500 – также четырехядерные серверные системы на основе новой микроархитектуры i7, с  улучшенным широким доступом к памяти QPI, поддерживающие HT( hyperthreading), т.е.имеющие 8 виртуальных ядер, то Dream Works  обязательно их получит (если уже не получила).

 Но это – только часть  InTru3D, важная, но – не единственная. Интел делает быстрые процессоры, они работают во всех сферах человеческой деятельности – от финансовых бирж до космических центров, но это (пока) не приводит к появлению марок InTru$$$ или InTru*** :)

Так вот, вторая компонента, которую Интел внес в  InTru3D, не уступающая по важности первой, это – помощь в оптимизации программного обеспечения  Dream Works . Цель -  обеспечение интерактивной работы по моделированию 3D  в реальном или близком к реальному времени.

Команда инженеров Интел работала над оптимизацией тысяч индивидуальных модулей, составляющих pipeline (конвейер) создания 3D фильмов DreamWorks Animation.

Основной упор в оптимизации делался на распараллеливание (не забывайте про многоядерность!) процессов анимации, отрисовки (rendering) и создания визуальных эффектов.

В работе были использованы: компилятор  Intel® C/C++

Intel® Threading Building Blocks

Intel® Performance Libraries (к сожалению, не удалось узнать, IPP или MKL, но, вполне возможно, что обе эти библиотеки),

а также  Intel® VTunePerformance Analyzer вместе с Intel® Thread Profiler.

 

Мне известны конкретные цифры прироста производительности в результате оптимизации для анимации, отрисовки и визуальных эффектов. К сожалению, они не являются открытыми, но, поверьте, они впечатляют.

Главный результат работы – это возможность разработчиков стерео-сцены в любой момент – по своему вкусу или требованию начальника, изменить, например, положение виртуальной камеры в сцене, освещение, какие-то эффекты, т.е.  фактически, полный вид сцены, и сразу в реальном времени посмотреть в 3D с достаточным для работы качеством, что же у него получилось.

 

Dream Works не скрывает, что широко использовала в производстве «Монстров»  Autodesk Maya® 2009 – продукт для 3D моделирования и анимации, также оптимизированный Интел. Autodesk Maya® 2009 поддерживает автоматическое создание стерео 3D.  Полагаю (это только мое предположение, но – достаточно обоснованное), что все остальные компоненты, разработанные Dream Works и оптимизированные Intel, выполнены в виде  плагинов к Autodesk,   Эти компоненты наверняка реализуют какие-то  ноу-хау в сборе и обработке данных для анимации с датчиков движения на реальных актерах (Motion Capture); самих алгоритмах анимации;  создании собственных видеоэффектов (взрывов, дыма, и тп), а также просчета физики и последующей отрисовки  волос, ткани, желе и прочих  сложных объектов. Очевидно, что  здесь есть много мест для применения Intel® Performance Libraries.

Но и это еще не все. В жизни нет такого понятия, как «монтажная склейка», поэтому резкий переход от одной сцены к другой очень непривычен для наших глаз. Если в обычном 2D кино  это будет восприниматься нормально, просто как смена картинок, то в пространственном 3D с резкой сменой глубины между соседними кадрами это приведет к нежелательным для зрителя эффектам. Для решения этой проблемы в Dream Works Animation был разработан (и, естественно, оптимизирован Интел) специальный софт, который создает плавный переход глубины между кадрами именно для таких случаев.  Этот же софт обрабатывает переход от 2D  фона (а он там местами есть) к   3D  персонажам, чтобы улучшить восприятие их резких движений.

Кроме того, еще одна компонента моделирует перемещение виртуальной камеры для сцен быстрых движений так, чтобы это  выглядело, как съемка реальной камерой. Особенно это заметно в сценах погонь, когда камера даже немного «дрожит в руках оператора».

Ну вот, теперь, когда вы все знаете, я должна вас убить посоветовать вам посмотреть «Монстры против Пришельцев»  в InTru3D. Не пожалеете!

 

 

Использованные материалы:

http://www.intel.com/consumer/learn/intru3d.htm

http://software.intel.com/sites/billboard/digital-content-creation-gallery/intru-3d.php#/featured-article

http://software.intel.com/sites/billboard/archive/autodesk-maya.php

http://www.northjersey.com/entertainment/movies/41959042.html

Категории: Intel Software Network

Комментарии (8)

08.04.2009 14:49

Svetlana Emelyanova (Intel)
Всего баллов:
3,553
Статусных баллов:
3,053
коричневый пояс
Вика, ты меня почти убила – бегу…точнее ползу смотреть! :)
Из перечисленных в твоем посте мультиков, смотрела только «полярный экспресс». Даже без очков очень впечатлило – поезд просто отлично смоделирован + присутствие псевдо-трехмерного Тома Хэнкса свою роль сыграло наверное). Хотя надо все-таки в очках смотреть, чтобы было воистину 3d.

Вообще обожаю 3d мультики и просто преклоняюсь перед их создателями. Столько людей и машин:) занято в процессе… и просто с трудом представляю, сколько времени занимает моделирование и рендеринг всех сцен. Здесь уже важен даже небольшой прирост производительности. А если, по твоим словам, цифры действительно впечатляют, то преклоняюсь и перед инженерами intel )

Что касается оцифровки анимации, насколько я знаю, наиболее перспективной является технология performance capture – позволяет не только движения записывать, но и захватывать мимику актеров, вплоть до взмахов ресниц. Как раз в полярном экспрессе это использовалось. Хотя в случае монстров детализированная мимика вряд ли важна…

Кстати вспомнила, мы когда-то переводили статью о применении intel threading tools для оптимизации Maya, а именно модуля Fluid Effects для моделирования текучей среды http://software.intel.com/ru-ru/articles/intel-threading-too.....l-artists/

И еще вопросик – технологии технологиями, а как сюжет? :) Это все-таки важнее спецэффектов и качества картинки.
08.04.2009 15:46

ilnarb
Всего баллов:
2,930
Статусных баллов:
2,430
коричневый пояс
сам сюжет так себе, а мультик прикольный - моментами шуточки
08.04.2009 23:49

Marianna Svetlosanova (Intel)
Всего баллов:
5,270
Статусных баллов:
5,270
Community Manager
прикольно, спасибо Вик. Интересно. :)
еще одна причина наконец дойти до кинотеатра, даже есть возможность прикрыться чисто профессиональными мотивами :)
09.04.2009 01:40

Dmitry Oganezov (Intel)
Всего баллов:
16,204
Статусных баллов:
16,204
Community Manager
Впечатлен!!! Только так до конца и не понял - его все-таки в очках нужно смотреть, или речь идет только об оптимизации глубины сцены, заднего плана, персонажей, движения и т.п.?

И еще одна мысль возникла - теоретически, часть технологий можно наверняка использовать и в играх... Видимо годика через 3 можно ждать InTru3D игрушек.
09.04.2009 03:45

Victoria Zhislina (Intel)
Всего баллов:
1,070
Статусных баллов:
570
коричневый пояс
ilnarb, создание сюжета выходит за рамки обсуждаемых трехмерных технологий :)
dmitry, в очках смотреть обязательно. Иначе не будет восприятия объема - персонажей, "выходящих из экрана". Чтобы что-то оптимизировать, это что-то надо сначала создать.
А игры в реальном 3D будут обязательно, ты прав/
12.04.2009 15:06

Maxym Dmytrychenko (Intel)
Всего баллов:
1,320
Статусных баллов:
820
коричневый пояс
интересная статья!
рад что stereo или Multi-Camera Rendering уже рядом :)

это было "фишкой" Siggraph 2008:
Ну а главным фетишем этого года было СТЕРЕО. Индустрия почувствовала новую «фишку», на которой можно отлично заработать, и маркетинговая машина запыхтела в полную силу. Половина анимационных показов на конференции проводилась в стереоформате («Кунфу Панда» в стерео выглядит убийственно). Dream Works? собирается выпускать все новые фильмы в стерео. Pixar и Disney не отстают. Трехмерные пакеты адаптируют свои соответствующие инструменты под рендеринг анимации «для двух глаз». Индустрия композитинга ломает голову над оптимизацией удвоенного объема данных. Поставщики оборудования срочно выбрасывают на рынок сырые модели стереокамер. Производители очков обогащаются ежесекундно.

Стремительно формируется не только новая технология, но и новая культура. В авральном порядке созываются семинары и мастерклассы на стереотему. Делаются оптимистические прог нозы о возрастании доли стереокино в общем объеме кинорынка. Суматошно формируются новые законы монтажа. Кругом плодятся 4D-аттракционы, где люди в очках неистово трясутся в вибрирующих креслах. Индустрия подбадривает сама себя и, конечно, зрителя. Ведь стерео – это отличный повод снова загнать в кинозал тех, кто перестал туда ходить, сконструировав у себя дома напротив дивана домашний кинотеатр. Стерео призвано согнать зрителей с диванов, хотя бы на пару лет, пока не спадет ажиотаж. Стерео – это огромные деньги, причем заработают на этом, похоже, все, ведь платит зритель. (Любопытная статистика: в этом году крупнейшие американские анимационные студии собираются выпустить три полных стереометра, в 2009 году – десять, но стереокинотеатров, где можно показать эти шедевры, всего тысяча, против 39 тысяч обычных кинотеатров.)

Если стряхнуть наваждение стереоистерии, можно вспомнить, что киноиндустрия уже проходила по пути экспериментов с правым и левым глазом. В Голливуде занимались этим еще в пятидесятые годы прошлого века, а в Москве на Калининском проспекте в 1967 году был открыт стереозал в кинотеатре «Октябрь» (том самом), в котором показывали крепкий отечественный стереобоевик «Таинственный монах». Смотреть надо было в очках, стереоэффекты были на высоте, сам ходил и помню, как с восторгом уворачивался от поливальной машины. Главным недостатком стереокино прошлого века была аналоговая уязвимость. Съемка на две пленки, необходимость использования двух проекторов для показа этих пленок, постоянные проблемы синхронизации. В случае обрыва одной из пленок требовалось аккуратно разрезать и склеить обе пленки. Ошибка в кадр могла загубить весь эффект. А киномеханики, как известно, не самые аккуратные люди. С приходом цифры стерео получило фантастические возможности. Синхронизация перестала быть проблемой. 3D-анимация рендерится заменой одной камеры на две. Почти все видеокарты поддерживают вывод двух сигналов. Время стерео пришло технологически.

Однако неплохо бы посмотреть не только на достоинства, но и на недостатки новой технологии. Главное достоинство – это, как было сказано выше, возможность заработать. К числу новых креативных возможностей можно отнести возможность воздействовать на зрителя еще через один канал восприятия реальности, через глубину. Воздействовать напрямую, физиологически. Зритель будет весело уворачиваться от летящих камней и брызг и азартно тянуть лапки в сторону милых зверушек на экране. Хотя такие эффекты уже признаны многими критиками вульгарными и дешевыми, и те, кто делает «большое кино», а не аттракционы, стараются соблюдать меру в отношении заигрывания со зрителем. Более тонкой возможностью является игра со стереобазой. Можно заставить зрителя почувствовать себя ничтожной букашкой, взирающей на гигантский мир вокруг, сдвинув глаза (камеры) в кучу. Либо можно раздвинуть глаза пошире, давая зрителю (с устойчивой психикой) возможность побыть гигантским монстром, взирающим на ничтожных букашек. Съемка декораций с разной стереобазой дает эффективную возможность обманывать зрителя относительно их размера. Работа с глубиной кадра и выстраивание кадра вглубь дают новую степень творческой свободы.

Однако за все приходится платить, и похоже, стерео накладывает не меньше ограничений (в первую очередь творческих), чем дает возможностей. Вы не можете быстро двигать камеру, как привыкли на съемке видеоклипов, все ваши панорамы должны быть плавными. Забудьте про нормальные отъезды и наезды. Вы не можете склеить два кадра, стыкующиеся по всем закона монтажа, если они не согласованы по глубине. Забудьте про вертикальные вращения камеры. Если вдруг в вашем кад ре случайно появляется объект, который выходит за рамки уже существующей глубины кадра, он мгновенно разрушает весь стереоэффект. Вы не можете просто пересчитать существующую анимацию, заменив одну камеру на две, зритель не переживет скачков глубины. Все ваши текстуры нуждаются в редактировании, ведь светопоглощающие стереоочки накладывают ограничение на «темность» сцен и материалов, некоторые мрачные сцены просто не будут восприниматься в стерео. Что делать с глубиной резкости? Просчитать/cнять ее в кадре или обойтись без нее, полагаясь на то, что зрительский глаз сам физиологически создаст ее в процессе просмотра стереокадра? Как быть с просмотром материала, ведь стереоогрехи, незаметные на мониторе или в просмотровой комнате, могут бросаться в глаза на большом экране.

Не являются ли все эти технологические ограничения ограничениями творческой свободы? Время, наверное, покажет, но я не удивлюсь, если через три-четыре года, выходя из кинотеатра и потирая красные глазки, вы скажете: «А не посмотреть ли мне пару старых добрых плоских фильмов с безумным монтажом и шустрой камерой?

http://renderman.ru/i.php?p=Practice/Siggraph2008/Part2


кстати - технически - рендерить для двух камер не означает 2х ухудшение в скорости ибо как минимум все геометрия будет шейдиться только раз и для одной камеры :) Это может привести к некоторым артифактам но они как правило, приемлемые. Так же в случае стерео прийдется проверить на правильность сами шейдеры :)

Renderman поддерживает подобные фичи еще с 2007 года и версии 13.5.

13.04.2009 05:17

Victoria Zhislina (Intel)
Всего баллов:
1,070
Статусных баллов:
570
коричневый пояс
Maxym, спасибо, я не читала этот материал с Сиграфа. Если бы читала, возможно бы не написала свой :) Я вообще ничего на русском на эту тему не видела.
Я согласна, что можно сжульничать и не отрисовывать все два раза, ДиректХ сейчас идет в этом направлении со своим Instansing, но мне трудно судить, насколько приемлемой по качеству будет картинка.
13.04.2009 06:10

Maxym Dmytrychenko (Intel)
Всего баллов:
1,320
Статусных баллов:
820
коричневый пояс
Вика , ты написала хороший материал касательно Intel и Dreamworks :)

DirectX приследует несколько иные цели нежели производители фильмов/мультиков - поэтому и уровень "приемлимости" качества картинки вполне может быть разным

Cобираюсь сегодня отведать качество 3D :)

Обратная ссылка (0)


Оставить комментарий  

To obtain technical support, please go to Software Support.
Имя (обязательно)*

Электронная почта (обязательно; не будет отображено на этой странице)*

Ваш URL-адрес (необязательно)


Комментарий*