Это мы создаем виртуальную реальность. Кто в Петербурге использует VR в фильмах про Эрмитаж и в образовании?

Вместе с «Газпром нефтью» «Бумага» рассказывает о петербуржцах, чьи профессии связаны с самыми современными и сложными технологиями. В первом материале — истории специалистов, которые создают виртуальную реальность.

Как VR помогает обучать людей вести себя в чрезвычайных ситуациях или общаться с клиентами, возможно ли приблизить симуляцию к реальности с помощью звуков и графики и почему Петербург сложно снять на камеру «360»?

Основатели компаний Modum Lab и Videofabrika, создающих образовательные проекты и фильмы для VR, рассказали «Бумаге», почему в виртуальном пространстве сложно передать эмоции человека и как режиссер должен продумывать сцены, которые зритель может увидеть с любой стороны.

Дмитрий Кириллов и Денис Тамбовцев

Modum Lab

Зачем обучать людей в виртуальной реальности?

Дмитрий Кириллов, президент Modum Lab: Как подать материал, который очень сложно показать в реальной жизни? Понятнее всего это на примере промышленной безопасности. Например, можно установить нефтеналивную эстакаду, а вокруг нее проводить учения: бегать с секундомером и замерять, как быстро люди справляются с задачами. Но всё равно по понятным причинам там не будет каких-то чрезвычайных ситуаций, ничего не загорится и не взорвется. В виртуальной реальности мы можем смоделировать что угодно и, кроме того, тут же получить и оцифровать реакцию человека: как он двигается, что делает.

Некоторые наши проекты связаны с обучением торговых представителей или мерчендайзеров, переговорами, работой с возражениями. Здесь важно не просто прочитать презентацию и понять, как продавать товар или работать с клиентом, а погрузиться в эту ситуацию. Например, когда мы продаем продукт и с нами грубо общаются клиенты или нужно добиться сделки и определенным образом вывести клиента на нее. В виртуальной реальности мы максимально приближаем человека к ситуации, с которой он может столкнуться в реальной жизни.

Конечно, технологии еще не дошли до того, чтобы искусственный интеллект мог пообщаться с тобой на любые свободные темы. Но можно сделать так, чтобы пользователь говорил [с ботом] более или менее разными формулировками и фразами, но на заданную тему. Исходя из этого, мы можем выстроить реакцию бота и потренировать человека общаться с клиентом или коллегой.

Как вы попали на эту работу?

Кириллов: Мы начали заниматься VR около четырех лет назад. До этого делали проекты для маркетингового рынка, игры, мобильные приложения. На одном мероприятии в Америке мы увидели первый современный шлем виртуальной реальности. Да, они существовали уже десятки лет: громоздкие и очень дорогие — и всё равно то решение было новой волной. Мы восхитились технологией, но не сразу поняли, как можно ее использовать.

Выделили команду из нескольких человек для R&D (Research & Development — прим. «Бумаги»), которые начали изучать возможности и особенности технологии, чтобы понять, как это работает. В какой-то момент образовали стартап и начали разрабатывать проекты образовательного характера.

У нас было несколько научных исследований вместе с разными университетами: мы хотели посмотреть эффективность VR и понять, действительно ли конкретные приемы работают [в обучении]. Мы создали проект, который был призван тренировать когнитивные навыки людей, такой брейн-тренер. У нас была гипотеза, что в виртуальной реальности это будет работать эффективнее. [Проект] тестировали три месяца на студентах: в выборке было 100 человек, их разделили на три группы. Одна ничего не делала — только тестировалась в начале и конце, другая использовала наш проект в виртуальной реальности, а третья — на айпадах.

Денис Тамбовцев, креативный директор Modum Lab: Как и все брейн-тренеры, это игра с небольшой игровой сессией, во время которой нужно выполнить ряд заданий, связанных с вниманием, памятью, скоростью реакции. Мы проверяли, насколько эффективно выполняют эти задачи люди, взаимодействующие с айпадом, то есть с классическим экраном, и работающие с тем же самым проектом, но уже в очках виртуальной реальности.

Кириллов: Мы выделили для себя семь когнитивных навыков, связанных с пространственным восприятием, краткосрочной памятью, различными аспектами внимания. И увидели, что у той группы, которая ничего не делала, ничего статистически значимо не поменялось. У тех, кто использовал наше приложение на айпадах, один из семи параметров значимо вырос, а один показал тенденцию [к росту]. У третьей же группы, которая использовала этот продукт в виртуальной реальности, статистически значимо выросли пять параметров.

Параллельно мы запустили в работу несколько маленьких приложений, одно из них называлось Speech Center. Оно было направлено на то, чтобы тренировать навык публичных выступлений. Нужно было создать некую атмосферу публичного выступления и задействовать те стрессовые факторы, с которыми человек сталкивается, когда выходит на сцену. Он идеально всё заучивает дома, но потом оказывается на публике и может растеряться, забыть. У нас была задача дать человеку возможность практиковаться в домашних условиях.

Почему эту работу не может выполнить кто угодно?

Кириллов: Чтобы всё это срежиссировать, нужно обладать опытом и геймдизайнера, и режиссера, сценариста. Вообще, этим может заниматься любой человек — вопрос в компетенциях. Программирование, 3D-визуализация, анимация, съемки «360» (видео на 360 градусов — прим. «Бумаги») — конечно, если у человека нет абсолютно никакой базы, то ему будет сложно. Но если он классический 3D-художник, программист Unity или Unreal (игровые движки — программное обеспечение компьютерной игры — прим. «Бумаги»), то адаптироваться к работе с виртуальной реальностью сможет относительно быстро.

Главная задача — понимание специфики использования технологии, которая позволяет специалистам создать наиболее комфортные системы присутствия и взаимодействия в виртуальной среде, максимально используя возможности VR-устройств. Это понимание нельзя получить, прочитав несколько статей или посмотрев видео. Нужен большой пользовательский опыт использования систем виртуальной реальности и умение его анализировать. Поэтому так сложно передать эти знания новому специалисту.

Когда мы работаем с виртуальной реальностью, то в первую очередь имеем дело с восприятием человека. Часто люди думают, что можно просто сделать какой-то контент для обычного экрана, потом подключить шлемы — и всё будет работать. Это в корне не так. Если не понимать, как человек воспринимает реальный мир, и не пытаться по тем же принципам выстраивать виртуальный, то создать что-то действительно полезное будет практически невозможно.

В виртуальной реальности у нас никак не ограничен взгляд. Если мы хотим показать какой-то объект справа, а человек смотрит влево, нам нужно думать, как управлять его вниманием и подвести его к тому, чтобы он сам туда посмотрел. Звуком, действием или с помощью других инструментов. И таких тонких вещей очень много.

Что самое сложное в вашей профессии?

Кириллов: Одна из сложностей разработки виртуальной реальности для обучения и бизнеса состоит в том, что недостаточно иметь просто хорошую, технически грамотную команду. Важно, чтобы в этой команде были методисты, бизнес-аналитики, которые понимают, какую область обучения мы можем оптимизировать.

Тамбовцев: Если говорить о сложностях, то, например, часто есть запрос на реалистичных персонажей в проектах. Но дело в том, что в текущих версиях VR нет систем трекинга глаз и эмоций человека. Мы не можем снимать эти данные в реальном времени. Есть варианты, но они либо дорогостоящие, либо неудобные в плане настройки. А так как мы не можем считывать эмоции и движения глаз человека, то возникает проблема с созданием высокодетализированных фотореалистичных персонажей, на которых нужно это проецировать. Даже если мы создадим реалистичного персонажа, то он будет выглядеть как кукла, что может вызвать достаточно неприятное впечатление. При этом в действительности реализм не так важен, как достоверность. Даже если персонаж будет как-то визуально стилизован, но его движения и поведение в сцене будут казаться достоверными, то этого уже может быть достаточно для того, чтобы пользователь поверил в происходящее в виртуальной реальности.

Есть пресловутая тема с motion sickness — укачиванием в виртуальной реальности, о котором многие знают. Оно связано с тем, что происходит рассинхронизация между движением тела в реальности и виртуальности. Например, мы сидим на стуле, а в виртуальной реальности персонаж смещается куда-то влево. Есть различные механики, которые позволяют обойти эту проблему, но нужно учитывать множество нюансов на каждом конкретном проекте.

С другой стороны, во многих случаях достаточно возможности мгновенно перемещаться из точки в точку — тогда никакого укачивания не возникает. При этом некоторые специалисты считают, что через определенное время должна произойти адаптация пользователей к укачиванию в целом или как-то изменится сам подход к системам перемещения.

Кириллов: Если мы убираем аспекты, связанные с пользовательским опытом, то сделать даже просто хорошо работающую систему очень тяжело. Например, мы делаем симуляцию, где группа людей с чем-то взаимодействует в виртуальной реальности. То есть там не один человек, а сразу десять: они представлены в виде аватаров, общаются голосом, перемещаются в реальном времени каждый как хочет и совершают какие-то действия. Чтобы это сделать, нужно, по сути, пользоваться не только экспертизой VR, но и понимать, как передавать без потерь и задержек голос для этих десяти человек. Технически это очень непросто.

Всё усугубляется еще и тем, что если бы мы сейчас общались в VR с разных точек планеты, то, чтобы это было более естественно, я должен был бы слышать голос с тех сторон, где вы сидите. Должен быть объемный звук, а это сложнее, чем обычный одноканальный. Возникает очень много ограничений, когда мы приближаем симуляцию к реальной жизни. Но с точки зрения восприятия нужно к этому стремиться.

Стоит ли заниматься этим делом в Петербурге?

Кириллов: В Петербурге много хороших и опытных разработчиков, так как появилось много IT-компаний; есть очень достойные вузы, которые готовят отличных специалистов. Однако такие люди не сидят и не ждут, когда их пригласят на работу, а уже вовсю трудятся где-то. Людей нужно чем-то заинтересовывать: проектами, командой, климатом. Тут денежная мотивация не самая долгосрочная, хотя понятно, что это не исключает адекватную оплату труда.

В Петербурге мало мероприятий, которые связаны с VR. Но с другой стороны, тут спокойнее и комфортнее работается. Мне по работе часто приходится бывать в столице, и та суета, которая там происходит, может сбивать фокус. А по скорости мы работаем, ничуть не уступая московским коллективам, — не смотря на то, что москвичи часто говорят, что в Питере всё очень долго.

Корпоративных клиентов в Питере довольно мало, все в основном находятся в Москве. В Петербурге один из главных клиентов — «Газпром нефть». Но добраться до столицы вопрос нескольких часов — и это никак не ограничивает в работе со всеми московскими компаниями.

Михаил Антыков

Videofabrika

Зачем обучать людей в виртуальной реальности?

Михаил Антыков, режиссер цифровых медиа Videofabrika: Технология съемки фильмов в «360» — это возможность видеть недоступный тебе мир своими глазами. Многие профессии требуют практики: когда студенты делают дело своими руками, обучение [для них] будто начинается заново.

Так, если вы должны разминировать какую-то бомбу, то можно сколько угодно стоять и смотреть со стороны, но только когда вы увидите всё это не как ученик, а будто сами, сможете понять [процесс] до конца. Делать такие вещи в реальности — дорогое и опасное удовольствие, потому что люди могут погибнуть, а дорогие предметы — повредиться. Делать же это в виртуальной реальности дешевле и безопаснее.

Или, например, врачи. Одно дело во время операции стоять в третьем или четвертом ряду студентов за профессором, который вырезает аппендикс. Другое — находиться практически на его месте.

Мы, собственно, и сделали такой проект для студентов медвузов. Учащиеся надевали очки и наблюдали операцию не сбоку, а так, как они в будущем будут сами оперировать — с той точки обзора, с которой операцию видит лечащий врач.

Однако более эффектным решением в нашей практике был проект «Эрмитаж» (VR-фильм об истории музея с Константином Хабенским в роли экскурсовода — прим. «Бумаги»). Мы хотели сделать длинный, но интересный урок, во время которого зрители узнают об истории Эрмитажа не с чьих-то слов, не со скучного повествования экскурсовода, а становятся очевидцами исторических событий. Это может дать только технология «360».

Такой контент в основном убедителен, если это фиксация действительности, съемка. Графика в VR еще на очень низком уровне, поэтому мозг не ассоциирует увиденное с реальностью. При просмотре же контента, который снят в реальности, с живыми персонажами, зритель остается в нашем мире, верит происходящему.

Как вы попали на эту работу?

Изначально мы — это команда увлеченных людей, которая имеет отношение к кинематографу и рекламному бизнесу. И с появлением такого инструмента, как видео «360» мы не могли не оценить эмоциональную силу, которую он несет. Для нас это стало возможностью реализовывать до этого закрытые сюжетные решения.

Сначала снимали ролики для себя, попутно продвигая технологию среди питерских рекламных агентств. Это заняло где-то полтора года, после чего у нас заказали первый рекламный ролик.

Эффективность таких роликов очевидна. Когда мы проводим рекламные кампании, людям эта технология интересна, они с легкостью вступают в контакт с представителями бренда, увлеченно смотрят ролики, рассказывают друг другу о них.

Изучая работы коллег, мы фиксируем самые массовые ошибки режиссеров, начинающих снимать в VR. Многие продолжают мыслить в формате, [подразумевающем], что зритель смотрит только в одну сторону, не используя при этом технологию в полную силу. Ведь если сюжет не заставляет зрителя повернуть голову, осматриваться, то он не понимает, зачем надел этот не самый удобный кусок пластика себе на голову. Мы решили, что в каждом кадре, каждой мизансцене сюжет должен развиваться вокруг зрителя.

Например, в проекте «Эрмитаж» ставили камеру между главными актерами: так, чтобы смотрящий оказывался буквально в центре диалога. Константин Хабенский, находясь у зрителя за спиной, начинает что-то рассказывать, а потом, обращаясь к нему, говорит: «Обернитесь, посмотрите, что позади вас».

Почему эту работу не может выполнить кто угодно?

Мы работаем в сфере развлечения, и главная задача — делать контент, заставляющий людей испытывать позитивные чувства. И этим может заниматься кто угодно, если будет правильно видеть мир, находить золотую середину между коммерцией и не коммерцией, не скатываться в банальность, а также знать основные правила восприятия света, цвета и рассказа зрителям истории.

Всё, что идет дальше, — это работа режиссера, которому важно иметь что рассказать, постоянно чему-то сопереживать и уметь это передавать другим с помощью визуальных технологий.

Сейчас, конечно, можно увидеть много видео «360» на YouTube или Vimeo, сидя за ноутбуком или телефоном. Но это кардинально отличается от очков VR, которые по-настоящему погружают вас в происходящее. Когда поворачиваете голову в очках, то не теряете экран из поля зрения, как в кинотеатре, а продолжаете находиться в той новой реальности, которую сняли для вас или создали с помощью графики. Именно это помогает получать те знания, которые можно приобрести лишь на практике. Зритель уже не наблюдает за происходящим со стороны — он в центре действия, очевидец.

При этом важно понимать свою ответственность. Конечно, нельзя исключать варианты, что в будущем виртуальная реальность может принести и проблемы. Я выделяю две основные:

1.

Виртуальная реальность кажется реальной — особенно детям.

Дети еще сильнее, чем взрослые, переживают этот опыт, в том числе страх. Определенный контент должен демонстрироваться после достижения зрелости: как умственной, так и психической.

2.

Виртуальная реальность не всегда дает представление о последствиях аналогичных действий в реальной жизни.

Это то же самое, что и с компьютерными играми, в которых умереть или убить кого-то не так страшно. Дети и подростки могут начать неадекватно оценивать реальные последствия аналогичных поступков.

При этом происходящее в том же «Черном зеркале» и «Аватаре» (в нескольких сериях сериала герои при помощи технологий видят в реальном мире несуществующие вещи, а персонаж «Аватара» перемещается в чужое тело — прим. «Бумаги») — это моя мечта. Надеюсь, рано или поздно мы избавимся от этих ужасных пластиковых девайсов. Надеюсь, всё пойдет в сторону нейробиологии, чтобы люди смогли записывать самую качественную картинку с помощью самой качественной камеры в мире — наших глаз.

Если технология до этого дойдет и мы будем максимально реально передавать увиденное кем-то другим, сможем дать людям то, чего они лишены в силу физических или иных ограничений.лепым — возможность видеть; тем, кто не может передвигаться, — стопроцентное ощущение ходьбы или даже полета.

Но так же сильно это будет работать и в негативную сторону: люди смогут увидеть то, что является для многих из нас крайностью, на что в реальности мы бы не пошли. И эти эмоции могут сильно повредить психику.

Любой подобный вред можно снизить только за счет культуры и образования тех людей, которые занимаются производством этого контента. Мы и сегодня делимся на тех, кто делает продукцию, несущую смысл, и тех, кто берет самое низменное и фиксирует это.

Что самое сложное в вашей профессии?

Чтобы снимать в формате «360», нужно понимать, как сделать каждую деталь вокруг зрителя интересной. Если зритель сможет смотреть только в одну сторону, то такое видео лучше снять на обычную камеру и смотреть в удобном кресле кинотеатра или дома.

Подготовка проекта VR мало чем отличается от любого другого кино- или видеопроизводства: у вас есть идея, потом — понимание, как превратить текст в изображение, потом — столкновение с бюджетом и осознание того, что доступными средствами это не реализовать. Как и в любом крупном продакшене, это всегда миллионы рублей, поиск золотой середины между желаниями и возможностями.

Вопрос только в технологии, вносящей изменения в работу съемочной группы на площадке, и режиссера, который должен по-другому строить мизансцены и использовать силу повествования видео «360». Например, если делаешь проект для обыкновенного прямоугольного экрана, то графика занимает ровно эту часть пространства. А если создаешь графику для видео «360», приходится делать ее одновременно для пяти-шести таких экранов, стоящих вокруг. Это достаточно дорогое, емкое и трудозатратное действие. Тут очень много ракурсов: нужно делать всё сразу во все стороны.

Но сейчас нет идеальных камер для съемки «360» — всё придумывается на коленках под конкретные сцены и конкретные условия.

Стоит ли заниматься этим делом в Петербурге?

Петербург — мой любимый город, один из красивейших в мире. Правда, построенный не в самом удачном месте: для съемок здесь всё плохо из-за климата и солнца, которое бывает 30–40 дней в году.

Для камеры «360», в отличие от обыкновенной, съемки во время дождя — это закрытая история, так как есть объективы, смотрящие вверх. Их, соответственно, заливает дождем. С этим можно бороться, но в Петербурге дожди идут большую часть времени, поэтому съемки здесь всегда будут ограничены.

Тем не менее Петербург — это все-таки одно из немногих мест в мире, где вы можете поставить камеру «360» в любой точке города и контент будет интересным, куда бы вы ни повернули голову. Начиная от красот и величия архитектуры и заканчивая рыбаками, интеллигентными бабушками и бездомными с Васильевского острова.

Один раз мы поставили камеру в катер, который ехал по каналу. Обработав этот контент и показав его людям в очках VR, мы поняли, что в нашем городе можно поворачивать голову бесконечно, особенно когда плывешь по каналу: люди, не останавливаясь, смотрели и вправо, и влево.

Пять вещей, которые отличают вашу профессию

1.

Для создания виртуальной реальности нужно работать с процедурной графикой, что в Петербурге умеют немногие

Дмитрий Кириллов: В России очень мало образовательных заведений, где учат людей процедурной трехмерной графике — не статичной, а как в играх, где мы можем побежать влево или вправо. У нас мало специалистов, которые могут работать с таким контентом. В виртуальной реальности это очень важно: чаще всего там используется именно процедурная графика. А когда ее нужно адаптировать под мобильный телефон, то возникает совсем много ограничений. То есть нужны специалисты — трехмерные технологи, которые знают и как красиво сделать объект, и как его технически подготовить, чтобы он потреблял минимальное количество ресурсов. Как правило, этими знаниями обладают люди, которые делают трехмерные игры.

2.

Пользователю должно быть комфортно в виртуальной реальности. Чтобы этого добиться, нужен большой экспертный опыт

Денис Тамбовцев: [В виртуальной реальности] есть целый ряд нюансов при проектировании качественного, комфортного пользовательского опыта пребывания в виртуальной среде. Здесь много требований к тому, как мы взаимодействуем с пользователем и какие инструменты предоставляем для взаимодействия с виртуальным миром. Когда человек находится в VR-очках и управляет контентом с помощью моушн-контроллеров (система, позволяющая определять расположение человека в пространстве — прим. «Бумаги») — это отличается от того, как если бы он сидел за персональным компьютером с клавиатурой и мышкой. В связи с этим требуется достаточно большая экспертиза по созданию корректно работающих интерфейсов, систем отображения информации. Есть множество задач по визуализации людей, самого пространства, управления камерой и тому подобное.

3.

Зритель может смотреть в разные стороны, но не должен упустить сюжет фильма

Михаил Антыков: Важно учитывать каждую секунду и любое движение зрителя. Если у обычного режиссера всё должно соответствовать его идее только внутри кадра, то в VR нужно полностью продумывать все идеи в пространстве вокруг зрителя. Ведь мы не знаем на 100 %, куда именно посмотрит зритель. Так, в обычном кино про XVII век актер может быть загримирован только сверху, но сидеть в своих обычных джинсах: камера будет брать крупный или средний план, и зритель не увидит ненужного. В видео «360» же всегда видно всё вокруг.

4.

Фильмы VR можно монтировать только внутрикадрово

Михаил Антыков: Режиссер VR снимает один раз одним дублем, и важно, чтобы всё вышло идеально. Как и любой режиссер, режиссер VR должен изначально видеть уже всё готовым: как актер поведет себя в одной сцене и как интерьер при этом будет сочетаться, не будет ли кто-то заслонять другого и подобное. Но если в фильме это можно скорректировать монтажом, то в VR нужно переснимать.

5.

Для проектов в VR очень важно качественное оборудование

Дмитрий Кириллов: VR-шлемов и очков сейчас множество — нужно, чтобы разработчикам было доступно то оборудование, под которое разрабатывается проект. Даже банальные вещи невозможно протестировать без устройств виртуальной реальности. Например, механика мобильного шлема очень сильно отличается от систем с трекингом, когда мы можем перемещаться телом и взаимодействовать руками.

Михаил Антыков: Самая распространенная ошибка — экономить на оборудовании. Ведь чтобы мозг зрителя поверил в снятое, нужно показывать всё с наивысшей четкостью. Например, при съемке проекта «Эрмитаж» мы снимали на самодельную камеру «360», которую сделали из девяти GoPro, смотрящих в разные стороны. А потом заметили при просмотре отснятого материала, что настенная роспись перестает быть живописью: теперь это цветные пятна на стенах. Эти камеры не смогли передать мелких деталей, которые так легко видит глаз зрителя. Пришлось за ночь сменить технологию и придумать, как это переснять.

Другие материалы о профессиях будущего читайте в спецпроекте «Бумаги» и «Газпром нефти»