Оригинал материала
Музеи в 4D
Для музеев наступили непростые времена, особенно для небольших и частных. Приходится платить аренду, а деньги должны поступать от посетителей, которых нет. Даже если с ослаблением карантина разрешат открыться, то прежнего потока гостей не вернуть — пандемия продолжается, это надолго, ну а музеи в сознании властей и простых граждан всё же не относятся к числу жизненно важных элементов инфраструктуры… К тому же изрядная доля посетителей — это туристы из других регионов или из-за границы, и перекрытые границ перечеркивает все усилия музейщиков получить хоть какой-то доход.
Известны печальные случаи, когда интересные проекты лишаются арендуемых ими помещений. Логично в таких случаях обращаться за поддержкой к общественности, однако уровень этой поддержки зависит от того, насколько музей популярен, а поддержка за пределами своего региона — еще и от того, насколько музей представлен в Сети и не сидят ли сложа руки его сотрудники во время вынужденных каникул.
Возможно, есть шанс еще и заработать, организуя виртуальные туры. И перед крупными и государственными музеями стоит, в сущности, та же проблема: нельзя позволить о себе забыть и срезать финансирование. Как они с этим справляются? Что можно предпринять? Каким образом «пиарились» музеи в Интернете прежде — у нас и за рубежом, — и что делается теперь?
Недавно прошедший День музеев (превратившийся по сути в демонстрацию интернет-проектов), а также весьма необычное событие — открытие новой выставки Пушкинского музея исключительно в виртуальном пространстве — подтолкнули нас к идее поговорить об этом с Дмитрием Лобачевым, основателем и гендиректором компании Navigator4D [1], которая много лет занимается созданием цифровых реплик музеев по всему миру и собственно и выпустила программу для виртуального посещения вышеозначенной выставки. Беседу вел Максим Борисов.
— Какие вообще есть способы виртуально прогуляться по музеям? Из недавней рассылки министерства культуры Подмосковья, из тех ссылок, что оказались не битыми и рабочими, я нашел два почти очевидных способа: выложенные на YouTube съемки экскурсий (это, конечно, полезно, но чего-то подобного можно было достичь и сто лет назад обычной кинокамерой) и 360° панорамы музейных залов, где можно оглядеться, повертеть головой, приблизить какой-то фрагмент обстановки, перейти в следующий зал и даже выйти наружу, посмотреть на здание изнутри (в духе 3D-панорам на картах Гугла и Яндекса). Пример — это усадьба «Мелихово», музей-заповедник А. П. Чехова [2]. Относительно дешево и сердито. Честно говоря, ровно то же делала веб-студия, в которой я работал в прошлом веке.
— Есть решения близкие, есть решения компании Matterport [3], делают неплохие панорамы, основанные на 3D-съемке, достаточно «грязно», конечно, получается, но переходы между локациями достаточно плавные. Это всё не может претендовать на статус реплики и на статус виртуальной копии, конечно. Нужно повторить все текстуры, большую часть объектов снять в 3D вокруг, вынуть предметы из витрин…
Чтобы это сделать, нужно совместить несколько сложнейших областей — трехмерное сканирование, игровые технологии… Настоящая культура и игры (связанные с большими деньгами) — они находятся на разных планетах. Сложно совместить их и создать конкурентоспособное решение, которое не умрет, когда тебе перекроет кислород организация, финансирующая твой проект, которая завтра что-то другое уже будет финансировать — а прежний проект накрылся… Нужно решение, которое будет само себя кормить, — и это наша задача, чтобы это было окупаемо.
— Таким образом, с простейшими 3D-панорамами мы все, в принципе, знакомы, достаточно пользоваться иногда картами от Гугла и Яндекса… Но у Гугла ведь еще есть технология, когда растр натягивается на очертания домов и рельеф, — так у них можно посмотреть, например, бо́льшую часть Парижа, какие-то города в Америке… Как понимаю, вы всё же пошли другим путем? Что за 4D? Звучит претенциозно…
— Почему компания называется 4D? Это 3D плюс информация, огромное количество информации — слои, которые содержат важнейшую информацию и, скажем так, дополняют 3D. Почему «навигатор»? Потому что речь идет о навигации — передвижении по залам виртуальных музеев.
Есть огромный потенциал и огромный кладезь знаний в музеях, которые выступают архиваторами-хранителями очень важной информации — исторической, культурной, научной и т. д. Когда я понял, что наука и технологии дошли уже до такого уровня, что можно создавать визуальные клоны — фактически цифровые двойники-реплики этих музейных пространств, почти не отличающиеся от оригинала, от обычного посещения музея (разве что нельзя ничего потрогать), — я создал эту компанию в 2014 году. В музеях, единожды сделав копию, можно получить базу для дальнейшего развития…
Но первую веб-студию я создал еще в 1993 году в Москве. За прошедшее время мы получили гигантский опыт в компьютерной графике, анимации, мультимедиа, телевизионной графике, кинографике, научной графике. Но самое главное, что с музеями мы работаем издавна и знаем, как они устроены изнутри. Для образования, для дальнейшего развития, для свободного доступа неограниченного любого человека с любой точки планеты необходим именно такой формат — необходимо разрабатывать инструментарий, внутреннюю платформу, позволяющую создавать эти музеи качественно и достаточно быстро. И чтобы мы могли создавать любого уровня музеи — со сложной архитектурой помещений, пространств и, может быть, даже архитектурных ансамблей, сканирование любых экспонатов. Сама технология у нас претерпела четыре модификации. Сначала мы делали на Macromedia Director онлайн-часть, оффлайн-часть делалась на своем движке, который был написан на C++. И мы с ним сделали, по-моему, шесть музеев. Это с 2010 по 2012 год. Это был Геологический музей Вернадского, Бородинская панорама, это был Музей Востока полностью, ну еще несколько менее значимых проектов. Были и архитектурные проекты. Но фактически это было просто моделирование, копии. В Музее Востока это были объекты-сканы.
— А сейчас это посмотреть где-то можно? Или всё уже закрыто?
— Забавная вещь. Это всё есть работающее у нас, но из всех этих проектов только Музей Востока продержался несколько месяцев. У них в фойе. И на их сайте, а также на сайтах Геологического музея и музея-панорамы Бородинская битва разделы с нашими первыми виртуальными музеями продержались около года, после этого всё убрали. Я видел, что созданными продуктами музеи толком не пользуются, не раскрывают их потенциал. Это очень демотивировало. Возможно, уровень фотореалистичности тех продуктов был еще недостаточен — ведь на самом деле и сама наша технология только развивалась. Тогда мы перешли уже в другую ипостась. Я понял, что нам нужна такая модель работы, при которой мы могли бы развивать продукты сами, владеть ими. Я перешел к сотрудничеству с музеями как к партнерству. Мы фактически перестали просить денег у музеев (хотя есть возможность их добавить). Мы начали искать интересные музеи. Но продуктом владеем мы сами — другая совсем модель, и она заработала. Но параллельно мы всё же сделали работу с Палеонтологическим музеем, она до сих пор демонстрируется у них, они показывают ее на выставках, внутри музея, там огромный экран, 1х2 м, стоит в фойе, на нем можно всё покрутить. Мы воссоздали полностью здание музея со всеми залами и сканировали все отдельно стоящие экспонаты, это более 50 экспонатов в 3D подробно. Это можно посмотреть на YouTube на нашем канале (youtube.com/watch?v=zDDRSPBSQ6k).
— Осмысленное применение, про которое я услышал, — это на выставках представлять таким образом музей… Там действительно можно установить нужную аппаратуру, компьютер…
— На выставках показываются отдельные экспонаты, когда можно покрутить сами экспонаты. Потому что сама выставка, сам музей — это единое пространство, культурное, историческое и научное… Оно организовано по эпохам, периодам развития Земли, привязана геология Земли и т. д. Почему интересен сам музей, целиком? Потому что это проработанная структура, единый формат подачи информации, куда встраивается экспонат и т. д. Это интересная штука, это как книга, законченный проект. Поэтому если нам предлагают в музее сделать только один зал, а весь музей не дают, то мы от такой работы отказываемся. Нам интересно сделать целиком весь музей, чтобы получить его полную реплику и открыть для большого количества людей, делать потом уже переводы и т. д. Мы начали работать с зарубежными музеями и сделали уже более десяти европейских музеев.
Начиная работу с музеями, мы планируем сотрудничать с ними очень долго, десятки лет. Наша задача — задать очень высокие стандарты, создать полную реплику. Соответственно мы сразу после первой версии включаем туда всё пространство, всю экспозицию музея. Всё, что стоит отдельно, мы сканируем в 3D. И получается продукт готовый на нескольких языках, его можно приобрести в музее. То есть фактически это «возьми с собой музей в кармане» — после экспозиции, после посещения. Ты можешь потратить два часа, но посмотришь только часть экспозиции (особенно в средних и крупных музеях это проблема). Люди стараются возвращаться в музей много раз. Но это сложно сделать, если речь идет о другой стране, особенно дорогой, — ты не можешь много раз прилетать во Францию из России, из США или из Японии, понятно, что это вот тогда станет прекрасным решением проблемы — этот музей взять с собой, причем всё будет на родном языке.
В любое время на большом экране, с бабушками, дедушками, с друзьями ты заходишь, без толп экскурсантов, с аудиогидом, с подробными объяснениями, у каждого экспоната можно находиться столько, сколько нужно. В любое время возвращаешься. Фактически музей полностью перемещается к тебе на книжную полку, с которой его можно всегда достать.
Мало того: последняя итерация технологии — мы добавляем туда VR. Если у пользователя есть виртуальный шлем… И со шлемами эти продукты уже работают. И мы эту линейку расширим до Oculus Rift и др.
— …И в какой-то момент вы перешли со своего на самый распространенный движок — Unity? А почему не на Unreal Engine или не на Source (на котором прогремевшая новая игра Valve в VR)?
— Это важно. На нашем движке это дело развивали всего два программиста — они делали это десять лет. Движок был неплохой, но у Unity на момент нашего перехода на него (2013 год) уже было 150 программистов, и его возможности уже сильно превосходили то, что мы делали. Ну и в наших работах самая важная составляющая — это контент. Это копия пространства снаружи и изнутри. А через какой технический движок выводить контент для пользователя — не принципиально. Сейчас мы работаем и на Unity, и на Unreal Engine.
— Я так понимаю, что у вас два направления — программы, достаточно весомые, которые пользователь скачивает, ставит на свой компьютер и в них всё смотрит, а второе — это что-то вроде игрового стрима…
— Да, это интерактивный стрим, когда моментально запускается приложение на мощном серверном облаке и отдается стрим-поток. Тут нужно просто интернет хороший. Это решение многообещающее, мы его тоже будем развивать. Мы это сделали — оно работает. Но самое лучшее качество — это когда ты скачал архив — и на твоей стороне это работает. Следующее — это WebGL. И стрим хорошо работает только если у тебя хороший канал в Интернет. В будущем мы сделаем всё, это важно. Мы увидели спрос и продаем это всё музеям с конца 2016 года.
То, что Пушкинский выбрал нас в партнеры, говорит о признании нашего решения уже лучшими музеями мира, этого нам очень не хватало.
То есть сейчас мы занимаемся в эту пандемию, понимая, что у нас на паузе стоят новые контракты. Самое важное. Мы получили очень хороший опыт, и сейчас наша задача уже из этого гаражного стартапа наладить такой серьезный процесс изготовления высококлассных музеев на нашей технологии. Технологию мы создавали много лет, и она достаточно сложная, там семь этапов, часть из которых мы сами разработали. Мы добились того, что это работает на компьютерах любой конфигурации — начиная от компьютеров за 200 долл. со встроенной видеокартой. Сейчас мы создаем портированные версии для смартфонов. Все музеи будут работать на всех устройствах. Конечно, их лучше смотреть на компьютерах, но на смартфонах и на планшетах это тоже работает.
Технологическая цепочка состоит из семи этапов. На входе мы делаем десятки, а иногда сотни тысяч фотографий, в частности с дронов. Создаются пространства как снаружи, так и внутри, а потом происходит процесс упрощения модели но с сохранением детализации текстур, что позволяет нам получить не очень тяжелую модель, где очень хорошая детализация нужных областей и огромное количество информации в текстурах.
Ты видишь, как можно доехать, откуда магистраль, допустим, заходит, от какого автобана. Где находится парковка. То есть ты знакомишься с территорией парка — для тех, кто еще не был в музее, допустим, но хочет его посетить, ему интересно. Если мы делаем виртуальный визит, то он начинается с приезда к самому музею, там трехмерная модель города, с заездом.
Показываем все здания на трехмерной интерактивной модели, все объекты снаружи, которые можно отдельно кликнуть и открыть, можно побродить по парку, посмотреть на скульптуры, фасады зданий, познакомиться с ним внутри.
— Пещеры Шове вы ведь тоже делали? Насколько понимаю, сам музей, куда пускают посетителей, это тоже реплика пещеры? То есть вы делали реплику реплики?
— Да, мы сделали цифровую реплику с реплики. Причина очень проста — мы создаем копии реально действующих выставочных пространств, в которых есть контентная информационная нагрузка, связь всей информации. Такое пространство можно было сделать только, наверное, на основе правильно расположенной реплики.
Когда открыли пещеру Шове (в 1994 году), в нее стали ходить, люди стали менять там микроклимат, рисунки начали приходить в негодность. И французское правительство приняло решение законсервировать пещеру полностью, лишив ее кислорода, чтобы сохранить. Но перед консервацией консорциум компаний, создававший реплику, отсканировала пещеру во всех деталях, и по этому скану воссоздали — перенесли реплику, которая находится в нескольких километрах от самой пещеры, ближе к магистрали, сделали там парк. Несколько французских компаний создали конгломерат, который построил за 55 млн евро реплику, а также создали потрясающее архитектурное пространство учебно-образовательное, в котором основной акцент — это сама пещера, где воссозданы все основные фрески и залы…
— Вы снимали это всё? Какое впечатление?
— Мы провели там более двух недель непрерывных съемок. Причем съемку можно было делать только когда не было посетителей. Соответственно, это было время с 5:30 утра до 8:30 — три часа. И часа полтора после посетителей. Соответственно, в таком режиме несколько раз приезжая, мы сняли всё внутри и, кроме того, мы сняли отдельно построенное здание музея, в котором очень красиво воссозданный десяток чучел животных, которые обитали в то время. 35 тыс. лет этим рисункам, и по внешнему виду они превосходят любые аналоги по всему миру. Эта пещера уникальна, единственная пещера в мире и объект наследия ЮНЕСКО.
— А это пластиковые какие-то стены?
— Это железобетон с внесенным бетоном и гипсом. Это конструкция очень прочная. Воссозданы даже мокрые сталагмиты, то есть ощущение, что они мокрые, капает вода. Это сделано потрясающе, подсвечено хорошо. Нам пещера предоставила описание, аудиогиды. Кроме того, что мы сделали парк, мы сделали реплику пещеры, сделали этот музей, мы сделали всё. Сейчас посещение музея — это стопроцентный визит, единственно, что для этого не надо покупать билет, получать визу французскую, тратить большое количество денег и т. д. И это позволяет открыть музей всему миру.
Музеи — это такие кирпичики, из которых складывается такая библиотека, которую мы хотим доставить в школы, колледжи и институты. Мы будем давать лицензии школам, институтам и колледжам, чтобы они это использовали в своем образовательном процессе — доступ к этим музеям.
— Ты же давал мне на компьютер доступ к демонстрации этой пещеры?
— Да, мы сейчас заканчиваем три проекта — это вилла Эфрусси-де-Ротшильд, пещера Шове и самый крупный — такой архитектурный шедевр — Николаевский собор в Ницце. Николай II построил на свои деньги в 1912 году на месте смерти цесаревича, который скоропостижно умер в Ницце. Это самый крупный православный собор в Европе. И там потрясающие интерьеры, экстерьеры, это такой собор-музей, мы его тоже отсканировали полностью.
И мы выпускаем три этих крупных проекта французских и вот Пушкинский музей, который бесплатен для посещения, это с самого начала такое соглашение у нас было, что этот музей бесплатен для посещения. И сам Пушкинский музей, и мы распространяем его бесплатно, чтобы все могли посмотреть эту выставку, открывшуюся в закрытом музее [4]. Карантин грянул как раз за несколько дней до открытия выставки. Мы успели ее за четыре дня отсканировать и полностью воссоздать. Ее кроме нас и самих сотрудников Пушкинского музея никто не видел.
— Я походил, поразился, что вы так любовно вплоть до трещин на мраморе и каких-то пожарных приспособлений и столбиков всё воссоздали, но как-то не повезло, что сами-то объекты — картины — плоские. Они замечательные, но не все проникнутся крутизной технологии, ее самыми сильными сторонами… К тому же геймерам (а все мы пробовали играть) не совсем привычно управление движением. И самое главное — приходится скачивать огромный 1,7-гигабайтный файл.
— Ну, это пилотный проект с Пушкинским. Задача была — показать атмосферу, что в этом можно находиться. Финальная задача — создать в 4D полную реплику Пушкинского.
Дмитрий Лобачев
Беседовал Максим Борисов