Шлем Apple Vision Pro — это будущее смешанной реальности

Перед этим в индустрии больше десяти лет чередовались успехи и провалы. Почему революции так и не вышло?

5 июня Apple представила шлем смешанной реальности Vision Pro — компания разрабатывала его как минимум с 2015 года. Гарнитура, несмотря на высокую стоимость (три с половиной тысячи долларов), вызвала положительные отзывы профильных СМИ и техноблогеров, которые проверили ее в деле. Однако ждать Vision Pro предстоит еще долго: релиз намечен лишь на начало 2024 года.

За последние десять лет сразу несколько компаний попытались создать устройство, которое могло бы построить целый рынок для новой технологии, — но до сих пор результаты оставляли желать лучшего. Разработчики искали форму для гаджета (пробуя как почти невесомые очки, так и чрезвычайно тяжелые шлемы), пытались отыскать идеальный баланс реального с виртуальным и сталкивались с постоянными жалобами на усталость от ношения таких устройств. «Медуза» рассказывает историю фальстартов перспективной технологии — и перечисляет причины, по которым обещанная революция не произошла (но может — с выходом гарнитуры Apple).

Что такое смешанная реальность и почему она так называется?

До сих пор специалисты индустрии не договорились, как называть технологию, которую они пытаются внедрить. Изначально распространился термин «дополненная реальность» (Augmented Reality, AR): именно он встречался в описаниях умных очков Google Glass и игры Pokémon Go. Для создания дополненной реальности достаточно иметь устройство с экраном. Технология позволяет видеть цифровые объекты, встроенные в реальные декорации. Простейший пример AR — индикатор на лобовом стекле самолета или на шлеме пилота.

С развитием иммерсивных технологий специалисты заговорили о смешанной реальности (Mixed Reality, MR), где взаимодействуют виртуальный и реальный миры. В статье 1994 года команда ученых под началом Пола Милгрэма из Университета Торонто вводила идею континуума реальности-виртуальности: от обычной реальности через дополненную к виртуальной. Все промежуточные стадии на этой шкале предлагалось называть смешанной реальностью. Сегодня MR чаще всего используют как понятие, объединяющее AR и VR (хотя для ясности многие предпочитают обозначение AR/VR). При разговорах о гарнитурах смешанной реальности (например, Microsoft HoloLens или Meta Quest Pro) производители подчеркивают, что их гаджеты могут как показывать полностью виртуальные VR-экспириенсы, так и работать в AR-режиме, совмещая цифровые объекты с реальностью вокруг пользователя.

Чтобы окончательно всех запутать, в последние годы специалисты стали использовать термин «расширенная реальность» (Extended Reality), который объединяет все разновидности цифровых манипуляций с миром — AR, VR и MR. Новая аббревиатура распространилась отчасти благодаря проекту OpenXR — стандарту доступа к платформам виртуальной и дополненной реальности, введенному в 2019 году, — и интерфейсу программирования приложений WebXR, позволяющему запускать VR- и AR-экспириенсы в веб-браузере.

Хотя умные очки и другие устройства дополненной реальности до сих пор не завоевали широкой популярности, локальные AR-приложения уже давно вошли в привычку. Хелен Папагианнис, автор книги «Augmented Human» (2017 год, в переводе «Дополненная реальность»), перечисляет пять основных областей применения AR: здравоохранение, образование, работа, развлечения (в том числе игры) и торговля. В последней области применений особенно много — от встраивания виртуальной икеевской мебели в интерьеры до примерки виртуальной одежды.

Как именно работает дополненная реальность и как ею управлять

Современные смартфоны оснащены камерами и большим количеством сенсоров: при наличии программного обеспечения это уже позволяет соединять цифровые и реальные объекты. В случае с полноценными AR-устройствами к базовым требованиям добавляются новые — носимые оптические приборы и механизмы управления, при которых не нужно нажимать на сенсорный экран.

В области оптики перепробованы многие варианты (очки, шлемы, контактные линзы и ретинальные мониторы), в которых изображение проецируется на сетчатку глаза. После десяти с лишним лет разработок производители в основном остановились на гарнитурах, которые закрепляются на голове и закрывают поле зрения, как лыжная маска. От частично прозрачных экранов (как в Microsoft HoloLens) компании все чаще отказываются в пользу полностью непрозрачных шлемов, где внешний мир передается на дисплей с помощью системы камер, — Apple Vision Pro и новейшие устройства линейки Quest как раз такие.

Наложение виртуальных объектов на реальную обстановку — сложная техническая задача. Труднее всего составить трехмерную модель окружающего пространства, которая затем дополняется цифровыми элементами. Все это должно существовать в динамике, реагируя на действия и перемещения. Как объясняют специалисты Microsoft, два основных направления в AR-разработках, маркерная и безмаркерная технологии, требуют распознавания изображений, но в первом случае в базу данных устройства предварительно добавлены цифровые маркеры (например, QR-коды), которые помогают определять положение и ориентацию камеры. AR-объект затем размещается на месте маркера. Во втором случае механизм распознает все объекты в поле зрения, а привязка происходит к другим «якорным» элементам — например, плоскости или геолокации.

Устройствами дополненной реальности в основном управляют с помощью физических кнопок, колесиков и тачпадов на корпусах, контроллеров, голосовых команд, жестов, движений зрачков и головы. Многие из этих механизмов взаимодействия до конца не освоены. Единого стандарта, как в случае с сенсорным экраном смартфона, здесь не существует. Так, каждый производитель вынужден придумывать собственную систему распознавания жестов (например, при первом использовании Vision Pro нужно пройти обучение). Кроме того, в каждом конкретном приложении может включаться своя механика (как в VR-экспириенсах) — например, манипуляции виртуальными объектами. Одна из трудностей внедрения дополненной реальности как раз заключается в разнообразии виртуальных интерфейсов и сценариев взаимодействия. Многие из них отбракованы методом проб и ошибок: каждое новое устройство как будто пыталось изобрести AR-велосипед.

Чем распространеннее становятся гарнитуры смешанной реальности, где AR и VR дополняют друг друга, тем чаще устройства могут задействовать наработки в области виртуальной реальности — например, имитацию тактильных ощущений, сложные игровые манипуляторы (вроде светового пистолета) или даже VR-костюм.

Создатели гаджетов со смешанной реальностью, кажется, совершили все возможные ошибки — вот главные моменты

О технологиях дополненной реальности всерьез заговорили после того, как Google представила умные очки в 2012 году. Вместе с этим неудача продукта надолго «заморозила» отрасль. Представление гаджета сопровождалось громкой медийной кампанией. Его показ на конференции Google I/O начинался с парашютистов, которые выпрыгивали из дирижабля с умными очками на глазах, транслируя картинку напрямую в конференц-зал (посмотреть, как это было, можно тут). Дизайнер Диана фон Фюрстенберг заставила моделей носить Google Glass на Неделе моды в Нью-Йорке (глава корпорации Сергей Брин сам поднимался на подиум). Журнал Time включил умные очки в список лучших изобретений 2012 года. По миру разлетелась фотография принца Чарльза в Google Glass. Создатели «Симпсонов» сняли эпизод, посвященный гаджету.

Когда первая волна энтузиазма схлынула, обнаружились многочисленные недостатки устройства. Издание Business Insider в мае 2013 года выпустило статью с заголовком «Вердикт: Google Glass никому не нравятся», упомянув слабую батарею (выдерживала от трех до пяти часов), обилие багов, негнущиеся дужки (подразумевалось, что вы носите очки постоянно), низкую яркость экрана, которой мешал дневной свет, и несовершенное распознавание голоса. Журналисты Engadget жаловались на невозможность управления настройками: в очках нельзя было отключить Wi-Fi и Bluetooth, изменить уровень громкости или переставить иконки в интерфейсе. Также устройство упрекали в том, что оно вызывает головную боль.

Упор в Google Glass делался на съемку фото и видео. Но качество по современным меркам было невысоким: пять мегапикселей и 720p соответственно. Гаджет управлялся через тачпад на дужке и голосовые команды. С помощью Google Glass можно было пользоваться гугл-поисковиком, переводить тексты, получать и отправлять сообщения (полностью надиктовывая), узнавать погоду и прокладывать маршруты. Одним из недостатков называли неавтономность: устройство работало только в связке со смартфоном. Кроме того, Google Glass не создавала полноценную дополненную реальность: текстовая и графическая информация просто появлялась на экране, никак не встраиваясь в окружающие «реальные декорации».

Помимо трудностей в использовании и дороговизны (на старте Google Glass стоили полторы тысячи долларов), скоро появились проблемы с приватностью: ничто не мешало записывать видео в публичных местах без согласия окружающих. The New York Times в 2015 году отмечала, что в США появилось множество заведений, от баров и кинотеатров до казино, которые запрещали вход в умных очках. Газета Guardian задалась вопросом, как Google Glass может изменить этикет и повседневные привычки, — в частности, не приведет ли постоянное ношение гаджета к дополнительному стрессу. Создатели хорошо понимали риски и поэтому запретили использовать в умных очках распознавание лиц, однако быстро нашлись хакеры, которые обошли эти правила.

В России с момента премьеры умных очков ходили слухи, что Google Glass могут попасть в категорию шпионских гаджетов и быть запрещены. Когда авторы блога об умных очках отправили соответствующий запрос в ФСБ, ведомство заявило, что устройство «не относится к категории технических средств для негласного получения информации». В 2014-м СМИ возобновили обсуждение возможного запрета, а ТАСС сообщил о планах кинотеатров не пускать зрителей с Google Glass.

Обсуждения Google Glass в России ни к чему не привели, поскольку в январе 2015 года корпорация неожиданно объявила об остановке производства. Затем проект возрождался в модели Google Glass Enterprise Edition (2017) и его второй версии (2019). В марте 2023 года разработки в этой области окончательно свернули — но рынок умных очков развивается до сих пор.

Следующей вехой в развитии дополненной реальности стал выпуск Microsoft HoloLens, гарнитуры смешанной реальности (она работала и в VR, и в AR). Ее прототип представили в 2015 году — после трехлетнего периода разработки, в том числе на базе устройства Kinect. В 2019-м вышла вторая версия очков, а третью, по слухам, положили на полку. Microsoft поддерживает уже выпущенные HoloLens, но теперь позиционирует их исключительно как инструмент для бизнеса.

В 2018 году Microsoft заключила контракт на поставку 100 тысяч гарнитур HoloLens американской армии, но вскоре полсотни сотрудников корпорации написали открытое письмо с требованием прекратить сотрудничество с военными. Хотя гарнитуры помогали в навигации, координации миссий и других боевых задачах, в 2022-м появились отчеты о головокружении, усталости глаз и других проблемах, с которыми солдаты сталкивались во время тестирования устройства.

По сравнению с Google Glass, Microsoft HoloLens — это гораздо более продвинутый гаджет. Устройство оснащено четырехъядерным процессором Intel, причем, помимо центрального и графического процессора, есть голографический — разработанный специально для продукта. У HoloLens четыре камеры (против одной у Google Glass), четыре микрофона, а также разнообразные датчики, включая акселерометр, гироскоп и магнитометр. Оптика устроена довольно сложно: в гаджете установлены прозрачные голографические линзы. Их задача — правильно преломить и отправить в глаза изображение с микродисплеев, расположенных по бокам. Пользователь может видеть окружающую обстановку с добавленной компьютерной графикой (производители называют ее «голограммами»).

Одним из главных разочарований первых пользователей HoloLens стало небольшое поле зрения. В отличие от шлемов виртуальной реальности, картинка в AR-устройстве больше напоминает дисплей обычного компьютера перед глазами. Журналисты PCWorld сравнили опыт использования HoloLens со взглядом сквозь окошко шлема, который надевают сварщики. Официально этот показатель не назывался, но, по данным сайта MSPowerUser, угол обзора составляет всего 30 градусов по горизонтали и 17,5 по вертикали (для сравнения: горизонталь видимой области в первых VR-шлемах Oculus Rift составляла 90 градусов, а в шлеме Valve Index она достигает 130). Во время презентации сотрудники Microsoft не упомянули о недостатке, что вызвало недовольство ряда журналистов. Издание Polygon назвало особенно вводящей в заблуждение демонстрацию игры в Minecraft в дополненной реальности, где ландшафт из кубиков создавался на обычном столе.

Во втором поколении AR-гарнитуры Microsoft увеличила поле зрения до 43 градусов по горизонтали и 29 по диагонали. Но до VR-шлемов по-прежнему было далеко, да и от прочих проблем создателей не спасло.

Третьим большим кейсом в современной истории дополненной реальности стал стартап Magic Leap. В первые годы продукт оставался в секрете (настолько, что выступление фаундера Рони Абовитца на конференции TEDx в 2012 году оказалось почти бессловесным перформансом с танцорами в костюмах разноцветных обезьян — пародией на фильм «2001 год: Космическая одиссея»). Только в 2014-м стало более-менее понятно, что Magic Leap проектирует AR-устройство. Тогда же Сундар Пичаи, будущий глава Google, входивший в совет директоров Magic Leap, заявил, что компания из Флориды произведет революцию в торговле, образовании и коммуникациях. СМИ с энтузиазмом писали о перспективном гаджете («Медуза» — не исключение). В 2015 году стартап начал выпускать демонстрационные ролики, якобы снятые внутри гарнитуры дополненной реальности. Особенно запомнился ролик (удаленный с официального канала, но оставшийся у других пользователей), на котором виртуальный кит выпрыгивал из пола в физкультурном зале под восхищенные возгласы школьников. Впоследствии часть СМИ назвала видео рекламным трюком, не имеющим никакого отношения к реальной гарнитуре.

В 2018 году разработчики из Флориды наконец показали устройство Magic Leap One: набор из AR-очков, переносного компьютера и контроллера за 2295 долларов. Доступных приложений на старте было немного — виртуальный чат, интернет-браузер, система для размещения цифровых объектов в реальном мире и еще несколько вариантов в цифровом магазине (все они работают на оригинальной операционной системе Lumen OS). В обзоре The Verge говорилось, что большинство приложений для гарнитуры Magic Leap похожи на мобильные игры или скопированы с HoloLens. Компания в первую очередь ориентировалась на разработчиков и креативщиков — официально устройство продавалось как Magic Leap One Creator Edition, — но привлечь их не смогла. В первые полгода создатели продали около шести тысяч гарнитур (Абовитц обещал инвесторам миллион реализованных устройств за год).

С технической точки зрения Magic Leap One была вполне конкурентоспособной. Устройство могло похвастаться затемненными линзами с волноводами (инженеры назвали их «фотоническими чипами») и встроенными динамиками. Поскольку процессор вынесли в отдельное устройство, очки получились достаточно легкими — всего 316 граммов. Аккумулятор работал без подзарядки в течение трех часов. Из недостатков СМИ отмечали, что гарнитура плохо справляется с избыточным или недостаточным освещением. И, так же как в случае с HoloLens, проблемным остался угол обзора — лишь 50 градусов. Журналист The Wired рассказал о всеобщем разочаровании коллег от того, что показанное устройство не соответствует обещаниям о революционном продукте.

В 2020 году, на волне пандемии, Magic Leap объявила о масштабных сокращениях. Рони Абовитц покинул пост руководителя. Тогда же стали появляться скептические статьи о компании. Тем не менее работа продолжилась, и в сентябре 2022 года прошла презентация AR-очков Magic Leap 2. Инженеры уменьшили размер и вес устройства, а также добавили камеры, сенсоры и функцию распознавания жестов. Стоимость гарнитуры выросла до 3299 доллара, а в полной комплектации (версия Developer Pro для разработчиков) — до 4099. Также появился корпоративный вариант почти за пять тысяч долларов. По мнению обозревателя Engadget, такие очки не подходили для обычных пользователей, но могли бы пригодиться в здравоохранении, промышленности и бизнесе.

Новый стандарт, судя по всему, задал шлем Oculus Quest — но и с ним далеко не все идеально

Хотя развитие VR шло по большому счету параллельно AR (создать полностью виртуальную реальность оказалось проще, чем смешанную), эти области пересеклись — в 2019 году, когда на рынке появилось первое поколение шлема Oculus Quest.

Стартап, купленный Марком Цукербергом в 2014 году за два миллиарда долларов и впоследствии ставший подразделением Meta, добавил в устройство режим Passthrough (можно перевести как «пропускание»): на экране просто демонстрировалась картинка с камер. Внешний мир представал в градациях серого, и функция объяснялась требованиями безопасности — она помогала владельцу гарнитуры не врезаться в стены и предметы мебели. Прозрачный режим работал и во втором поколении гаджета — Oculus Quest 2, представленном в 2020 году и позже переименованном в Meta Quest 2. Гарнитура вплотную подбиралась к устройствам смешанной реальности: пользователям были доступны отслеживание рук, браузер и физическая клавиатура.

Наконец, в 2022 году вышла гарнитура Meta Quest Pro, которая уже позиционировалась как шлем смешанной реальности: цветная картинка с камер была в высоком разрешении. Правда, AR-функции устройства подверглись критике — например, за зернистое изображение на экране, ограничения при использовании дополненной реальности и перебои виртуального офиса. Даже приглашения в иммерсивный чат нужно было посылать по почте. Функция персонального офиса работала чуть лучше, но трудности с чтением интернет-страниц, необходимость синхронизации с компьютером и усталость от ношения гарнитуры сильно осложняли жизнь. Кроме того, Quest Pro оценили в полторы тысячи долларов — втрое выше, чем Quest 2. Возможно, часть проблем исправят в предстоящем Quest 3, который должен совместить низкую цену (499 долларов) и улучшенную AR-функциональность. Презентация ожидается на конференции Meta Connect в конце сентября 2023 года.

Устройства линейки Quest, с одной стороны, задали новый стандарт и запустили гонку среди крупных производителей. С другой — скромные успехи гарнитур (именно как устройств смешанной реальности) далеки от обещаний, сделанных Цукербергом в 2021 году, когда он объявил о переименовании Facebook в Meta, инвестициях в смешанную реальность и видении метавселенной. Новая стратегия Цукерберга до сих пор остается спорным шагом и послужила поводом для множества шуток (особенно на фоне выхода Apple Vision Pro), но стала стимулом для развития AR-технологий.

Развитие дополненной реальности не ограничивалось очками и гарнитурами. Главный потребительский успех технологии — вышедшая в 2016 году игра Pokémon Go, которая не требовала ничего, кроме смартфона. Первые подобные игры появились еще в конце 2000-х — начале 2010-х, почти в одно время с Google Glass. Например, AR-игры Zombies, Run! (2012) и Ingress (2013), которая первой использовала данные GPS. Еще один нашумевший представитель жанра — Harry Potter: Wizards Unite (2019), где игроки в реальном мире искали мистические артефакты и волшебных существ. Разработки в области дополненной реальности на базе смартфонов и планшетов ускорились в 2017 году, после того как Apple представила ARKit — инструмент для программистов, облегчающий создание AR-приложений и внедренный в iOS 11. С помощью камеры, акселерометра и гироскопа iPhone и iPad научились определять положение пользователя, а также встраивать цифровые объекты в реальный мир. Большим подспорьем стало распознавание горизонтальных плоскостей в кадре — это позволяло виртуальным предметам и персонажам «стоять» на твердой поверхности.

ARKit стал первым шагом Apple в сторону собственных очков дополненной реальности — и спустя шесть лет этот «квест» был завершен. Еще в 2017 году специалист по дополненной реальности Мэтт Майсникс перечислил восемь пунктов, без которых AR-гарнитура от компании Тима Кука не может появиться:

• стильный внешний вид;
• качественная и компактная оптика;
• интуитивно понятная система управления, подразумевающая различные форматы ввода (жесты, движение глаз, голосовые команды, физические элементы на гарнитуре);
• мощный процессор;
• надежная система распознавания трехмерных объектов, которая позволит взаимодействовать с ними в дополненной реальности;
• возможность взаимодействия с другими пользователями, в том числе в рамках мультиплеерных AR-игр;
• удобная операционная система с интерфейсом, который будет обходиться без «рабочего стола»;
• наличие большого ассортимента AR-приложений и возможность выхода в интернет.

Майсникс предполагал, что Apple решит проблемы к 2021 году, но немного промахнулся — компания представила Vision Pro в июне 2023-го. Гарнитура уже отвечает большинству из этих критериев (особенно в части технических характеристик) — а также, судя по всему, прекрасно справляется с отслеживанием глаз, видеозвонками и веб-серфингом. Работа над отдельным App Store для шлема и созданием приложений дополненной реальности уже идет — Apple не просто так представила устройство на конференции разработчиков и дала им время, запланировав начало продаж аж на 2024 год. С первого дня владельцам гарнитуры будут доступны стриминговые сервисы Apple TV+ и Disney Plus.

Не менее важно партнерство с компанией Unity, разработчиком одноименного игрового движка — на его базе должны появиться приложения для Vision Pro. Множество разговоров, впрочем, ведется не о технических характеристиках, а о стоимости: Vision Pro будет в семь раз дороже, чем Quest 3 (три с половиной тысячи против 500 долларов). Ценник вполне может оказаться фактором, который перевесит все остальные и помешает широкому распространению гарнитуры.

Так, Марк Цукерберг после выхода Apple Vision Pro заявил подчиненным, что устройство от конкурентов его не особо впечатлило. По его словам, компания Тима Кука якобы не представила «никаких волшебных решений» по обходу «законов физики», которые бы уже не изучили специалисты Meta: «Apple использовала дисплеи с более высоким разрешением, но Vision Pro стоит в семь раз дороже [чем Quest 3] и требует столько энергии, что необходимо подключать аккумулятор на проводе». Тим Кук, напротив, счел стоимость Apple Vision Pro оправданной:

Сможет ли обычный человек позволить себе Apple Vision Pro? Я не знаю. Думаю, что люди сделают разный выбор в зависимости от финансового положения и иных факторов. Инженерные разработки и глубина технических решений поражают воображение. <…> Конечно, это не бесплатно. Это стоит определенных денег, но я считаю, что цена отличная.

Станет ли выход шлема от Apple поворотным моментом для индустрии

Незадолго до презентации нового продукта Apple издание The Verge предположило, что «дополненной реальности нужен iPhone-момент» — поворотный момент в развитии технологии, после которого устройство максимально быстро распространяется по миру. Для сравнения: именно так после выхода чат-бота ChatGPT профильные СМИ писали про искусственный интеллект. Теперь же технологические журналисты рассчитывают на то, что гарнитура Vision Pro учтет все недостатки предшественников, станет удобным пользовательским продуктом и создаст новые стандарты в индустрии.

The Verge также упомянула о подходе Apple «это просто работает» (it just works), согласно которому владелец устройства не должен заботиться о том, что происходит «под капотом». В отношении дополненной реальности этот принцип особенно важен, так как до сих пор владельцы AR-гарнитур нередко сталкивались с разнообразными трудностями и были вынуждены разбираться в сложном управлении, углах обзора и капризном поведении виртуальных объектов. С другой стороны, закрытая экосистема Apple означает навязывание пользователям и разработчикам своих правил.

Основное опасение специалистов заключается в том, что Vision Pro может не выйти на массовый рынок, повторив судьбу Microsoft HoloLens и Magic Leap, которые сейчас ориентированы в первую очередь на бизнес. Получилось ли у Тима Кука и его коллег создать «iPhone-момент» для индустрии дополненной реальности, станет ясно не раньше 2024 года, когда состоится презентация AR/VR-устройств от других компаний — а Vision Pro поступит в продажу.

«Медуза»