Реальная виртуальная реальность: Чего разработчикам не хватает для счастья?

Главным образом, изменится место пользователя в цепочке потребления контента: включение зрителя в виртуальную реальность и имитация его присутствия среди происходящего сделает просмотр фильмов, спортивных мероприятий и концертов более реалистичным. По этой же причине более эффективным станет процесс обучения – школьники смогут своими глазами увидеть другие страны на уроках географии, а профессионалы – быстрее отточить навыки на симуляторах.
Казалось бы, все прекрасно – но есть несколько «но». Зрение и другие органы чувств будут работать не так, как при просмотре контента на экране. Погружение в виртуальную реальность  активизирует чувственное восприятие,  переносит пользователя  в другое место, одновременно позволяя оставаться в настоящем, т.е. создается  ощущение физического присутствия в воображаемых мирах. Для того чтобы  погружение получилось максимально реалистичным,  и наше сознание достоверно «обманулось», разработчикам  VR-устройств нужно решить три основные задачи: обеспечить высочайшее качество визуального восприятия, реалистичный звук и интуитивность взаимодействия с контентом.

Реалистичное изображение

Для того, чтобы изображение получилось максимально приближенным к реальности, необходимо обеспечить максимальную пиксельную плотность изображения, сделать его сферическим и объемным, учитывая строение глаза и используя стереоскопический дисплей, а также адаптировать его для восприятия при помощи технологии так называемого адаптивного фовеолярного рендеринга.                 

Подобные  требования к техническим характеристикам  объясняются  особенностью строения зрительной системы человека. Для погружения в виртуальную реальность  все поле  нашего обзора должно быть «охвачено» изображением, в противном случае мы не поверим, что на самом деле присутствуем в картинке. Человеческий глаз благодаря фовее (центральному углублению сетчатки глаза) обеспечивает достаточно широкий угол обзора, поэтому  мы  автоматически обращаем внимание на  пиксельную решетку изображения.  В VR-гарнитуре  расстояние между дисплеем и зрачком  минимально, а двояковыпуклые линзы увеличивают изображение на экране таким образом, что  картинка  кажется нам реальностью. Так как VR-дисплей проецирует изображение на все поле зрения,  пиксельная плотность должна быть максимальной и  способствовать эффекту присутствия, иначе наш глаз сразу заметит отдельные пиксели и состоящую из них пиксельную решетку, и тогда ощущение присутствуя сразу исчезнет. 

Технология адаптивного фовеолярного рендеринга (Foveated Rendering) как раз призвана избавиться от эффекта пиксельной решетки за счет снижения  остроты периферийного зрения,  проецируя изображение  с высоким разрешением именно в точку, куда направлен зрачок, и проецируя изображение низкого разрешения в другие точки обзора, что позволяет  размывать пиксельную структуру картинки.

Реалистичный звук

Так как в восприятии виртуальной реальности участвуют не только глаза, разработчикам стоит думать и о том, как обеспечить эффект присутствия при помощи правильной обработки звука. 
В виртуальной реальности звук  должен воспроизводиться динамически в зависимости от  движения головы и расположения источника звука. Например, если в виртуальной реальности над вами пролетает самолет, то звук от него будет воспроизводиться в соответствии с траекторией полета и вашими движениями. Так называемое позиционное звучание основывается на слуховой функции человека: передаточная функция слуховой системы человека (head related transfer function – HRTF) моделирует то, как мы слышим и воспринимаем звук, а также учитывает физиологию — расположение, форму и размер ушной раковины. 

Реалистичность звука также достигается за счет реверберации. В реальной жизни звук отражается и взаимодействует с окружающей средой.  Функция реверберации звука (то же эхо), имитирует  подобное взаимодействие, учитывая частоту звуковых колебаний,  поглощение звука, площадь  отражательной поверхности и всего помещения.

Интуитивность взаимодействия

Теперь, когда ясно, как добиться надлежащего качества звучания и изображения, нужно подумать о том, какие мелочи (а на самом деле очень важные условия) сделают виртуальную реальность максимально реалистичной.
Разработчику нужно учесть метод ввода: основной  метод ввода VR-гарнитуры основывается на движениях  — мы поворачиваем голову, оглядываемся, смотрим по сторонам — не задумываясь, на интуитивном уровне. Есть и альтернативные методы — жесты, голос,  стандартная панель управления. На данный момент  разработчики не пришли к единому мнению, какой же из способов единственно верный.

Также, поскольку VR-гарнитура является носимым устройством, непосредственно соприкасающимся с кожей головы, ни один из ее элементов, контактирующих с кожей, не должен нагреваться, иначе вся магия пропадет. Еще одно критически важное условие – полностью беспроводная конструкция, чтобы пользователь мог свободно пользоваться гарнитурой в любом месте и не быть привязанным к розеткам или компьютеру.  

Для того чтобы в компактном носимом устройстве, имеющем ограничения по мощности и нагреву требуемые  условия выполнялись, требуется эффективный процессор, способный как обеспечить необходимую четкость изображения и практически мгновенный рендеринг картинки (например, при повороте головы), так и эффективность (иначе устройство будет сильно греться и быстро разряжаться). Так называемая технология гетерогенных вычислений позволяет распределять различные типы вычислительной нагрузки на различные модули, способные обработать свой «кусок» нагрузки самым экономичным для системы образом.

В качестве примера: благодаря данной технологии процессор компании Qualcomm Snapdragon 820, может обеспечивать задержку motion to photon менее 18 мс, поддерживает панорамное видео 360° в разрешении 4K при кадровой частоте 60 fps, трехмерный звук и еще одно условие реалистичности —   высокоскоростное беспроводное соединение, то есть стандарты LTE Advanced, 802.11ac Wi-Fi и 802.11ad Wi-Fi, которые позволяют осуществлять  быструю загрузку и плавную потоковую передачу.

VR-гарнитуре необходимо учитывать, как движется пользователь, чтобы подстраивать и адаптировать картинку и звук, достигая максимальной реалистичности. Движение определяется тем, какое количество степеней свободы  в нем содержится: существуют 3-кратная степень подвижности (3-DOF) и 6-кратная степень подвижности (6-DOF). Пользовательский интерфейс требует точного отслеживания движения, чтобы можно было беспрепятственно перемещаться в виртуальном мире.

Например, при повороте  головы точный  датчик движений  спроецирует  положение с  соответствующими  визуальными и аудиоэффектами.   Аналогично, если положение головы не меняется, то и видеоряд не должен двигаться, в противном случае создается впечатление, что вы покачиваетесь в лодке – а это ведет к еще одной преграде на пути всеобщего принятия виртуальной реальности – эффекту параллакса, при котором о желании находиться в виртуальном мире говорить нечего: постоянно ощущение морской болезни вам гарантировано.

Еще один краеугольный камень обработки изображения в виртуальной реальности – минимальное время задержки. Любую задержку в изображении или звучании пользователь сразу уловит, а это моментально  разрушает эффект присутствия, плюс подобные  задержки вызывают  неприятные симптомы в виде головокружения и тошноты.

Система снижения время задержки  необходима для стабилизации воспроизведения виртуального контента в тот момент, когда пользователь находится в движении.  Одной из трудностей для разработчиков  VR представляется длительность момента между поступлением сигнала о движении  и обновлением изображения на дисплее. Для поддержания  эффекта присутствия  общее время задержки не должно превышать 20 миллисекунд . Объективно оценивая данную задачу, стоит учитывать что дисплей, работающий на частоте обновления 60 Гц обновляется каждые 17 мс, а дисплей работающий  на частоте 90 Гц, обновляется каждые 11 мс.   Перед тем, как дисплей обновится, требуется несколько  шагов обработки данных.  Путь  непрерывного обновления включает в себя проверку, соотношение данных сенсоров, воспроизведение, передачу/расшифровку, рендеринг изображения и, наконец, само обновление дисплея.

Чтобы свести к минимуму задержки, требуется технология  непрерывного обновления, способная сократить задержки  каждой из задач обработки. Решение такой проблемы  требует соответствующего оборудования, программного обеспечения, сенсоров и  дисплея, работающих  синхронно в связке.

VR-технологиями уже никого не удивишь, но РЕАЛЬНАЯ виртуальная реальность все еще будоражит умы разработчиков. Некоторые условия, необходимые для обеспечения эффекта полного погружения, уже могут быть выполнены,  а некоторые не до конца осуществимы в данный момент. Но прогресс не стоит на месте, и закон Мура все еще действует. Есть и тенденции, которые говорят в пользу довольно скорого и вероятного проникновения VR в нашу жизнь:
Во-первых, время, требуемое на реализацию новых технологий в коммерческих устройствах, сокращается: инновационные разработки быстро удешевляются и становятся доступны в коммерческих устройствах. Во-вторых, благодаря ускорению инновационного процесса производители имеют обыкновение обновлять модельный ряд мобильных устройств хотя бы раз в год. В третьих, есть еще одна сила: любопытные пользователи, которые не против постоянно испытывать новые приложения и устройства, а смартфоны уже давно стали предметом массового потребления.

Пока же можно оценить первые попытки разработчиков на ниве VR и ждать истинного расцвета этой любопытной технологии, которая, возможно, изменит принципы восприятия реального мира и придет во все сферы нашей жизни – от 3D-игр до фитнеса.