Реальная виртуальная реальность: Чего разработчикам не хватает для счастья?
Множество компаний стремятся развить тот или иной аспект VR – «железо», приложения, контент-платформы. Но метазадача VR как концепции в современной мобильной реальности весьма проста – коренным образом изменить способ нашего взаимодействия с миром.
В 2016 году виртуальная реальность наконец начала превращаться из мечты гиков в коммерчески многообещающую концепцию. Когда в 2013 году появились первые образцы Oculus Rift, стало ясно, что вскоре можно будет говорить о реальном воплощении чаяний фанатов научной фантастики и появлении общедоступных решений. Из жутких конструкций, опутанных проводами, VR-гарнитуры превратились в сравнительно эргономичные носимые устройства, а вскоре тренд подхватили известные участники мобильного рынка. Китайские контент-гиганты Alibaba, Tencent и Baidu с начала 2016 года вложили в 200 VR-стартапов страны более $1,1 млрд. Qualcomm объявил о том, что процессор Snapdragon 820 «заточен» под приложения виртуальной реальности и выкатил SDK и API-интерфейсы для их разработки. Известные мобильные бренды, такие как HTC и Samsung развивают свои решения – в частности, гарнитуру HTC Vive и Samsung Gear, а Sony работает над платформой Project Morpheus, которая будет интегрирована в Sony PS4.
Instagram-блогер Маша Миногарова и шлем VR компании LeEco
Множество гигантских корпораций и небольших стартапов стремятся развить тот или иной аспект VR – «железо», приложения, контент-платформы. Но метазадача VR как концепции в современной мобильной реальности весьма проста (и одновременно очень сложна) – коренным образом изменить способ нашего взаимодействия с миром.
Главным образом, изменится место пользователя в цепочке потребления контента: включение зрителя в виртуальную реальность и имитация его присутствия среди происходящего сделает просмотр фильмов, спортивных мероприятий и концертов более реалистичным. По этой же причине более эффективным станет процесс обучения – школьники смогут своими глазами увидеть другие страны на уроках географии, а профессионалы – быстрее отточить навыки на симуляторах.
Казалось бы, все прекрасно – но есть несколько «но». Зрение и другие органы чувств будут работать не так, как при просмотре контента на экране. Погружение в виртуальную реальность активизирует чувственное восприятие, переносит пользователя в другое место, одновременно позволяя оставаться в настоящем, т.е. создается ощущение физического присутствия в воображаемых мирах. Для того чтобы погружение получилось максимально реалистичным, и наше сознание достоверно «обманулось», разработчикам VR-устройств нужно решить три основные задачи: обеспечить высочайшее качество визуального восприятия, реалистичный звук и интуитивность взаимодействия с контентом.
Реалистичное изображение
Для того, чтобы изображение получилось максимально приближенным к реальности, необходимо обеспечить максимальную пиксельную плотность изображения, сделать его сферическим и объемным, учитывая строение глаза и используя стереоскопический дисплей, а также адаптировать его для восприятия при помощи технологии так называемого адаптивного фовеолярного рендеринга.
Подобные требования к техническим характеристикам объясняются особенностью строения зрительной системы человека. Для погружения в виртуальную реальность все поле нашего обзора должно быть «охвачено» изображением, в противном случае мы не поверим, что на самом деле присутствуем в картинке. Человеческий глаз благодаря фовее (центральному углублению сетчатки глаза) обеспечивает достаточно широкий угол обзора, поэтому мы автоматически обращаем внимание на пиксельную решетку изображения. В VR-гарнитуре расстояние между дисплеем и зрачком минимально, а двояковыпуклые линзы увеличивают изображение на экране таким образом, что картинка кажется нам реальностью. Так как VR-дисплей проецирует изображение на все поле зрения, пиксельная плотность должна быть максимальной и способствовать эффекту присутствия, иначе наш глаз сразу заметит отдельные пиксели и состоящую из них пиксельную решетку, и тогда ощущение присутствуя сразу исчезнет.
Технология адаптивного фовеолярного рендеринга (Foveated Rendering) как раз призвана избавиться от эффекта пиксельной решетки за счет снижения остроты периферийного зрения, проецируя изображение с высоким разрешением именно в точку, куда направлен зрачок, и проецируя изображение низкого разрешения в другие точки обзора, что позволяет размывать пиксельную структуру картинки.
Реалистичный звук
Так как в восприятии виртуальной реальности участвуют не только глаза, разработчикам стоит думать и о том, как обеспечить эффект присутствия при помощи правильной обработки звука.
В виртуальной реальности звук должен воспроизводиться динамически в зависимости от движения головы и расположения источника звука. Например, если в виртуальной реальности над вами пролетает самолет, то звук от него будет воспроизводиться в соответствии с траекторией полета и вашими движениями. Так называемое позиционное звучание основывается на слуховой функции человека: передаточная функция слуховой системы человека (head related transfer function – HRTF) моделирует то, как мы слышим и воспринимаем звук, а также учитывает физиологию — расположение, форму и размер ушной раковины.
Реалистичность звука также достигается за счет реверберации. В реальной жизни звук отражается и взаимодействует с окружающей средой. Функция реверберации звука (то же эхо), имитирует подобное взаимодействие, учитывая частоту звуковых колебаний, поглощение звука, площадь отражательной поверхности и всего помещения.
Интуитивность взаимодействия
Теперь, когда ясно, как добиться надлежащего качества звучания и изображения, нужно подумать о том, какие мелочи (а на самом деле очень важные условия) сделают виртуальную реальность максимально реалистичной.
Разработчику нужно учесть метод ввода: основной метод ввода VR-гарнитуры основывается на движениях — мы поворачиваем голову, оглядываемся, смотрим по сторонам — не задумываясь, на интуитивном уровне. Есть и альтернативные методы — жесты, голос, стандартная панель управления. На данный момент разработчики не пришли к единому мнению, какой же из способов единственно верный.
Также, поскольку VR-гарнитура является носимым устройством, непосредственно соприкасающимся с кожей головы, ни один из ее элементов, контактирующих с кожей, не должен нагреваться, иначе вся магия пропадет. Еще одно критически важное условие – полностью беспроводная конструкция, чтобы пользователь мог свободно пользоваться гарнитурой в любом месте и не быть привязанным к розеткам или компьютеру.
Для того чтобы в компактном носимом устройстве, имеющем ограничения по мощности и нагреву требуемые условия выполнялись, требуется эффективный процессор, способный как обеспечить необходимую четкость изображения и практически мгновенный рендеринг картинки (например, при повороте головы), так и эффективность (иначе устройство будет сильно греться и быстро разряжаться). Так называемая технология гетерогенных вычислений позволяет распределять различные типы вычислительной нагрузки на различные модули, способные обработать свой «кусок» нагрузки самым экономичным для системы образом.
В качестве примера: благодаря данной технологии процессор компании Qualcomm Snapdragon 820, может обеспечивать задержку motion to photon менее 18 мс, поддерживает панорамное видео 360° в разрешении 4K при кадровой частоте 60 fps, трехмерный звук и еще одно условие реалистичности — высокоскоростное беспроводное соединение, то есть стандарты LTE Advanced, 802.11ac Wi-Fi и 802.11ad Wi-Fi, которые позволяют осуществлять быструю загрузку и плавную потоковую передачу.
VR-гарнитуре необходимо учитывать, как движется пользователь, чтобы подстраивать и адаптировать картинку и звук, достигая максимальной реалистичности. Движение определяется тем, какое количество степеней свободы в нем содержится: существуют 3-кратная степень подвижности (3-DOF) и 6-кратная степень подвижности (6-DOF). Пользовательский интерфейс требует точного отслеживания движения, чтобы можно было беспрепятственно перемещаться в виртуальном мире.
Например, при повороте головы точный датчик движений спроецирует положение с соответствующими визуальными и аудиоэффектами. Аналогично, если положение головы не меняется, то и видеоряд не должен двигаться, в противном случае создается впечатление, что вы покачиваетесь в лодке – а это ведет к еще одной преграде на пути всеобщего принятия виртуальной реальности – эффекту параллакса, при котором о желании находиться в виртуальном мире говорить нечего: постоянно ощущение морской болезни вам гарантировано.
Еще один краеугольный камень обработки изображения в виртуальной реальности – минимальное время задержки. Любую задержку в изображении или звучании пользователь сразу уловит, а это моментально разрушает эффект присутствия, плюс подобные задержки вызывают неприятные симптомы в виде головокружения и тошноты.
Система снижения время задержки необходима для стабилизации воспроизведения виртуального контента в тот момент, когда пользователь находится в движении. Одной из трудностей для разработчиков VR представляется длительность момента между поступлением сигнала о движении и обновлением изображения на дисплее. Для поддержания эффекта присутствия общее время задержки не должно превышать 20 миллисекунд . Объективно оценивая данную задачу, стоит учитывать что дисплей, работающий на частоте обновления 60 Гц обновляется каждые 17 мс, а дисплей работающий на частоте 90 Гц, обновляется каждые 11 мс. Перед тем, как дисплей обновится, требуется несколько шагов обработки данных. Путь непрерывного обновления включает в себя проверку, соотношение данных сенсоров, воспроизведение, передачу/расшифровку, рендеринг изображения и, наконец, само обновление дисплея.
Чтобы свести к минимуму задержки, требуется технология непрерывного обновления, способная сократить задержки каждой из задач обработки. Решение такой проблемы требует соответствующего оборудования, программного обеспечения, сенсоров и дисплея, работающих синхронно в связке.
VR-технологиями уже никого не удивишь, но РЕАЛЬНАЯ виртуальная реальность все еще будоражит умы разработчиков. Некоторые условия, необходимые для обеспечения эффекта полного погружения, уже могут быть выполнены, а некоторые не до конца осуществимы в данный момент. Но прогресс не стоит на месте, и закон Мура все еще действует. Есть и тенденции, которые говорят в пользу довольно скорого и вероятного проникновения VR в нашу жизнь:
Во-первых, время, требуемое на реализацию новых технологий в коммерческих устройствах, сокращается: инновационные разработки быстро удешевляются и становятся доступны в коммерческих устройствах. Во-вторых, благодаря ускорению инновационного процесса производители имеют обыкновение обновлять модельный ряд мобильных устройств хотя бы раз в год. В третьих, есть еще одна сила: любопытные пользователи, которые не против постоянно испытывать новые приложения и устройства, а смартфоны уже давно стали предметом массового потребления.
Пока же можно оценить первые попытки разработчиков на ниве VR и ждать истинного расцвета этой любопытной технологии, которая, возможно, изменит принципы восприятия реального мира и придет во все сферы нашей жизни – от 3D-игр до фитнеса.
![279827Реальная виртуальная реальность: Чего разработчикам не хватает для счастья? 279827Реальная виртуальная реальность: Чего разработчикам не хватает для счастья?](https://beta.dgl.ru/wp-content/uploads/2024/06/onyx2-768x512.jpg)
![279727Реальная виртуальная реальность: Чего разработчикам не хватает для счастья? 279727Реальная виртуальная реальность: Чего разработчикам не хватает для счастья?](https://beta.dgl.ru/wp-content/uploads/2024/06/sams0-768x512.jpg)
![279542Реальная виртуальная реальность: Чего разработчикам не хватает для счастья? 279542Реальная виртуальная реальность: Чего разработчикам не хватает для счастья?](https://beta.dgl.ru/wp-content/uploads/2024/05/h2.jpg-1-768x493.webp)
![279134Реальная виртуальная реальность: Чего разработчикам не хватает для счастья? 279134Реальная виртуальная реальность: Чего разработчикам не хватает для счастья?](https://beta.dgl.ru/wp-content/uploads/2024/05/ouk2.jpg-1-768x510.webp)