Как работает технология отслеживания рук Oculus Quest

Oculus Quest ( как оригинальная, так и вторая модель(second model) ) имеют интересную историю добавления функций спустя долгое время после того, как оборудование было выпущено в дикую природу. Самым известным из них является Oculus Link , который эффективно превращает Quest в Oculus Rift . Эта функция оказалась настолько успешной, что Oculus решила прекратить выпуск всех своих гарнитур, кроме Quest . 

Отслеживание рук(Hand) не произвело такого фурора , как Oculus Link , но это по-прежнему замечательная функция с большим потенциалом. С отслеживанием рук вам вообще не нужны контроллеры. Ваши собственные руки оцифрованы в мире VR! 

Если у вас есть Quest или вы думаете о его покупке, стоит узнать, как работает отслеживание рук и что оно может привнести в виртуальную реальность.

Как Quest отслеживает мир

Oculus Quest использует инновационный подход к отслеживанию движения, который обычно называют отслеживанием « наизнанку», который сильно отличается от того, как отслеживание движения работало в прошлом. 

Когда в середине 2010-х были выпущены первые гарнитуры следующего поколения, в них использовалась одна или несколько внешних камер слежения. Специальные индикаторы слежения за движением на гарнитуре сообщали камере, где именно находится гарнитура по отношению к ней. С помощью умной математики эти данные можно преобразовать в очень точное отслеживание движения в 3D-пространстве. Именно так VR-гарнитуры премиум-класса предлагают «шесть степеней свободы», также известных как 6DoF. 

Quest перемещает датчик камеры на саму гарнитуру, в этом случае размещая их в стратегически важных точках устройства. Другие гарнитуры могут использовать еще больше камер для повышения точности. Эти четыре камеры позволяют Quest смотреть на реальный мир вокруг вас и определять ваше положение в этом пространстве. 

Именно это позволяет Quest быть автономным и портативным. Это также функция, которая в первую очередь позволяет отслеживать руки с помощью Oculus .

Стандартные сенсорные контроллеры Oculus(Standard Oculus Touch Controllers)

Чтобы понять, что делает отслеживание рук Oculus таким впечатляющим, мы должны начать с довольно обыденных физических контроллеров, которые поставляются с Oculus Quest . Каждый из них полностью отслеживается движением с помощью внутренних датчиков и специальных маркеров отслеживания движения, которые сообщают бортовым камерам Quest, где находятся контроллеры относительно гарнитуры.

Когда вы держите сенсорные контроллеры в виртуальной реальности, они отслеживаются с невероятной точностью. Используя кнопки захвата и триггера на контроллере, программное обеспечение VR может создать убедительный опыт захвата предметов и манипулирования ими. Это очень эффективно используется в таких играх, как Half-Life Alyx и The Climb , где захват предметов в мире виртуальной реальности является центральной частью игрового процесса. 

Сенсорные контроллеры(Touch Controllers) также обеспечивают тактильную обратную связь благодаря устройствам, называемым «линейными приводами», которые могут создавать физические ощущения столкновения с вещами, вибрации и других ощущений прикосновения. Стики и кнопки также предлагают знакомый способ перемещения по виртуальному пространству, когда вы физически не можете перемещаться в реальном пространстве.

Основным недостатком этого по сравнению с отслеживанием рук является то, что у вас есть крючки для рук. Вы можете выполнять простые щипковые движения своими виртуальными руками, но на этом все. Это не кажется серьезным ограничением, когда игры разрабатываются на основе контроллеров, но отслеживание рук открывает целый ряд новых возможностей в виртуальной реальности.

Что делает отслеживание рук Oculus

Когда включено отслеживание рук, вы увидите точное представление ваших реальных рук в мире виртуальной реальности. Каждое движение ваших пальцев или запястья будет отражаться в их виртуальных двойниках.

Отслеживание рук(Hand Tracking) больше не является бета-функцией Quest . Теперь он интегрирован в операционную систему и многие сторонние приложения Quest . Первым важным преимуществом здесь является то, что если вы просто хотите быстро надеть свой Quest и посмотреть фильм в виртуальной реальности или просмотреть магазин приложений, вам не нужно прилагать усилия, чтобы привязать сенсорные контроллеры. Используя только свои руки, вы можете получить доступ к системным меню и легко перемещаться.

Теперь, когда отслеживание рук является официальной функцией Quest , сторонние разработчики приложений могут добавлять ее в свои приложения. Уже есть ряд приложений, которые отлично используют функцию отслеживания рук Oculus , но мы уверены, что разработчики найдут еще много интересных способов, с помощью которых прямое отслеживание рук может изменить опыт виртуальной реальности.

Как работает отслеживание рук Oculus

Результаты отслеживания рук впечатляют, но как это работает на самом деле? Очевидно , что Oculus не собирается публиковать точные детали своего запатентованного решения, но нам известны задействованные технологии и принципы.

Во-первых, встроенные камеры необходимы для отслеживания рук. Они не только предоставляют стереоскопическую информацию о глубине, но и визуальные данные для обработки машинным зрением. Что такое машинное зрение? Это отрасль искусственного интеллекта(artificial intelligence) , в частности область, известная как машинное обучение. Это та же технология, которая позволяет приложению камеры вашего телефона быстро идентифицировать лица на фотографии.

По сути, программное обеспечение должно узнать, что в данных изображения, предоставленных камерой, является рукой, а что нет. Вероятно, это было сделано путем показа программному обеспечению тысяч и тысяч раздач в разных средах, пока оно не смогло надежно определить быстрый и эффективный способ отличить их от всего остального в вашей комнате.

Как только программное обеспечение сможет создавать точные виртуальные модели ваших рук в реальном времени, разработчики приложений смогут использовать их для чего угодно. Теперь вы можете точно манипулировать объектами в виртуальной реальности!

Опыт с ручным отслеживанием, который стоит попробовать

Если у вас есть Oculus Quest , вы можете попробовать функцию отслеживания рук Oculus без необходимости покупать какое-либо конкретное приложение. (Oculus)Как упоминалось выше, он работает в основной среде Quest , а также в нескольких сторонних приложениях. Когда дело доходит до стороннего опыта, стоит выделить несколько.

The Line — это рассказ стоимостью 4,99 доллара, который также служит идеальной технической демонстрацией для отслеживания рук. В нем рассказывается история масштабной модели города, который работает на часовом механизме и гусеницах. 

Наш герой Педро(Pedro) влюблен в Розу(Rosa) , но не может избежать своей судьбы. Пока однажды не случится что-то новое. Вы взаимодействуете с их миром масштабных моделей, используя свою руку, чтобы поворачивать ручки, дергать за рычаги и возиться со всем, что вы можете. Это линейный, короткий опыт, но он может продемонстрировать отслеживание рук в очень увлекательной форме примерно за 15 минут.

Waltz of the Wizard (9,99 долл. США) — еще одна отличная демонстрация технологии. Вы можете использовать свои руки, чтобы произносить заклинания и взаимодействовать практически со всем в виртуальном мире вокруг вас. Если вы когда-нибудь хотели воплотить в жизнь фантазию волшебника, который может стрелять молниями из своих рук, эта игра для вас!

Что вы думаете об отслеживании рук в Quest ? Ты это пробовал? Какие игры посоветуете? Поделитесь(Share) своим мнением в комментариях.



Аркадий Степанов

About the author

Я веб-разработчик с опытом работы более 10 лет. Я специализируюсь на разработке Chrome OS и работал над широким спектром проектов от небольших стартапов до компаний из списка Fortune 500. Я также являюсь экспертом по учетным записям пользователей и семейной безопасности и разработал несколько успешных приложений для Android.


Related posts