Компания объявила, что в VR-шлеме появится отслеживание рук, что позволит пользователям выполнять действия в виртуальной реальности без помощи ручных контроллеров.
Quest будет считывать положение пальцев с помощью встроенных монохромных камер. Благодаря ИИ и нейросетям, программа может узнать приблизительный размер рук и создать набор точек, по которым и будут отслеживаться движения пальцев и ладоней.
На шлеме Oculus Quest можно увидеть 4 камеры, которые до последнего времени использовались для «сканирования» комнаты и отслеживания положения шлема и контроллеров в пространстве, т.е. для того, чтобы перемещаться и двигать руками в виртуальном мире. Но теперь они будут еще и следить за каждым пальцем в отдельности, разрушая барьер между виртуальной реальностью и новичками, далекими от управления с помощью контроллеров. Более того, ваши руки всегда с вами, в них не садится батарейка, их не нужно брать в… руки и соединять в очками по Bluetooth. Проще говоря, для погружения не нужна дополнительная подготовка.
По сути, разработана система отслеживания рук в 26 степенях свободы для виртуальной реальности на основе данных, получаемых с четырех монохромных камер на шлеме.
Команда по компьютерному зрению разработала новый метод глубокого обучения, чтобы система понимала положение пальцев, используя только монохромные камеры Quest. Для трекинга не нужны активные датчики глубины, дополнительные датчики или дополнительные процессоры. Технология понимает форму руки и создаёт облако точек для точного представления движений руки и пальцев в виртуальной реальности.
Никаких изменений в железе нет, поэтому функция будет доступна после обновления софта для всех пользователей Oculus Quest в начале 2020 года.