Facebook показала концепт нейронного контроллера для устройств виртуальной и дополненной реальности

Компания Facebook предложила взглянуть на свои планы по новому интерфейсу дополненной реальности, основанному на технологии стартапа CTRL-Labs, который она приобрела в 2019 году.

В видео демонстрируются браслеты, в которых используется электромиография (ЭМГ) для преобразования нейронных сигналов в действия — например, ввод текста, смахивание пальцем или управления в играх, таких как симулятор стрельбы из лука. Браслеты также предлагают тактильную обратную связь. Таким образом, они представляют собой систему, которая более отзывчива, чем базовые варианты отслеживания рук.

В простейшем случае браслеты будут отслеживать основные жесты, которые Facebook называет «кликами». Такие жесты отслеживаются с помощью нервных сигналов, проходящих по рукам, а не посредством визуальных датчиков, установленных на гарнитуре.

Однако, теоретически, браслеты могут делать намного больше. Например, они могут отслеживать нервные сигналы, которые мозг посылает пальцам во время набора текста, так что пользователь сможет печатать на виртуальной клавиатуре без физических кнопок. И, в отличие от обычной клавиатуры, браслеты могут постепенно адаптироваться к тому, как печатает пользователь. Так что они могут «изучить», как двигаются пальцы при совершении типичных опечаток, а затем будут автоматически исправлять их. В дальнейшем Facebook хочет ещё больше упростить взаимодействие с пользователем, полагаясь на искусственный интеллект и очки дополненной реальности.

Даже в своих более простых итерациях эти контроллеры обеспечат интерфейс, который пользователь может носить постоянно, а не брать в руки и удерживать, как нынешние контроллеры Oculus Touch VR.

Тактильные ощущения являются важным нововведением браслетов. Сейчас эта функция изучается в различных прототипах. Например, один из них предусматривает использование восьми пневматических сильфонов, размещённых вокруг каждого запястья. Они могут надуваться или спускаться для формирования заданных ощущений. Другой метод основан на вибрации и «новом механизме сжатия запястья».

Facebook уточняет, что, хотя браслеты считывают нейронные сигналы, «это не похоже на чтение мыслей». Фактически, мозг обрабатывает информацию и различные мысли. Но человек решает, в соответствии с какими из этих мыслей ему нужно действовать. После этого мозг посылает сигналы рукам и пальцам, предлагая им двигаться определённым образом для выполнения требуемых действий, таких как набор текста и смахивание. Речь идет о декодировании этих сигналов на запястье – действий, которые человек уже решил выполнить. Эти сигналы трансформируются в цифровые команды для устройства. В то же время, CTRL-Labs по-прежнему характеризует эту технологию как интерфейс мозг-компьютер.

Источник