К счастью, этому предсказанию не суждено было сбыться в полной мере. Однако если бы не было той 30-тонной машины ENIAC, то не известно, какими были бы современные персональные компьютеры и существовал бы сейчас такой термин, как виртуальная реальность.
Виртуальная реальность (ВР) — одно из немногих понятий в современной науке, допускающее различные ассоциации и толкования. Некоторые воспринимают виртуальную реальность как совокупность специальных технологий и устройств вроде шлемов-дисплеев или перчаток. Другие получают представление о ВР из художественной литературы, игр и фильмов. Для третьих она ассоциируется со стереокино. В общем, существует множество различных мнений.
Так давайте же разберемся, что понимают профессионалы под словами «виртуальная реальность». Каковы основные характеристики ВР, какие у нее достоинства и недостатки, каким образом она используется.
В первую очередь нужно заметить, что специалисты редко употребляют термин «виртуальная реальность». Профессионалы, работающие в этой области, чаще используют такое понятие, как «виртуальное окружение», т.е. некая обобщенная среда, охватывающая многие аспекты организации взаимодействия реального мира человека с виртуальным пространством, синтезированным компьютером. Чтобы упростить понимание, имеет смысл дать некое общее определение термина «виртуальная реальность», которое в дальнейшем будет дополняться новым смыслом. Итак, виртуальная реальность — это технология, которая построена на обратной связи между человеком и миром, синтезированным компьютером, а также способ, с помощью которого человек визуализирует цифровой мир, манипулирует им и взаимодействует с компьютером.
К визуализации можно отнести сгенерированные на компьютере визуальные, слуховые и другие воспринимаемые чувствами атрибуты компьютерного мира. Это может быть моделирование в системах автоматизации проектирования (САПР), научная симуляция или информационные базы данных. Пользователь имеет возможность взаимодействовать с объектами и напрямую управлять ими в синтезированном цифровом пространстве. Сейчас многие виртуальные миры создаются в соответствии с законами природы и наполняются различными видами анимации, благодаря чему создается впечатление, будто они максимально приближены к реальности.
Среда ВР отличается от простого взаимодействия пользователя и компьютера, главным образом, особым типом интерактивности в реальном времени.
В 1965 г. Иван Сазерленд впервые предложил концепцию «окно в мир», или «настольную ВР» (Desktop VR or a Window on a World), где роль дисплея играл компьютерный монитор. Разновидность такой системы, разработанная позднее, погружает силуэт пользователя в синтезированное 2D-приложение и следит за тем, как он взаимодействует с виртуальным миром.
Типы виртуальной реальности
Чтобы разобраться, что же такое интерактивность, рассмотрим типы виртуальной реальности.
Пассивная виртуальная реальность (passive virtual reality) — автономное графическое изображение и его звуковое сопровождение, не управляемые человеком.
Обследуемая виртуальная реальность (exploratory virtual reality) — возможность выбора вариантов сценариев изображения и звука, предоставляемых пользователям в ограниченном количестве.
Интерактивная виртуальная реальность (interactive virtual reality) — виртуальная среда, которой пользователь может сам управлять и манипулировать по законам синтезированного мира с помощью специальных устройств, обладающих функцией трекинга.
Трекинг в ВР — это особая технология, лежащая в основе взаимодействия человека с виртуальным миром. Она направлена на точное определение координат и позиции реального объекта (например, руки, головы или устройства) в виртуальной среде с помощью трех координат (x, y, z) его расположения и трех углов (a, b, g), задающих его ориентацию в пространстве.
Конечно, с точки зрения пользователя, наиболее интересна та система, с которой он сможет взаимодействовать практически неограниченно. Существует несколько типов интерактивной ВР.
Наиболее всеобъемлющая система интерактивной ВР — иммерсионная (англ. immerse — погружаться). Она обеспечивает как частичное, так и полное погружение пользователя в виртуальную среду. В зависимости от своего назначения и степени погружения пользователя такая система оснащается соответствующим оборудованием. Сегодня одним из самых дорогих, но и самых эффективных способов погружения признана сложная дисплейная система из нескольких экранов, например такая, как CAVE (Cave Automatic Virtual Environment — замкнутая проекционная система в виде комнаты, где пол и три или все четыре стены служат активными экранами) или i-Cone (большая проекционная система с коническим экраном), образующая замкнутое виртуальное пространство.
Еще один тип интерактивных систем ВР — расширенная и смешанная реальность (augmented and mixed reality), т.е. реальность, дополненная виртуальной составляющей. В этом случае компьютерные данные накладываются на объекты реального мира. Так, хирург может делать операцию на головном мозге, пользуясь данными компьютерной томографии или УЗИ, наложенными поверх изображения реального головного мозга в реальном времени с помощью специального полупрозрачного дисплея или шлема. Или, к примеру, пилот видит сгенерированные компьютером карты полета через щиток шлема или на дисплеях в кабине.
Полноценная система ВР должна уметь распознавать и идентифицировать реальный объект в своем компьютерном пространстве, отслеживать его перемещения. Кроме того, она должна распознавать сигналы и реагировать на действия объекта так, как заложено в программе. И здесь возникает логичный вопрос: что такое компьютерная мышь? Не является ли она устройством со встроенной системой трекинга? Увы, ничто не связывает нас с системой виртуальной реальности.
Первую компьютерную мышь разработал в 1968 г. Дуглас Энгельбарт, чтобы организовать взаимодействие с графическим монитором: «Сначала у нас был большой и тяжелый шар для трекинга, больше похожий на пушечное ядро. Потом было несколько приспособлений со стержнями на конце, которые нужно было передвигать. Еще у нас была световая панель, которую следовало держать очень близко к экрану, чтобы компьютер мог видеть ее… В итоге именно мышь дала лучшие результаты на скорость и точность управления. Тогда мы называли ее индикатором x-y-позиции. Кто-то из нашей команды в шутку назвал устройство «мышью»… Мы, конечно, собирались придумать ей более красивое имя, но так и не придумали».
Итак, компьютерная мышь построена на принципе относительного перемещения в плоской системе x-y-координат. К устройствам того же типа относятся джойстики, трекболы и т.п. Для них движение курсора на экране определяется относительным перемещением и должно быть масштабировано с учетом размера экрана.
Следовательно, система не имеет ни малейшего понятия о местоположении мыши в реальном мире: лежит ли она на коврике, просто на столе или где-то еще. Не требуется знать ее координаты и ориентацию в пространстве, так как это не влияет на реакцию системы.
Однако нужно заметить, что при употреблении дополнительных пользовательских интерфейсов возможности компьютерной мыши легко расширить, чтобы можно было работать в трехмерном компьютерном пространстве. Сейчас на рынке представлены трекболы Spacemouse, Dimentor Inspector и др. Все они имеют в дополнение к привычной комплектации вспомогательные кнопки, шарики и колесики. Это позволяет пользователю работать сразу в трех направлениях по осям X, Y и Z и даже вращать объекты. Но это не делает ни мышь, ни трекбол полноценными устройствами виртуальной реальности с функцией трекинга.
А теперь рассмотрим некоторые периферийные устройства с функцией трекинга, разработанные специально для систем ВР.
Виртуальная перчатка, к примеру, приобрела довольно большую популярность. На каждом ее пальце закреплены отдельные сенсоры или маркеры, а также имеется одно общее электромагнитное или ультразвуковое устройство для трекинга. Также были сконструированы костюмы для отслеживания комплекса движений и экзоскелеты — механические каркасы, которые надеваются на руку или тело человека, когда нужно обеспечить управление транспортным средством.
Шлем-дисплей чаще всего встречается в системах ВР. Причем это может быть как шлем, так и очки со встроенными мини-дисплеями, работающие в стереоскопическом режиме.
Интерактивная указка — беспроводное устройство, весьма напоминающее обычную указку. Оно удаленно работает с 2D- и 3D-приложениями ВР. На указке закреплено несколько маркеров. Их положение отслеживается, и данные передаются в систему. Указка не так функциональна, как перчатка, но для манипуляции и навигации ее возможностей достаточно.
Типы трекинга
Система трекинга для ВР представляет собой некую копию систем позиционирования и ориентации, существующих в природе. «Естественные» системы трекинга в реальном мире — органы чувств человека. Так, зрение помогает человеку определить, где он находится относительно других предметов и людей.
Если же кто-то лишен способности видеть, то у него, чтобы ориентироваться в пространстве, включается слух. Летучим мышам и дельфинам ультразвук позволяет заметить мельчайшее препятствие и определить расстояние до него.
Вероятно, многие слышали о терменвоксе — музыкальном инструменте, звуки которого зависят от того, каким образом нарушено стационарное электромагнитное поле между двумя пластинами. Если внести руку в поле терменвокса, то можно извлечь различные звуки. Их высота и тембр будут зависеть от положения руки в пространстве между пластинами. Это очень чувствительный инструмент, и далеко не каждый способен научиться играть на нем. На таком же принципе основан электромагнитный трекинг.
В общем, сама природа подсказывает способы, которыми искусственно созданный виртуальный мир может ориентироваться в реальном.
Для реализации трекинга применяются электромагнитные, ультразвуковые, инерционные и оптические системы.
Оптический трекинг
Работа систем оптического трекинга основана на том же принципе, что и стереоскопическое зрение человека. Поскольку человек видит двумя глазами, он способен определить, на каком расстоянии находится объект и как он ориентирован.
Мало создать систему трекинга для ВР, например установив пару камер, чтобы смоделировать стереоскопическое зрение человека. Нужно научить ее правильно определять расстояние до объекта и положение того в пространстве. Грудные дети, пытаясь взять предмет рукой, «калибруют» свое зрение, соотнося расположение предмета с вытянутой рукой.
Итак, любую систему трекинга нужно настроить и откалибровать. Задача калибровки системы трекинга ВР — это установление взаимно однозначной связи между координатами в реальном и виртуальном мирах, чтобы человек мог взять виртуальный предмет своей рукой или реальным пинцетом.
Если есть две камеры, то сначала нужно провести внутреннюю калибровку, т.е. установить зависимость между внешними размерами шаблона-маски и его образа на матрице камеры. После этого следует выполнить внешнюю калибровку, связав координатные системы (реальное местоположение) камер между собой, а затем с координатной системой виртуального мира (как правило, это координаты экрана, являющегося «окном» в ВР).
Основной недостаток систем оптического трекинга — необходимость точной калибровки модулей приема оптического сигнала, иначе камер. Для работы такой системы обычно требуется два таких модуля или более, причем зона их взаимодействия должна находиться в области пересечения видимости камер. Чем обширнее зона взаимодействия, тем больше камер нужно установить и тем сложнее становится процедура калибровки. Но все же оптические системы трекинга применяются чаще остальных, поскольку они более надежны и относительно недороги. В таких системах используется специальная камера, которая отслеживает местонахождение реального объекта с нанесенными оптическими маркерами (как правило, это пространственная структура из четырех и более маркеров), снимает сигнал при перемещении и передает полученную информацию на компьютер. Ведущие западные компании делают системы оптического трекинга на базе минимум двух камер, в то время как в России создана система с использованием лишь одной независимой камеры. Достоинства отечественной разработки очевидны. Во-первых, стоимость одной камеры в 2 раза меньше, чем двух. Во-вторых, увеличивается область трекинга, так как рабочей зоной становится зона видимости одной камеры, а не пересечения зон видимости нескольких камер. В-третьих, рабочую зону можно существенно расширить, добавив независимые камеры. В-четвертых, упрощается процедура настройки и калибровки системы, что дает существенные преимущества при установке мобильных и полномасштабных систем виртуальной реальности.
Каждая система трекинга имеет свои плюсы и минусы. Наравне с оптической зачастую применяются системы звукового и электромагнитного трекинга.
Звуковой трекинг
Для звукового трекинга используется звук высокой частоты. Существуют два вида такой системы трекинга: по времени прохождения сигнала и по разности фаз сигнала.
В системе трекинга по времени прохождения сигнала передатчики расположены на движущемся реальном объекте. Всякий раз, когда передатчик посылает сигнал, его принимают статичные сенсоры, измеряющие время между отправлением и приемом сигнала. А поскольку сенсоров много и каждый из них определяет время прохождения сигнала от передатчика, то, значит, можно получить целостную трехмерную картину перемещения объекта в системе. Ориентация объекта (направление движения) определяется с помощью кластера из трех сенсоров. Недостаток трекинга такого типа — низкая скорость звуковой волны, а также снижение эффективности работы из-за воздействия температуры, давления и влажности.
Для системы трекинга, основанной на разности фаз сигнала, также необходимы два передатчика: один — на движущемся объекте, другой — в контрольной точке. Оба они испускают звуковые волны с разными фазами. Эти волны измеряются в реальном времени по шкале в 360°, что соответствует разнице в одну длину волны. По полученным данным вычерчивают кривую движения объекта. Пока расстояние, которое движущийся объект проходит за время считывания сигналов меньше, чем одна длина волны, система успевает отследить его перемещение в пространстве.
Основной недостаток звукового трекинга по разности фаз заключается в том, что известна не абсолютная позиция объекта, а лишь периодические изменения его местоположения в отдельные промежутки времени.
Электромагнитный трекинг
При электромагнитном трекинге измеряется сила магнитного поля. Магнитное поле возникает в результате пропускания тока через три электромагнитные катушки, расположенные перпендикулярно друг другу. Эти катушки должны находиться в маленьком корпусе, закрепленном на движущемся объекте, положение которого нужно отслеживать. Ток, последовательно проходящий через катушки, превращает их в электромагниты, что позволяет определить их позицию и ориентацию в пространстве. Такая система плохо работает вблизи любых металлических объектов и устройств, способных повлиять на электромагнитное поле.
На базе этой технологии создано устройство SpaceGrips, а также различные модификации виртуальных перчаток. Для их качественной работы требуется специально оборудованное помещение, но и тогда систему необходимо заново калибровать практически ежемесячно.
Если оснастить системой трекинга, например оптическими маркерами или электромагнитным датчиком, обычный джойстик или другое устройство взаимодействия с компьютером, то получится устройство управления ВР. Как правило, разработки компаний в этой области направлены на то, чтобы комплектовать стандартные устройства управления системой трекинга.
* * *
В настоящее время многие компании, в том числе A.R.T., InterSense, WorldViz, PhoeniX Technologies, Ascension, PhaseSpace, EligoVision, занимаются разработкой систем оптического трекинга. Также существуют фирмы, создающие технологии электромагнитного (Polhemus), ультразвукового и инерционного трекинга.
Об авторе
Валерия Холодкова — специалист компании EligoVision.
Таблица. Функциональные характеристики систем оптического трекинга