Реальность дополненная и расширенная. Как попасть в четвертое измерение?

Да тот же Терминатор – все, наверное, помнят те планы, когда камера переключается на вид от первого лица, что-то типа такого:

Источник изображения

В обоих случаях речь идет о том, чему существует уже даже научное название – «дополненная реальность». И, фантастика – фантастикой, но в данной области полным ходом ведутся исследовательские работы во всех мыслимых направлениях. А направлений в этой области, - где та реальность, что мы воспринимаем своими органами чувств, и компьютерные «добавки», сливаются для нас в одну, дополненную, - хоть отбавляй.

Не так давно, к примеру, в Интернете весьма ярко промелькнула вполне наглядная демонстрация одного из таких подходов. Несколько месяцев назад многие забавлялись, распечатывая немудреную картинку на листе бумаги, а потом крутя его перед монитором, да еще, зачем-то, дуя на него.

Таким образом компания General Electric привлекала внимание к своим инициативам в области энергосбережения, используя дополненную реальность во вполне себе практических целях. Аналогичным образом рекламировался и недавно прошедший по экранам фильм StarTrek.

Нас во всем этом интересует тот факт, что в обоих случаях концепция дополненной реальности иллюстрируется довольно неплохо. К тому, что мы воспринимаем в ощущениях, так сказать, естественным образом, добавляется какая-то информация, которую мы воспринимаем теми же органами чувств. В результате, все это «микшируется» непосредственно на начальном этапе – преимущественно, в глазах (поскольку в основном речь идет о визуальном восприятии). И мозг, который вообще по природе своей весьма доверчив, воспринимает, соответственно, поступившую к нему по глазному нерву информацию уже как нечто цельное, то, что происходит на самом деле.

В принципе, концепция дополненной реальности в виде нишевых решений, вполне активно, массово, и успешно применяется на практике уже несколько десятилетий. Речь идет о системах, применяемых, например, в военной авиации, где, учитывая скорости, на которых все происходит, у пилота просто может не быть времени на то, чтобы лишний раз повернуть голову.

В результате, вся возможная информация подается буквально на блюдечке. Двигатель загорелся – об этом пилот услышит от речевого информатора (звучит примитивно, но если вдуматься – вполне себе дополненная по «аудиоканалу» реальность), где-то, за пределами визуальной дальности, захвачена цель – пилот все равно увидит это прямо перед своими глазами, поможет наложенная компьютером на лобовое стекло картинка. Кстати, с обратной связью! Нашлемная система целеуказания ответит за то, чтобы пилот мог указать нужную цель просто легким поворотом головы.

Источник изображения

Понятно, что в истребителе за все это отвечают немаленькие по габаритам блоки. Шлем, как у пилота F-35

Источник изображения

в реальной жизни носить желающих вообще найдется мало, да и деньги военные никогда не считали (стоимость системы нашлемного целеуказания для старенького F-15 составляет около 350 тысяч долларов). Собственно, по всем этим причинам, пожалуй, дополненная реальность для гражданского применения и находится в таком убогом состоянии.

Строго говоря, для обычных людей ее вообще нету. Интересно отметить, что, ее постигла судьба, к примеру, видеозвонков, появившихся еще в середине 20-го века, но "впавших в кому", не приобретя популярности, как раз по причине явной неготовности технологий к их массовому использованию. Только сейчас, когда появились широкие каналы связи и миниатюрные недорогие камеры в сочетании с качественными экранами, они начали оживать.

Точно так же и дополненная реальность. Еще лет пятнадцать-двадцать назад комплект дополненной реальности в лучшем случае выглядел бы как шлем типа незабвенного IIS VFX1, с разрешением 320х200 и 256 цветами, за спиной – стандартный системный блок форм-фактора AT, в нем – плата видеозахвата стоимостью не в одну тысячу долларов, и подцепленная к этой камере видеокамера весом в несколько килограммов, с качеством картинки хуже, чем у современных мобильных телефонов. Плюс, без доступа в Интернет – ни 3G тебе, ни WiMax. На таком техническом уровне дополненная реальность - такая же бессмыслица, как Транссиб – с конкой, вагонами, запряженными лошадьми.

Источник изображения

Сейчас кое-что изменилось. Во-первых, доступ к актуальной информации. О блондинке напротив, конечно, много информации получить вряд ли получится, хотя… В последнее время софт, анализирующий лица людей в реальном времени, становится все более и более продвинутым. Заказчиками, в первую очередь, выступают различные спецслужбы, но именно их прихоти, как известно, зачастую и двигают прогресс.

Так, можно легко дофантазировать применение технологий, использующихся для идентификации людей в потоке пассажиров на вокзалах для того, чтобы узнать имя и фамилию одного единственного человека. Дальше в действие вступает то, чего не было толком еще лет двадцать – Интернет, в котором, даже отталкиваясь от ФИО, сегодня можно узнать массу всего полезного при первом знакомстве. Добавим сюда технологии, применяемые теми же спецслужбами для анализа, к примеру, эмоционального состояния человека по изображению лица (в том числе, в различных излучаемых спектрах), прочие подобные вещи…

Про вещи, типа получения перед глазами (мы сейчас говорим не о технологиях, а об информации), информации об уровне цен из ресторана, на который упал взгляд во время променада по улице, или каких-то подобных ситуаций, и говорить, наверное, не стоит. Тот же самый мобильный Интернет, плюс сервис, основанный на определении местоположения человека (очень популярная тема у сегодняшних стартапов) дают возможность сегодня получить массу информации о любом клочке суши, на котором ты находишься в данный момент.

Хороший пример, работающий уже сегодня (причем, в массовом режиме) – технология компании GeoVector: мобильный телефон, со встроенным GPS и высокоточным компасом. Если навести его на интересующий объект, он в состоянии «понять», куда им показывают, и выдать некую информацию - расписание музея через дорогу, или список интересных объектов вниз по улице. Нюанс в том, что в той же Японии продано уже более миллиона таких телефонов и существуют соответствующие сервисы, начиная от базы данных по объектам, и заканчивая интерактивными играми.

Источник изображения

Прогресс от рюкзака с системным блоком до карманного устройства очевиден. Но это уже день сегодняшний, хоть и не слишком распространенный пока еще повсеместно. Но гулять - так гулять. Посмотрим, что сулит нам обозримое будущее в плане отказа от устройств, даже вполне себе портативных.

С аудиоканалом все достаточно просто. Слуховые аппараты, которые сегодня уже и не разглядишь на первый взгляд, вполне массово продаются, а миниатюрные гарнитуры для мобильных телефонов, хоть и не так малы, но зато бьют их по популярности. Как вариант минимум, и это вполне бы сошло, но, понятно, хочется большего. Здесь, чисто теоретически, на помощь должны будут придти новые достижения медицины, связанные с восстановлением слуха.

Точнее, как раз, не только медицины, но комбинация достижений IT-технологий и медицины, сделанных за последние десятилетия. Сегодня устройства, позволяющие вернуть слух тем, кому раньше помочь было нельзя, выглядят как сочетание миниатюрного микрофона и обрабатывающего звуки DSP, носимых за ухом (как та же привычная bluetooth-гарнитура), с имплантантом, вмонтированным в под кожей, получающим информацию по беспроводной связи. Дальше он отправляет импульсы на электроды, раздражающие слуховой нерв, который и передает соответствующие сигналы в мозг, которые тот воспринимает, как звук.

Источник изображения

Причем, не просто звук. Применение изощренных алгоритмов в DPS, вместе с использованием целого массива электродов, раздражающих разные окончания нерва, позволяют вполне успешно распознавать даже речь. Конечно, сейчас это, как ни крути, остается сложной и специфической медицинской операцией, но вспомним те времена, когда и контактные линзы считались исключительно медицинским устройством! Да и близорукость, которая раньше лечилась только очками, сегодня почти мгновенно исчезает под лучом лазера.

Соответственно, легко представить, как дальше, по мере развития хирургии и IT, слуховые имплантаты, передающие дополнительную информацию на слуховой нерв, станут вполне доступным удовольствием - не столько даже по деньгам, сколько по легкости установки. Основное напрашивающееся применение – замена мобильных телефонов. Особенно, в комбинации с технологиями (уже существующими), позволяющими считывать слова, как минимум, по вибрации челюсти.

Кстати, если уж мы завели речь про близорукость и очки. Опять же, как и со слуховыми аппаратами, возможен компромисс, - в виде, например, очков со встроенными микро-проекторами, проецирующими изображение на центр линз, создавая иллюзию взгляда на большой экран с расстояния в несколько метров. При этом, по определению, это изображение будет полупрозрачным. По сути – тот же HMD (head mounted display), как у пилотов истребителя, только вот вес проекционного модуля уже сегодня измеряется в единицах граммов.

Источник изображения

Если же, опять же, ставить максимальные цели, в виде полного отсутствия внешней аппаратуры, то и здесь представление о перспективах дает медицина, которая несколько лет назад научилась возвращать зрение людям, ранее считавшимся безнадежными. Система примерно та же, что и со слухом: внешний сенсор (в данном случае – камера), сигнал с которой интерпретируется DSP и подается на массив электродов, закрепленных на сетчатке глаза, и раздражающих зрительный нерв. Разрешение сегодняшних матриц составляет единицы тысяч электродов, что позволяет не только различать контуры предметов, но и, например, водить автомобиль.

Другое направление работ – стимуляция непосредственно области мозга, отвечающей за зрение. Здесь были достигнуты схожие по эффективности результаты, хотя, по понятным причинам, получается использовать уже на порядок меньше электродов. Соответственно, качество картинки может удовлетворить только совсем слепого человека. Соответственно, первый путь выглядит более перспективным, но, очевидно, массового потребителя удовлетворит лишь наложенная картинка с разрешением, измеряемым, как минимум в сотнях тысячах пикселов. Что, в принципе, совершенно не выглядит чем-то неосуществимым в ближайшем обозримом будущем.

Тем не менее, что с аудио-имплантантом, что, тем более, с глазным, речь в обоих случаях идет об операциях, что, безусловно, противоречит самой идее массовости. Так что, до изобретения каких-нибудь нанороботов, поступающих в организм в виде таблетки, и из ее же содержимого собирающих имплантант, и устанавливающих его по месту примерения, эти перспективы откладываются.

Максимум, о чем можно говорить в ближайшие десятки лет - так это о доведении до ума вышеописанных очков с проекционными технологиями (возможно - на уровне контактной линзы, благо, что соверменные технологии уже позволяют печатать схемы на пластике) и компактных гарнитур (возможно - на уровне наушника-"затычки", с вмонтированной в него же управляющей электроникой). Плюс, мобильный интернет. Рабочие образцы существуют, задача по их развитию выглядит абсолютно реальной, спрос на их коммерческое внедрение - тоже.

Обсудить виртуальную реальность на форуме