Почти все большие статьи октябрьского номера журнала Computer (IEEE Computer Society, Vol. 41, No. 10, October 2008) посвящены одной теме — интерфейсу между человеческим мозгом и компьютером. Ведущие ученые рассказывают о состоянии дел в данной области. Приглашенным редактором тематической подборки является Оливер Бимбер. Его вводная заметка называется «Переселение разума» (Total Recall).
Сегодняшние человеко-машинные интерфейсы (Human-Computer Interface, HCI) по своей природе являются скорее физическими. Обмен информацией человека с компьютером ограничен возможностями отдельных устройств ввода и вывода. При скорости ввода данных с клавиатуры, меньшей 50 слов в минуту, и скорости чтения, меньшей 300 слов в минуту, скорость общения человека с его ноутбуком намного ниже пропускной способности большинства межкомпьютерных интерфейсов. Прямая связь с мозгом позволила бы избежать большинства физиологических действий.
Кроме обеспечения более эффективного способа коммуникации, новые интерфейсы между мозгом и компьютером (Brain-Computer Interface, BCI) приведут к появлению совершенно новых возможностей. Например, они будут поддерживать инвалидов, которые смогут мысленно управлять протезами. На BCI могут также основываться новые подходы в нейрологической реабилитации и даже в области компьютерных игр. Фантасты предсказывают, что к середине XXI века появится возможность загрузить содержимое человеческого мозга в суперкомпьютер, следствием чего может стать тиражирование и изменение сознания — переселение разума станет реальностью.
BCI — увлекательная и перспективная тема исследований. На пути к электронному бессмертию и мысленному управлению предстоит преодолеть немало препятствий. Каким способом можно бесконтактным образом эффективно воспринимать сигналы мозга? Как обрабатывать и интерпретировать эти сигналы?
Авторами статьи «Бесконтактные BCI: многоходовые декомпозиции массива обработки сигналов» (Noninvasive BCIs: Multiway Signal-Processing Array Decompositions) являются Анджей Цикоцки, Йошиказу Вашизава, Томаш Рутковски, Ховагим Бакарджиан, Ан Хай Фан, Сеунгдждин Чой, Хейкиенг Ли, Кибин Жао, Ликинг Жанг Юанкинг Ли.
Исследования в области BCI в основном направлены на создание новых каналов коммуникации для людей с серьезными физическими недостатками; также в центре внимания специалистов разработка потенциальных приложений в областях нейрологической реабилитации, мультимедийных коммуникаций, виртуальной реальности и развлечений.
BCI опираются на три основных компонента: методы измерения нейронных сигналов человеческого мозга; методы и алгоритмы распознания состояния и намерений человека на основе этих сигналов; методология и алгоритмы отображения выявленной активности человеческого мозга и преобразование их в соответствующее поведение и действия.
Для измерения сигналов мозга испытывалось несколько технологий, прежде всего, электроэнцефалография (EEG), магнитоэнцефалография (MEG), функциональная магнитно-резонансная томография (fMRI) и спектроскопия в ближней инфракрасной области (NIRS). Почти все эти методы дороги и громоздки, кроме того, в fMRI и NIRS не измеряется напрямую нервная деятельность, но устанавливается гемодинамическая взаимосвязь между нервной деятельностью и местными изменениями кровообращения. Поэтому их невозможно применять амбулаторно или в переносных системах. В результате в большинстве перспективных систем BCI используются сигналы EEG.
Необработанные данные мозга редко бывают полезны. Для получения высококачественных данных и, следовательно, надежной системы BCI, прежде всего требуется создать стимулирующие условия или параметры мыслительной задачи, которые будут способствовать генерации максимально поддающихся измерению и классификации состояний мозга. Далее требуется оптимизировать процедуру измерения и разработать алгоритмы обработки сигналов мозга в реальном времени для распознавания и интерпретации результирующих сигналов. Наконец, необходимо интегрировать все это в интерфейс с оптимальными функциональными возможностями и эксплуатационными характеристиками.
Алоис Шлегл и Клеменс Брюннер представили статью «BioSig: бесплатная и открытая библиотека программного обеспечения для исследований в области BCI» (BioSig: A Free and Open Source Software Library for BCI Research).
Задачей BCI является выявление намерений пользователей на основе отслеживания и анализа деятельности мозга без использования сигналов от мускулатуры и периферических нервов. Для определения намерений пользователя требуется сложная цепочка шагов обработки данных, общая надежность которой определяется ее наиболее слабым звеном.
Исследователи BCI тратят значительное время на разработку программного обеспечения для анализа данных и расчета различных моделей деятельности мозга. Отсутствие исчерпывающего репозитория инструментальных средств усложняет согласование форматов данных и доказательство совместимости различных концепций науки о нервной деятельности. В 2003 году был начат проект BioSig (biosig.sf.net) по созданию бесплатной и доступной вместе с исходными текстами библиотеки биомедицинских инструментальных средств обработки сигналов. Первые выпуски полностью основывались на M-коде для Matlab и Octave (эта часть библиотеки теперь называется BioSig for Octave and Matlab, biosig4octmat). Позже к библиотеке была добавлена часть BioSig for C/C++ (biosig4c++).
Средства biosig4octmat очень эффективны, однако огромное преимущество в скорости обеспечивает использование функций, реализованных на Си/C++. Затем в программном обеспечении для сбора данных, не основанном на использовании M-кода, можно применять скрипты Matlab для сохранения данных. Кроме того, Управление по продуктам питания и лекарственным средствам США и группа по стандартизации в области здравоохранения Health Level Seven (www.hl7.org) предложили формат данных на основе XML для аннотированных данных электрокардиограмм (HL7aECG), но средства Matlab и Octave для работы с XML неэффективны.
Для преодоления этих ограничений в biosig4c++ имеется группа реализованных на языке Cи инструментальных средств для чтения и записи биомедицинских сигнальных форматов данных.
Статью «Функционирование BCI робототехнических и простетических устройств» (Brain-Computer Interface Operation of Robotic and Prosthetic Devices) написали Дэнис Макфарланд и Джонатан Волпав.
В результате мозговой активности генерируются электрические сигналы, которые можно уловить на поверхности кожи головы, на поверхности коры головного мозга или внутри мозга. BCI транслируют эти сигналы в данные, отражающие намерения пользователя без участия периферических нервов и мускулатуры.
Поскольку BCI не зависят от нервно-мышечного управления, они могут обеспечить коммуникации и управление людям с разрушительными нервномышечными расстройствами, таким как боковой амиотрофический склероз, стволовой инсульт, церебральный паралич и повреждение спинного мозга. Исследования и разработки в области BCI дадут возможность этим пользователям (они иногда не в состоянии даже самостоятельно дышать и двигать зрачками) сообщать сиделкам о своих потребностях, использовать текстовые редакторы и другие программы, управлять роботизированными руками или нейропротезами. Компоненты BCI получают сигналы мозга, извлекают из них ключевые характеристики и транслируют их в команды для устройств. Базовая схема BCI показана на рисунке.
BCI могут разрабатываться для коммуникационных или управляющих приложений. В коммуникационных приложениях команды, генерируемые BCI, управляют текстовым редактором или синтезатором речи. Одним из примеров коммуникационного интерфейса, основанного на BCI, является спеллер P300 (www.gtec.at/service/Tutorials/P300SpellerwithgUSBamp.pdf).
Для управляющих приложений команды, генерируемые BCI, передают сигналы и заставляют двигаться такие устройства, как курсор, роботизированная рука или инвалидная коляска, которые теперь могут перемещаться по желанию пользователя. Хотя получение сигналов и извлечение характеристик для коммуникационных и управляющих приложений могут производиться одним и тем же образом, применяемые алгоритмы трансляции обычно значительно различаются.
Управляющие приложения могут основываться на кинематическом управлении или на выборе целевого положения. При использовании кинематического управления BCI специфицирует в реальном времени точные перемещения. При выборе целевого положения BCI просто указывает желаемый результат, а соответствующие программно-аппаратные средства производят непрерывное кинематическое управление, позволяющее достичь этого результата. Выбор целевого положения называют также обратным кинематическим управлением, поскольку конкретные параметры управления вычисляются на основе знания целевого положения.
Управление на основе выбора целевого положения менее требовательно к сложности и скорости поступления сигналов управления, обеспечиваемых BCI. Так, для кинематического управления роботизированной рукой в трехмерном пространстве система BCI должна в реальном времени непрерывно обеспечивать три управляющих сигнала, а при управлении на основе выбора целевого положения от BCI требуется только указание конечного местоположения руки. При управлении на основе выбора целевого положения можно выдавать более сложные команды, например, «сделать кофе». Конечно, для этого требуется устройство с детальным и постоянно обновляемым знанием окружающей среды.
При управлении на основе целевого положения от самой системы BCI требуется гораздо меньший объем информации. Однако кинематический подход иногда может обеспечить существенно более гибкое управление. Эти подходы можно и комбинировать.
Требования к управлению робототехническими и простетическими медицинскими устройствами сильно различаются. Система BCI могла бы управлять инвалидной коляской с использованием двух независимых управляющих сигналов: один для задания углового направления, другой для управления скоростью движения. В то же время, если инвалидная коляска используется в потенциально опасной среде, скажем, в уличном движении, то существенными характеристиками управления становятся точность и надежность. Для управления протезом руки потребовалось бы гораздо больше степеней свободы, если в ней имеется много сочленений, но точность и надежность могли бы быть менее критичны при перемещении объектов.
В статье разбираются и сравниваются контактные и неконтактные методы организации BCI для кинематического и основанного на целевом положении управления устройствами.
Статья «Реабилитация с использованием BCI» (Rehabilitation with Brain-Computer Interface Systems) представлена Гертом Пфуртшеллером, Гернотом Мюллером-Пуцом, Кристой Ньюпер и Рейнхольдом Шерером.
Еще недавно жертвы паралича могли только полагаться на помощь других людей для выполнения даже простейших задач, однако с развитием биотехнологии появилась возможность предоставить людям с нервно-мышечными расстройствами большую степень самостоятельности. На основе процесса регистрации сигналов мозга с использованием специального программного обеспечения ранее беспомощные пациенты могут переключать телевизионные каналы, включать и выключать свет и отвечать на сообщения электронной почты, просто концентрируясь на перемещении курсора к соответствующей области экрана монитора.
В последних экспериментах в число этих возможностей включается и управление нейро-простетическими устройствами. Фокусируясь на перемещении специальным образом запрограммируемого простетического устройства, человек с диагнозом квадриплегии может взять стакан воды и поднести его к своим губам, просто думая об этом. Каждая мысль способствует достижению некоторой цели, такой как произношение звука или сжатие руки. Мозг транслирует целенаправленные мысли в конкретный пространственно-временной паттерн активации, который можно зарегистрировать и распознать в оперативном режиме. Особый интерес представляют мысленные стратегии, проявляющиеся в активации нервных сетей в основных сенсорных и моторных зонах. Такая активация происходит, когда пользователь фокусирует свое внимание на одной из этих зон.
Во всех этих приложениях используются системы BCI. При нейрологической реабилитации приложения нацеливаются на двигательную зону коры головного мозга, расположенную в предцентральной извилине, и на зрительную зону в затылочной области. В обоих случаях пациент использует определенную мыслительную стратегию для фокусирования внимания на некоторой части тела, на одном из источников света, на некоторой букве и т.д. Двигательные образы могут снижать частоту сенсорно-моторного ритма, а пристальный взгляд может приводить к изменению зрительного вызванного потенциала мозга или к получению его устойчивого состояния. При наличии должной обратной связи и обучения пациенты могут научиться изменять свои медленные корковые потенциалы.
Приложения, основанные на использовании систем BCI, могут быть контактными, требующими прямой имплантации электродов в мозг пользователя, или бесконтактными, когда система фиксирует сигналы мозга на основе снятия электроэнцефалограммы с использованием электродов, прикрепленных к коже головы пациента. Возможно, по причине своей безопасности бесконтактные системы BCI выглядят наиболее перспективными в практике неврологической реабилитации. В статье приводится ряд примеров применения BCI.
Авторы последней статьи тематической подборки — Анатоль Лекюер, Фабьен Лотте, Ричард Рейли, Роберт Либ, Мичитака Хиросе и Мел Слейтер. Статья называется «BCI, виртуальная реальность и видеоигры» (Brain-Computer Interfaces, Virtual Reality, and Videogames).
BCI могут обеспечить новые средства для участия в видеоиграх или взаимодействия с трехмерными средами виртуальной реальности. Попытки связать подходы BCI и виртуальных миров начались только в последние годы, однако уже существует несколько впечатляющих прототипов, позволяющих осуществлять навигацию в виртуальном мире или манипулировать виртуальными объектами за счет исключительно умственной активности. Между тем технологии виртуальной реальности обеспечивают обоснованные, безопасные и контролируемые условия, которые позволяют совершенствовать методы обучения применению BCI, а также способствовать исследованиям соответствующих реакций мозга и нервных процессов.
Технологии виртуальной реальности и видеоигр могут быть достойными компаньонами BCI. С другой стороны, в исследовательском сообществе признается, что виртуальная реальность является перспективной и эффективной средой для изучения и совершенствования систем BCI.
Взаимодействия с виртуальной средой можно разбить на элементарные задачи, такие как навигация в виртуальном мире для изменения точки обзора или выбора и манипуляция виртуальными объектами.
Современные системы BCI могут позволить пользователям сдвинуть точку своего обзора в виртуальной среде влево или вправо путем использования двух разных сигналов мозга, таких как лево- и правосторонние моторные образы, или двух «вызванных зрительных потенциалов устойчивого состояния» (steady-state visual-evoked potential, SSVEP) с разными частотами. BCI на основе моторных образов также используются для управления рулевым устройством виртуальной машины, хождения по виртуальной улице или по виртуальной квартире. Эти BCI обычно позволяют выполнять от одной до трех команд пользователя, каждая из которых ассоциирована с определенной задачей.
Большинство BCI, ориентированных на выбор виртуальных объектов или манипуляции с ними, основывается на P300 или SSVEP. В этих приложениях виртуальные объекты обычно генерируют стимулирующие воздействия, которые инициируют характерные и опознаваемые сигналы мозга, привлекающие внимание пользователей к выбору соответствующего объекта и манипулированию им. Такие BCI позволяют пользователям включать и выключать устройства, такие как виртуальный телевизор или лампа, с использованием потенциалов волн P300 или манипулировать более сложными объектами, такими как виртуальные персонажи, с использованием сигналов SSVEP.
Исследователи могут использовать технологию виртуальной реальности для изучения и совершенствования взаимодействия мозга с компьютером. Эта технология также помогает исследователям производить безопасные и полностью контролируемые эксперименты. Например, можно производить имитационное моделирование управления инвалидной коляской с использованием BCI.
В нескольких исследованиях показано, что производительность работы пользователей при использовании приложений виртуальной реальности выше, чем при работе с классическими двухмерными дисплеями. Поэтому авторы полагают, что применение технологии виртуальной реальности может сократить время обучения использованию BCI и повысить его эффективность.
Единственная большая статья, представленная вне тематической подборки, написанная Орианом Кива и Джакко Кангашари, называется «Проблемы и уроки разработки промежуточного программного обеспечения для смартфонов» (Challenges and Lessons in Developing Middleware on Smart Phones).
Смартфоны — предвестники «всепроникающего компьютинга». При постоянном наращивании вычислительных, коммуникационных и сенсорных возможностей эти устройства эволюционировали от простых коммуникационных устройств в потребителей различных типов информационных сервисов, а также в сенсорные концентраторы для систем мониторинга в сфере здравоохранения, для спортивных тренеров и т.д.
Программирование телефонных приложений, которые способны должным образом функционировать в этой новой компьютерной среде, является непростой задачей. Платформы ПО промежуточного слоя, которые могут, например, позволить абстрагироваться от сложности сетевых коммуникаций, отказоустойчивости и миграции компонентов, являются средствами, полезными для разработки распределенных приложений. Однако, хотя программные средства промежуточного слоя традиционно направлены на обеспечение некоторого полезного уровня абстракции, важным принципом разработки для мобильных телефонов является экономия ресурсов, в особенности энергии, что является менее важным для традиционных настольных ПК. Поэтому для разработки инструментария промежуточного слоя для смартфонов требуются новые подходы.
В течение последних пяти лет авторы статьи участвовали в нескольких исследовательских проектах в Хельсинском институте информационной технологии (www.hiit.fi), которые фокусировались на ПО промежуточного слоя для мобильных приложений. Исследовались различные темы — от систем передачи сообщений на основе XML до средств синхронизации для коммуникаций на основе событий, миграции сервисов, мониторинга контекста и реконфигурации. Было построено несколько прототипов систем, работающих на платформах современных телефонов.
До свидания в следующем номере, Сергей Кузнецов (kuzloc@ispras.ru).
Стоит ли пить с динозаврами?Известный исследователь компьютерной истории Дэвид Грайер побывал в России и, поделившись впечатлениями, в странном свете представил не только тех, с кем общался, но и самого себя. По существу, статья Дэвида Грайера «Выпивка с динозавром», опубликованная в октябрьском номере журнала Computer за 2008 год, посвящена поиску ответа на вечный вопрос «кто виноват»— стрелочник или система? А точнее — проблеме «экстрапунктивности»; так профессионалы-психологи называют склонность перекладывать вину за собственные неудачи на других людей. Поводом для ее написания стал визит Грайера на конференцию РАН, название которой он, правда, не приводит; в задачу конференции входил анализ вклада СССР в развитие компьютерной отрасли в свете аналогичных работ, выполненных в Европе и США. Вывод статьи — отечественные ветераны отрасли, участники конференции, якобы так и не поняли, почему же рухнула эта отрасль после распада СССР, а их труды постигло забвение.
Как ни покажется это странным, но первой ассоциацией, которая возникла после прочтения статьи Грайера, оказалась картина Василия Сурикова «Утро стрелецкой казни», на которой среди толпы, наблюдающей за экзекуцией, выделяется иностранец, отстраненно смотрящий на происходящее. Выходцам из благополучного упорядоченного мира, с его безмятежным прошлым, трудно понять происходящее в чуждой для них среде. Похоже, и Граейер, увидев, прямо скажем, неадекватное поведение уже немолодых людей, сделал на редкость поверхностные выводы в духе классической пропаганды, оказавшись неготовым к серьезному анализу.
А жаль. Грайер — человек, заслуживающий уважение. Декан по международным делам университета Джорджа Вашингтона, известный компьютерный историк, долгое время работавший главным редактором журнала IEEE Annals of the History of Computing, автор множества статей, а также книги «Когда компьютеры были людьми». (Чтобы не возникало недоразумений с названием, замечу, что с начала XIX века, когда барон де Прони создал вычислительные мануфактуры, и до середины XX века «компьютерами» называли людей, выполнявших рутинные расчетные операции.) Сегодня Грайер ведет рубрику «Познанный мир» в журнале Computer.
Возвратимся к статье, содержание которой будет яснее, если читать в обратной последовательности. Она заканчивается анализом причин пожара в Чикаго, случившегося в 1871 году, который по своим относительным масштабам превзошел многие известные техногенные катастрофы. Грайер излагает наиболее анекдотичную версию его возникновения, будто одна недоенная корова перевернула керосиновую лампу, загорелся коровник, а далее сгорело две трети города. Вопрос, кто виноват,— сама корова, испытывавшая трудности, молочница, забывшая выполнить свою работу, или городские власти, допустившие пожароопасную застройку?
Второй пример из области анализа неудач автор взял из собственной практики. После окончания вуза, на своем первом месте работы он попал на проект, который в конечном итоге закончился неудачей. Грайер и его коллеги долгое время не могли признать свою часть вины, переваливая груз ответственности на других, хотя жизнь свидетельствует: если случается что-то серьезное, то обычно нет одного виновника.
И вот с таким багажом знаний по экстрапунктивности Грайер приехал в Москву. Надо сказать, в описании увиденного и услышанного красок он не жалеет. Начиная со стенаний по поводу беспомощности переводчицы, и далее, говоря о том, что практически все выступавшие утверждали, что отечественная компьютерная индустрия развивалась независимо от Запада, и вполне успешно. Особое впечатление на него произвел один из докладчиков, который суетливо сыпал словами об угрозе со стороны НАТО, необходимости систем ПВО, ракетных целях, а закончил демонстрацией фотографии сбитого самолета-шпиона U-2. В ответах на вопросы он утверждал, что если бы не происки врагов, то он лично и его коллектив смогли бы построить еще более эффективную систему, но, со слов Грейера, ему помешали бюрократия, неэффективность руководства, коррумпированность чиновников, перестройка и Горбачев. Вечер Грайер провел в обществе ветеранов, естественно, с водкой и тостами патриотически-меланхолического свойства. Сам он не пил, ограничившись минеральной водой Molotov Springs (в транслитерации Грайера). После того, как в ответном тосте автор прочитал сонет Шекспира, подвыпившие ветераны растрогались и приняли его за своего, а напрасно...
Далее Грайер на основании увиденного и услышанного долго рассуждает о том, что встреченные им ветераны оказались неспособными осознать подлинную причину провала их проектов. На второй день конференции эти «динозавры», так он называет ветеранов, отказались обсуждать причины того, что их проекты ушли в песок. Заканчивает он свою статью так: «В конце концов, они большую часть своей производственной карьеры провели вне рыночной экономики и привыкли мерить значение своего дела отношением к нему руководства страны. А когда все рухнуло, то они хватают за рукав каждого и говорят, что все было хорошо, что все было важно, а можно было бы сделать еще лучше».
Остаться равнодушным к этой статье сложно. Как-никак, она опубликована в ведущем журнале компьютерного сообщества. Слова о водке, динозаврах и «источнике Молотова» звучат неприятно, есть в них что-то от медведей, разгуливающих по нашим городам, и прочих подобных стереотипов. Причем на фоне имеющихся весьма серьезных публикаций по отечественной компьютерной истории, например, статьи Хироши Йошикавы «Стрела-1, первый советский компьютер, политический успех и технологический провал» (IEEE Annals of the History of Computing, Vol. 28, No. 3, July-Sept. 2006).
Судя по приведенным Грайером высказываниям, среди выступавших на конференции были в основном разработчики оборонных систем. Люди это «ящичные» и прожившие совершенно непонятную для Грайера жизнь. Будучи молодым инженером, мне пришлось проработать в одном из закрытых НИИ чуть более пяти лет. На этом предприятии с числом работающих более 5 тыс. человек не было ни одного экономиста. Отсутствие экономического обоснования и необходимость подчинения приказам сверху сформировала определенный тип людей и определенное отношение к работе. Не конечная цель, а выполнение приказа — «кровью изойти, но постановление выполнить»— сформировали тип людей, которые не могут быть понятыми такими, как Грайер. Приведу пример. На вооружение передавался мобильный вычислительный комплекс, размещавшийся в огромных прицепах. Все бы хорошо, но он был построен на феррит-транзисторных компонентах, имеющих защищенность от радиационного излучения, однако совершенно не выдерживающих вибрации, что делает невозможным ввод компьютера в эксплуатацию после транспортировки — требуется многодневная отладка. Это было всем понятно, но, подчиняясь приказу, эту бандуру сдали. Директор НИИ получил генеральские звезды. А через несколько лет ее списали и заменили на мини-ЭВМ без потери производительности. Спрашивается, о какой способности к объективной оценке своих неудач у людей, прошедших такую школу, можно говорить? Им можно разве что посочувствовать.
Возвращаясь к статье Дэвида Грайера, следует признать: да, ментальность ветеранов, с которыми он общался, формировалась в очень специфических условиях, да, они страдают экстрапунктивностью, но говорить об этом стоило бы в иной тональности и без использования обидных для них,— как, впрочем, и для всех соотечественников,— выражений.
Леонид Черняк
