Учёные испытали звуковые очки для незрячих

 Рис. 1. Доктор Амеди (на снимке) не только лично испытал новый прибор, но и провёл серию тестов со слепыми добровольцами. Результаты оказались интересны для медицины и нейрофизиологии (фото Institute for Medical Research Israel-Canada, Hebrew University of Jerusalem).

Доктор Амир Амеди (Amir Amedi) и его коллеги из Еврейского университета в Иерусалиме создали устройство подмены восприятия (sensory substitution device — SSD), которое позволяет слепым людям в некотором смысле видеть окружающую обстановку.

В основе SSD лежит миниатюрная камера на очках, подключённая к небольшому компьютеру либо смартфону. Программа, разработанная группой Амеди, преобразует визуальную информацию в набор звуковых сигналов.

Рис. 1. Минувшим летом доктор Амеди (справа)
представил свой проект президенту Израиля
Шимону Пересу (в центре) и президенту
Еврейского университета в Иерусалиме
Менахему Бен-Сасону (Menachem Ben-Sasson)
(фото Hebrew University of Jerusalem).

Базовые правила их формирования довольно просты. Скажем, контрастная линия, идущая слева направо и вверх, может быть отражена сигналом с нарастающим тоном, а линия, идущая вниз, – звуком с постепенно понижающейся частотой.

После непродолжительных тренировок человек может научиться понимать, о чём ему сообщает прибор, утверждают разработчики системы.

Испытания показали, что с SSD слепой способен распознавать бытовые предметы, находить людей и определять их позы, различать простенькую компьютерную графику (типа «лицо», «дом») и даже читать крупные буквы и целые слова.

Это достижение – существенное продвижение вперёд по сравнению с предыдущим проектом Амеди – портативной «виртуальной тростью» (Virtual Cane), представленной летом 2011 года.

Рис. 3. Привыкая к восприятию
обстановки по звуку, слепой человек
учится формировать в голове картинку,
которую с некоторой степенью
достоверности можно было бы назвать
зрительной (иллюстрация Hebrew
University of Jerusalem, Amir Amedi’s Lab).

Ещё в тот раз Амир и его соратники отметили, что слепые люди пользуются таким прибором более ловко, чем обычные испытатели с чёрной повязкой на глазах.

Причина вроде бы лежит на поверхности: слух у незрячих развит намного сильнее, чем у видящих, потому слепые лучше чувствуют тонкие вариации в звуке, его тональности, пространственном расположении источников.

Однако исследования, проведённые недавно Амеди, показали, что дело обстоит не совсем так.

Работа мозга в случае такой замены — куда сложнее.

Рис. 4. Ресурс Inhabitat логично сравнивает SSD с прибором VISOR (Visual Instrument and Sensory Organ Replacement) из фантастического сериала Star Trek: The Next Generation. Его носил слепой от рождения инженер Джорди Ла Форж (Geordi La Forge). Правда, VISOR передавал сигналы в мозг через нейроимплантат. Но общая идея схожа: нужно отснять картинку местности, преобразовать по неким правилам и доставить по назначению в каком-либо доступном виде (кадры memory-alpha.org, Paramount Pictures/ Paramount Television, CBS Studios).

Амир и его коллеги задались целью не просто создать разные электронные помощники для инвалидов, а разобраться, как они взаимодействуют с мозгом владельца. В частности, учёных интересовала… зрительная кора.

Рис. 5. Один из феноменов, изучаемых группой Амеди, – мультисенсорное восприятие. Это интегрированная обработка разных каналов информации, помогающая формировать целую картину мира. Особенности взаимодействия разных зон мозга в этом процессе до сих пор не поняты в полной мере. В частности, в одной из предыдущих работ Амеди нашёл интересные пересечения в путях обработки информации при обычном чтении книги и чтении шрифта Брайля слепым человеком, хотя в одном случае работают глаза, а во втором – кончики пальцев (иллюстрация Hebrew University of Jerusalem, Amir Amedi’s Lab).

Нейрофизиологам известно, что визуальная обработка в мозге идёт двумя параллельными путями. В коре имеется затылочно-височной путь, или «вентральный поток», связанный с обработкой форм, идентификацией объектов, их цвета. Он отвечает на вопрос «что я вижу?».

И ещё есть затылочно-теменной путь («дорсальный поток»), который анализирует пространственную информацию о месте расположения объекта (вопросы «где?» и «как?»).

Рис. 6. Работа Амеди не первая, в которой инженеры и учёные попробовали формировать в голове слепого человека «зрительную картину» при помощи звуков. Вспомним европейский опытный проект CASBLiP, реализованный в 2009 году (фото CASBLiP/ Universitat Politècnica de València).

Амеди и его коллеги провели сканирование мозга 9 зрячих людей и 11 слепых от рождения. Зрячие выполняли задачи на визуальное распознавание, а слепые – аналогичные упражнения с использованием SSD.

Рис. 7. Проект SSD вообще-то
объединяет несколько вариантов
помощников для слепых. Это и уже
упоминавшаяся карманная «виртуальная
трость», и различные прототипы систем
ориентации с очками-камерами и
стереонаушниками, получившие также
имя vOICe (фото Hebrew University of
Jerusalem, Amir Amedi’s Lab).

К удивлению экспериментаторов, у слепых активировались те же два потока. То есть зрительная кора точно так же начинала расшифровывать форму вещей и их пространственное расположение, когда человек пользовался «слуховым зрением».

Об этом исследовании рассказывает статья в журнале Cerebral Cortex.

Выходило, что такое фундаментальное разделение объёма работ может возникать даже без всякого предшествующего зрительного опыта. И что это разделение – не визуальное по своей природе.

Израильтяне сделали вывод, что мозг организует зоны коры по принципу специфики обработки информации (условно – по типу необходимых вычислений), вне зависимости от вида сенсорных каналов — зрительного, слухового или тактильного. О последнем стоит рассказать особо.

Рис. 8. Перекладка на зрительную зону коры обязанности по составлению «визуальной картины» по одному лишь звуку – ещё один пример потрясающей нейропластичности мозга (иллюстрация Hebrew University of Jerusalem, Amir Amedi’s Lab).

Четыре десятка лет назад американский нейрофизиолог Пол Бачирита (Paul Bach-y-Rita) впервые попробовал переводить зрительную информацию в сигналы другой природы, и начал он как раз с тактильных ощущений.

Уже тогда стало ясно, что человек (как слепой, так и просто с закрытыми глазами) непохо приспосабливается к пространственной ориентации по необычному для себя принципу. Так, вибрации или слабые электрические покалывания на разных участках тела помогали испытуемым строить в голове мысленную картину обстановки, заменяя зрительное восприятие

Рис. 9. Вверху слева – один из ранних аппаратов Пола Бачириты, в котором сигнал с камеры преобразовывался в вибрацию массива контактов, закрепляемых на животе. Сила вибрации соответствовала яркости пикселей. Справа и внизу: уже в конце XX века и начале XXI эти исследования привели к появлению «языкового дисплея», а ещё – похожего по принципу устройства, передающую тактильную картинку на лоб человека (фото Bach-y-Rita et al., sarahangliss.com, ens-lyon.fr).

Опыты Амеди идеологически продолжают эксперименты Бачириты. И они показывают, что мозг слепых потенциально может быть разбужен для обработки визуальных задач даже в том случае, если человек был слепым всю жизнь.

Это открывает хорошие перспективны не только для обсуждаемой технологии подмены отсутствующего сенсорного канала другим, но и для электронных систем, возвращающих человеку зрение в прямом смысле, вроде разнообразных сетчаток-имплантатов.