ИТ помогают видеть

Головной мозг человека обладает уникальным свойством пластичности, заключающимся в способности к компенсационным перестройкам своей функциональной организации в ответ на значимые изменения внешних и внутренних факторов. Нейронная пластичность – это способность мозга к восстановлению и реструктуризации, в основе которой лежит способность к реорганизации различных отделов головного мозга. Это адаптивный потенциал нервной системы, позволяющий мозгу восстановить, по возможности полно, функционирование после травм и нарушений. 

Общеизвестно, что человек получает информацию об окружающем мире благодаря пяти органам чувств или, в технической терминологии, датчикам сенсорных систем: глазам (зрение), ушам (слух), языку (вкус), носу (обоняние), коже (осязание, ощущение боли, температуры). В последнее время к этим пяти органам чувств причисляют и шестое – вестибулярный аппарат, ответственный за чувство равновесия, ощущения положения в пространстве, ускорения и веса.

Принадлежность того или иного сигнала к определенной сенсорной системе называется модальностью. Например, температура регистрируется после того, как тепло или холод стимулируют рецептор и возникает сигнал в температурной сенсорной модальности. Некоторые органы чувств имеют различные датчики (рецепторы), которые генерируют сигналы различной сенсорной модальности. Так, кожа обеспечивает сигналами сенсорные модальности, которые включают в себя: температуру, вибрацию (давление), боль. Кросс-модальная пластичность развивается в процессе взросления у детей, однако при некоторых условиях может развиваться и у взрослых.

В случае кросс-модальной пластичности нейроны мозга изменяют свою организацию таким образом, чтобы объединить функции двух или более систем. Такое явление часто возникает на фоне поражения одной или нескольких сенсорных систем вследствие травмы или заболевания. Другими словами, утрата сенсорной модальности может быть компенсирована пластичностью в остальных чувствах. Например, слепые с рождения люди значительно лучше воспринимают звуковые сигналы, местоположение их источников и частотные характеристики. Очевидно, что подобные изменения более развиты в случаях врожденных сенсорных дефектов. Однако и у взрослых людей может развиться сенсорная и кросс-модальная пластичность, особенно ввиду изменений окружающей среды.

Зрительный канал поставляет человеку около 80% информации, необходимой для полноценного функционирования. Остальные 20% человек получает от прочих органов чувств. Поэтому для слабовидящих людей, у которых нет возможности восстановить зрение с помощью медицинских препаратов или хирургического вмешательства, использование подобных методик и устройств является одним из немногих способов вернуть возможность привычного общения и повысить социализацию.

Еще в 1969 году американский нейрофизиолог Пол Бах-и-Рита, основываясь на свойстве нейропластичности мозга, предположил, что можно научиться заменять один способ восприятия другим. Он представил устройство BrainPort, которое с помощью электродов трансформирует сигнал с видеокамеры в электроимпульсы по определенному алгоритму. Электроды присоединяются к языку, и человек, освоивший специальную методику, может ориентироваться в окружающем пространстве, не используя обычное зрение. Благодаря нейропластичности мозга уже через несколько дней у слепых, применяющих BrainPort, визуальная информация начинает достигать зрительной коры. Они в буквальном смысле начинают видеть.

Может показаться странным, почему именно язык был выбран в качестве чувствительного элемента «замещающего зрения». Кажется, что осязание не самый совершенный способ восприятия, доступный человеку, и уж тем более не самый удобный и точный. 

Однако на картах мозга, отражающих проекции различных частей тела, которые составил в 1930-х годах нейрохирург Уайлд Пенфилд, разные органы человека представлены непропорционально. Карту сенсорных зон обычно изображают в виде «человечка Пенфилда» у которого некоторые зоны увеличены соразмерно повышенной чувствительности – подушечки пальцев, губы.

Так, сенсорная зона одного пальца может быть больше, чем у целого туловища. Это неудивительно: кончики пальцев гораздо чувствительнее, чем кожа спины или живота. Ведь мы не используем туловище для тонких манипуляций предметами или ощупывания. А вот язык у этого человечка также имеет впечатляющие размеры! Именно поэтому он и был выбран Полом Бах-и-Ритой в качестве чувствительного элемента для прибора. 

Эрик Уайнхеймайер ослеп в возрасте 13 лет. Его мечтой было покорение Эвереста. И он смог сделать это с прибором Brainport! Долгие тренировки и огромное упорство помогли ему овладеть «осязательным зрением» настолько, что он мог видеть поверхность горы с помощью языка. Прибор помогал ему оценивать глубину, размер и расстояние с помощью вибраций, которые он ощущал.

Теперь, имея некоторое представление о нейропластичности, познакомимся с другими решениями, использующими это свойство мозга для «альтернативного зрения».

В 1990-х годах голландский инженер Питер Мейер предложил использовать для сенсорного замещения не осязание, а слух. Он разработал алгоритм «звукового зрения», по которому изображение с видеокамеры преобразуется в звуки различной громкости и высоты, передающие смысл этого изображения. Идея была реализована. Алгоритм работал, и люди, использующие «звуковое зрение», вновь смогли видеть.

Российский нейрофизиолог и исследователь Игорь Трапезников на основе алгоритма голландца разработал носимое на голове устройство, которое переводит изображение в звук по предложенному Питером Мейером принципу. Был создан комплекс для слабовидящих, который получил название vOICe vision.

Основная проблема «звукового зрения» кроется в его же главном преимуществе. Нейропластичность мозга позволяет использовать в качестве замещающего зрения слуховой аппарат. Но человек начинает «видеть» мир и не понимает, что он видит. Язык описания этого мира другой. Для того чтобы сенсорное замещение заработало и человек научился распознавать в «видимых» картинах изображение окружающей среды, он должен сначала выучить новый язык, который при его освоении вызывал бы в мозге картинку, похожую на мысленное изображение. Для неподготовленного человека «звуковое зрение» не более чем незнакомый набор звуков. Чтобы учить незрячих людей понимать его, необходимо выстроить методику обучения. В команде проекта vOICe vision такая программа обучения создана, обучены и специальные методисты, которые помогают слабовидящему быстрее освоить новый «язык».

Еще один подход – замена зрения тактильными ощущениями. Количество нейронов в головном мозге, отвечающих за обработку тактильных ощущений, сравнимо с количеством нейронов, обрабатывающих звук, поэтому создание устройств, позволяющих задействовать для сенсорного замещения тактильные ощущения, также привлекает внимание ученых. Но использование только пальцев предполагает наличие специальных перчаток, оборудованных системами передачи сигнала – вибрации, электромагнитных импульсов и пр., что не всегда удобно в эксплуатации. Поэтому исследователи из Гарвардского университета работают над проектом Foresight. Был разработан жилет с мягкими роботизированными приводами, которые превращают сигнал камеры со смартфона (iPhone 11 Pro) в локализованные ощущения давления на туловище пользователя.

Компьютерное зрение находит, классифицирует и оценивает движение объектов, окружающих пользователя. Устройство информирует о них с помощью давления на тело пользователя, в зависимости от расстояния до препятствий. Таким образом человек сможет заранее узнать, что впереди находится дорога, стена или приближающийся человек. Всю внутреннюю поверхность жилета можно использовать для придания смыслового содержания сигналу при распределении его в зависимости от направления появления препятствия по отношению к слабовидящему – спереди (грудь), сзади (спина). Ученые хотят закончить разработку в 2021 году.

Похожая разработка ведется командой научно-технологического парка «Фабрика» Балтийского федерального университета им. И. Канта. 3D-камера считывает окружающее пространство незрячего пациента. Изображение поступает на встроенный в устройство мини-компьютер, который выстраивает карту удаленности предметов, находящихся в поле зрения. Затем посредством специального контроллера и виброматрицы эта карта превращается в цепочку вибро-тактильных сигналов, которую незрячий человек ощущает на своей руке. Передача зрительной информации происходит по определенному алгоритму, изучив который, человек может представлять глубину и очертания находящихся перед ним предметов и объектов. На трехмерной карте окружающего пространства каждому объекту присваивается значение удаленности, и чем ближе к незрячему находится предмет, тем сильнее вибрация в соответствующей области виброматрицы.

Современные ассистивные средства для слабовидящих используют не только свойства нейропластичности мозга, но и различные высокотехнологичные решения, в частности, голосовые помощники, такие как Siri, «Алиса» и пр. 

Смартфон давно стал универсальным устройством для коммуникаций, поэтому на его основе создано множество приложений для слабовидящих. Вот некоторые из них:

Другая группа ассистивных приложений ориентирована на использование городской инфраструктуры. Примером может служить система «Говорящий город», разработанная для ориентации в городском пространстве Санкт-Петербурга. Система «Говорящий город» представляет собой совокупность носимых абонентских устройств и инфраструктурного оборудования, устанавливаемого на общественном транспорте, регулируемых пешеходных переходах, зданиях и сооружениях – снаружи и внутри социально значимых объектов (учреждений культуры, торговли, общественного питания), на жилых домах, ограждениях в местах проведения дорожных и строительных работ и т.п. 

Основной обмен информацией инфраструктурного оборудования и абонентских устройств осуществляется по радиоканалу незаметно для окружающих на расстоянии в среднем 3–15 м.

 

Как видим, существует много разных подходов и технологий помощи слабовидящим, находящихся в разной степени готовности. Каждая реализация обладает своей спецификой и предоставляет пользователям свой набор функциональных возможностей, ориентированный на тот или иной сценарий применения, но универсального решения пока не появилось.

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!