Нейронный имплант позволяет парализованному человеку печатать, воображая письмо

Нейронныйимплантпозволяетпарализованномучеловекупечататьвоображаяписьмо

Бесконтактный набор текста –

Парализованное индивидуальное нажатие 94 символов в минуту, 99% точность.

An artist's schematic of the system. An artist's schematic of the system.
Увеличить / Схема системы, сделанная художником.

Природа

Эло n Маск Neuralink

создает волны на технологической стороне нервных имплантатов, но пока не показано, как мы можем использовать имплантаты. На данный момент демонстрация перспективности имплантатов остается в руках академического сообщества.

На этой неделе академическое сообщество представило довольно впечатляющий пример перспективных возможностей нейронных имплантатов. Используя имплант, парализованному человеку удалось примерно напечатать символов в минуту, просто представив, что он пишет эти символы от руки.

Сновидения делают

Предыдущие попытки предоставить парализованным людям возможности набора текста с помощью имплантатов заключались в том, чтобы испытуемым давали виртуальную клавиатуру и позволяли им управлять курсором с помощью своего разума. Этот процесс эффективен, но медленен и требует полного внимания пользователя, так как испытуемый должен отслеживать перемещение курсора и определять, когда выполнять эквивалент нажатия клавиши. Это также требует, чтобы пользователь потратил время на то, чтобы научиться управлять системой.

Но есть и другие возможные пути вывода персонажей из мозга на страницу. Где-то в процессе написания мысли мы формируем намерение использовать определенный персонаж, и использование имплантата для отслеживания этого намерения потенциально может сработать. К сожалению, этот процесс не очень хорошо изучен.

После этого намерения решение передается в моторную кору, где оно переводится в действия. Опять же, есть стадия намерения, когда моторная кора определяет, что она будет формировать букву (например, путем набора или письма), которая затем преобразуется в определенные движения мышц, необходимые для выполнения действия. Эти процессы гораздо лучше поняты, и именно они стали целью исследовательской группы в своей новой работе.

В частности, исследователи поместили два имплантата в премоторную кору парализованного человека. Считается, что эта область участвует в формировании намерений выполнять движения. Улавливание этих намерений с большей вероятностью даст четкий сигнал, чем улавливание самих движений, которые, вероятно, будут сложными (любое движение задействует несколько мускулов) и зависит от контекста (где ваша рука находится относительно страницы, на которой вы пишете, и т. д.).

С имплантатами в в нужном месте исследователи попросили участника представить себе, как пишут буквы на странице, и записали нейронную активность, как он это делал.

Что это было снова?

Всего было примерно электроды в премоторной коре головного мозга участника. Не все из них были информативными для написания писем. Но для тех, которые были, авторы провели анализ главных компонентов, который выявил особенности нейронных записей, которые больше всего различались при представлении различных букв. Преобразовывая эти записи в двухмерный график, было очевидно, что действия, наблюдаемые при написании одного символа, всегда сгруппированы вместе. И физически похожие символы – например, p и b или h, n и r – образовывали кластеры рядом друг с другом.

(Исследователи также попросили участника использовать знаки препинания, такие как запятая и вопросительный знак, и использовали>, чтобы указать пробел и тильду для точки. )

В целом исследователи обнаружили, что они могут расшифровать соответствующий символ с точностью чуть выше процентов, но системе требовался относительно медленный анализ после записи нейронных данных. Чтобы все работало в реальном времени, исследователи обучили рекуррентную нейронную сеть оценивать вероятность сигнала, соответствующего каждой букве.

Несмотря на работу с относительно небольшим объемом данных (только 431 количество символов в предложениях), система работала замечательно . Задержка между мыслью и появлением персонажа на экране составляла всего полсекунды, и участник смог воспроизвести примерно 94 символов в минуту, что легко превзошло предыдущий рекорд для набора текста с помощью имплантата, который составлял примерно 51 символов в минуту. Частота необработанных ошибок составляла всего около 5 процентов, а применение такой системы, как автоматическая коррекция при вводе текста, могло снизить частоту ошибок до 1 процента.

Все тесты проводились с заранее подготовленными предложениями. Однако после проверки системы исследователи попросили участника напечатать ответы на вопросы в свободной форме. Здесь скорость немного снизилась (до 90 символов в минуту) и количество ошибок увеличилось до 2 процентов после автокоррекции, но система по-прежнему работала.

Даже прототип

По словам самих исследователей, это «еще не полная, клинически жизнеспособная система». Начнем с того, что он использовался только у одного человека, поэтому мы понятия не имеем, насколько хорошо он может сработать для других. Используемый здесь упрощенный алфавит не содержит цифр, заглавных букв или большинства форм пунктуации. И поведение имплантатов со временем меняется, возможно, из-за незначительных сдвигов по отношению к нейронам, которые они считывают, или из-за накопления рубцовой ткани, поэтому систему нужно было регулярно калибровать – не реже одного раза в неделю, чтобы поддерживать допустимый уровень ошибок. .

Тем не менее, система показывает очень значительный прирост скорости по сравнению с предыдущими системами, управляемыми имплантатами, и довольно хорошая точность. Система также имеет потенциал быть похожей на слепой набор в том смысле, что пользователю не нужно на самом деле визуально сосредотачиваться на создании букв, что позволяет более нормально взаимодействовать с окружением пользователя. Проблема с буквами может быть частично решена с помощью альтернативного алфавита, разработанного исследователями, в котором все буквы определены разными штрихами. Здесь большой потенциал.

эксперименты также напоминают о потенциале этих имплантатов в более общем плане и о том, почему компании могут начать находить технологию, стоящую коммерциализации.

Природа, 2021. DOI: 17. 1188 / с 1620839031 – 25 – 41586 – 2 ( О DOI ).