Интерфейс мозг-компьютер: пользователь вводит 90 символов в минуту с умом

Интерфейсмозгкомпьютерпользовательвводит90символоввминутусумом

система мозговых имплантатов, обученная расшифровывать нейронные сигналы для рукописного ввода парализованного человека позволили компьютеру набрать до 94 символов в минуту с 94 процент точности, как сообщили исследователи вчера (май ) в Природа. Авторы исследования говорят, что этот интерфейс мозг-компьютер (BCI) является значительным улучшением по сравнению с другими экспериментальными устройствами, нацеленными на облегчение общения людей, которые не могут говорить или двигаться, но еще много шагов предстоит сделать, прежде чем его можно будет использовать в клинических условиях

«Есть так много аспектов это здорово », – говорит Эмили Оби, которая работает над BCI в Университете Питтсбурга и не принимала участия в этой работе. «Это действительно хорошая демонстрация человеческого BCI, работающего над достижением клинической жизнеспособности», а также помогает понять, почему система на основе почерка, кажется, работает лучше, чем BCI, основанная на преобразовании нейронных сигналов для более простых физических движений, таких как указание на буквы. на дисплее.

Исследование стало результатом длительного клинического исследования под названием BrainGate2 , в котором парализованным участникам имплантированы датчики в моторную кору головного мозга, и они работают с исследователями, которые стремятся использовать данные датчиков для разработки BCI. «Из-за наследия моделей животных и истории поля [BCI], многие ранние работы были сосредоточены на этом методе набора текста с указанием и щелчком, при котором вы перемещаете курсор по экрану и вводите клавиши индивидуально. », – объясняет Фрэнк Уиллетт, член Трансляционной лаборатории нейропротезирования (NPTL) Стэнфордского университета и исследователь Медицинского института Говарда Хьюза. «Мы заинтересованы в расширении границ и поиске других способов, позволяющих людям общаться».

См. « Речь, декодированная на основе активности мозга в зоне для ручного управления »

Уиллетт и его коллеги работали с участником BrainGate2 по прозвищу Т5, у которого травма позвоночника, он может говорить и датчик в области мозга, известной как ручная ручка, которая связана с движением руки. На нескольких сеансах они просили T5 притвориться, что он держит ручку и пишет сотни предложений, которые они показывали ему на экране. Затем они использовали активность, обнаруженную датчиком T5, чтобы обучить нейронную сеть распознавать буквы, которые писал T5, и проверили способность программы генерировать текст в реальном времени на основе сигналов мозга, генерируемых, когда он представлял себе написание новых предложений.

Алгоритм интерпретирует шаблоны электрических сигналы из мозга Т5, когда он представлял, как пишет буквы.

F. WILLETT ET AL ./NATURE 03506

Исследователи сообщают, что обученная сеть позволила T5 «печатать» со скоростью до 150 символов в минуту и имел 1% точности в расшифровке написанных им писем. Это значительное улучшение предыдущего BCI , разработанного группой, который был на основе того, что участники управляют компьютерной мышью с помощью сигналов своего мозга и нажимают на буквы, что дает примерно 54 символов в минуту. По факту , авторы пишут, насколько им известно, это самая высокая скорость набора для любого BCI на данный момент.

Скорость критически важна для людей, которым нужны BCI для общения, отмечает Оби, потому что «чем быстрее и эффективнее они смогут общаться, тем лучше, с точки зрения повышения качества их жизни и просто упрощения и облегчения взаимодействия и уменьшения стресса ».

См. « Рост BCI делает возможными достижения в нейробиологии»

Чтобы понять, чем объясняется эта превосходная производительность, авторы проанализировали нейронные паттерны, соответствующие буквам и к движениям с прямым движением, используемым в BCI с функцией «укажи и щелкни». Они обнаружили, что шаблоны букв более отличаются друг от друга, что облегчает их расшифровку нейронной сети. Они также разработали свои собственные 40 – буквенный алфавит, изобилующий извилистыми линиями, которые, как показывают их модели, позволят получить еще более точный BCI, отказавшись от букв, написанных аналогично друг другу.

«[It] имеет большой смысл. . . что более сложная динамика движений действительно может помочь улучшить скорость передачи данных и точность декодирования », – говорит Эдвард Чанг, нейрохирург Калифорнийского университета в Сан-Франциско, который неофициально работал с группой NPTL, но не участвовал в ней. текущее исследование. «Они действительно используют новое измерение функций, которые помогают сделать сигналы более различимыми».

Насколько известно авторам, их BCI обеспечивает самую быструю скорость набора из всех разработанных до сих пор.

Чтобы сделать BCI готовым к клиническому использованию, потребуется несколько улучшений. К ним относятся изменения самого мозгового имплантата, такие как уменьшение его размеров и возможность беспроводной передачи сигнала, говорит соавтор исследования Джейми Хендерсон, нейрохирург из NPTL, который консультирует компанию Neuralink BCI и входит в медицинский консультативный совет Enspire, a компания, изучающая глубокую стимуляцию мозга для восстановления после инсульта. Кроме того, в ходе исследования исследователям необходимо было регулярно откалибровать BCI для учета минутных сдвигов в положениях датчиков, которые влияют на то, какую нейронную активность они улавливают; В идеале, говорят Хендерсон и Виллетт, этот процесс, а также начальное обучение нейронной сети должны быть автоматизированы.

Хендерсон, Уиллетт и старший автор Кришна Шеной, еще один член NPTL и следователь Медицинского института Говарда Хьюза, который консультирует или служит в Консультативные советы нескольких компаний, связанных с BCI, подали заявку на патент на метод нейронного декодирования, который они использовали, и обсуждают с компаниями возможность его лицензирования, говорит Шеной. В конечном счете, говорят Уиллетт и Хендерсон, они заинтересованы в изучении нейронных сигналов речи как способе сделать общение еще более быстрым, чем при использовании рукописного ввода. Скорость речи около – 249 слов в минуту, отмечает Хендерсон, и его расшифровка – интересная научная задача, потому что она уникальна для человека и не совсем понятно, как в мозгу производится речь. «Мы чувствуем, что это очень обширная область исследований, и поэтому одна из наших больших целей на следующие пять-десять лет – действительно решить проблему понимания речи и ее декодирования как в текст, так и в устное слово».