12 мая Стэнфордский университет объявил о создании нового имплантата, позволяющего парализованным людям преобразовывать мысленные сигналы в текст на экране компьютера. С помощью интерфейса «мозг — компьютер» (ИМК или BCI) 65-летний участник испытаний набрал 90 символов за минуту с точностью 94,1 %. 

Первые научные работы по теме интерфейса «мозг — компьютер» начали появляться в 1970-х годах. В восьмидесятых учёные предложили использовать ИМК для помощи парализованным людям и описали принципиальную схему работы устройства. В 1998 году проходит первая операция по внедрению нейроинтерфейса в художника и музыканта Джонни Рей. После тренировок Рей мог управлять курсором на экране и генерировать музыкальные сигналы. С тех пор похожие эксперименты проводились неоднократно.

Новый проект разработан исследователями Медицинского института Говарда Хьюза в Стэнфордском университете под руководством нейрохирурга Джейми Хендерсона и Кришны Шеноя. Шеной и Хендерсон сотрудничают в области BCI с 2005 года. В 2017 году они публикуют исследование в журнале eLife, в котором использовали первую систему ИМК. Исследователи просили трёх испытуемых с параличом сконцентрироваться и представить движение руки, перемещение мышки по монитору и нажатие на клавишу. Полученные результаты они перенесли в новое исследование. 

Первым испытателем нового устройства стал 65-летний мужчина, участвовавший в исследовании 2017 года. Из-за травмы спинного мозга в 2007 году его тело ниже шеи было парализовано. В предмоторную кору головного мозга мужчины вживили два имплантата с сотней электродов на каждом. Оба имплантата единовременно считывают сигналы от двухста нейронов. В предмоторной коре происходит формирование намерения выполнить движение, которое улавливает ИМК. Для написания буквы на экране мужчине необходимо было представить движение так, как бы он выполнил его с помощью руки. После два имплантата передавали сигналы алгоритму, который переводил их в буквы и отображал на экране.

Другие существующие ИМК предлагают пользователю электронную клавиатуру и курсор, с помощью которого набирается текст. Процесс занимает много времени и требует полной концентрации внимания. Созданный в Стэнфорде ИМК распознаёт «почерк» человека на основе полученных из мозга сигналов и самостоятельно набирает текст на экране. Это ускоряет работу и упрощает обучение. Также пользователю больше не нужно полностью концентрироваться на управлении курсором благодаря автоматическому распознаванию символов в алгоритме. 

«Написанные» испытуемым буквы и то, как их распознал алгоритм.

В результате испытуемый набрал 90 символов за минуту с заранее подготовленного текста. Здоровые люди того же возраста набирают на смартфоне 115 слов в минуту. Точностью распознавания составила 94,1 %. Её удалось повысить до 99 % после введения автокоррекции. С произвольного текста испытуемый набрал 75 символов за минуту с точностью 98 %. Точность набора на новом ИМК близка к средним показателям у здоровых людей.

Для достижения полученных результатов исследователи предварительно обучали алгоритм. Испытуемого мужчину просили представлять то как он пишет ту или иную букву, знак препинания и пробел. Для обозначения пробела использовался символ «>». Далее учёные определили особенности нейронных записей при «написании» той или иной буквы. В процессе выяснилось, что сигналы для написания одного символа сгруппированы в одном и том же месте. Физически похожие символы (p, b, h) образовывали кластеры рядом друг с другом. Таким образом удалось выделить общие закономерности и обучить алгоритм для автоматического распознавания символов. 

По словам исследователей, новый ИМК пока не готов к использованию. Его успели испытать только на одном человеке и не ясно, придётся ли заново обучать алгоритм для применения на других людях. В программе не содержится цифр, заглавных букв и большинства форм пунктуации. Кроме того, образование рубцовой ткани сместило имплантаты, и устройство пришлось калибровать. Тем не менее такой ИМК уже обладает преимуществами в виде скорости работы и удобства использования. 

Материалы исследования были опубликованы в статье «High-performance brain-to-text communication via handwriting» в журнале Nature. DOI: 10.1038/s41586-021-03506-2