Мозговой имплантат одновременно декодирует речь и жесты

Учёные сообщили, что единое мозговое имплантируемое устройство способно одновременно декодировать речь и жесты у парализованных пациентов. Результаты продвигают интерфейсы мозг-компьютер и могут помочь людям с параличом общаться более естественно. Исследование опубликовано 14 сентября в журнале Nature Neuroscience.

Естественное человеческое общение часто сочетает речь и жесты, например взмахи, кивки или другие движения верхней части тела. Инсульт и нейродегенеративные заболевания, такие как боковой амиотрофический склероз, могут одновременно нарушать речь и движения тела, ослабляя социальное взаимодействие. Интерфейсы мозг-компьютер предназначены для преобразования мозговой активности в команды для внешних устройств и восстановления утраченных функций, однако ранее исследования в основном отдельно фокусировались на речи или движении. Эдвард Чанг и коллеги из Калифорнийского университета в Сан-Франциско использовали имплантат над сенсомоторной корой и записывали нейронную активность трёх участников с параличом голосового аппарата и конечностей. Сначала они показали, что одно устройство может собирать сигналы, связанные с разными типами движений, включая движения верхних конечностей и связанные с речью движения рта и лица, например пожатие плечами, движение кулаком или кивок. Затем у двух участников с помощью параллельных декодеров речи и жестов управляли полнотельным аватаром: участников просили пытаться выполнять определённые жесты, отвечать на диалоговые подсказки или делать и то и другое одновременно. В диалоговой задаче система точно декодировала речь и жесты двух участников: у одного из них в трёх блоках диалоговых задач медианная точность декодирования речи и жестов достигла 100%.

Исследователи обнаружили, что одновременное обучение системы на данных речи и жестов повышает производительность и уменьшает ошибки. Они отметили, что до внедрения технологии необходимо включить больше участников и протестировать более крупные наборы слов и жестов. В перспективе такой подход может позволить парализованным пациентам общаться более естественно за счёт совместного использования речи и жестов.