Система считывания сигналов мозга помогла людям с параличом общаться словами и жестами
Ученые создали систему, которая считывает сигналы мозга людей с тяжелым параличом и помогает им общаться не только словами, но и жестами.
Источник: Новости науки
МОСКВА, 15 сентября /Новости науки/. Ученые создали интерфейс «мозг — компьютер», который позволяет людям с тяжелым параличом одновременно передавать речь и жесты через аватар. Об этом говорится в статье, опубликованной в Nature Neuroscience.
«Разговор — это гораздо больше, чем произносимые слова. Это многоуровневый, динамичный процесс, в котором задействована вся моторная кора. Эта демонстрация принципа показывает, что интерфейс «мозг — компьютер» способен восстановить часть этой свободы и гибкости», — приводятся в пресс-релизе слова одного из авторов исследования.
Американские исследователи с помощью машинного обучения проанализировали активность мозга, которая возникает при одновременной попытке говорить и жестикулировать, у трех пациентов с разной степенью паралича голосового аппарата и тела. У двух участников систему удалось использовать для управления цифровым аватаром, который воспроизводил их речь и движения.
Для регистрации сигналов исследователи использовали тонкие матрицы датчиков для электрокортикографии, размещенные на моторной коре головного мозга. Участников просили пытаться произносить определенные фразы и выполнять привычные жесты, например махать рукой или показывать поднятый большой палец. Эти действия выполнялись как по отдельности, так и одновременно.
Исследование показало, что активность мозга при одновременной речи и жестах нельзя рассматривать как простую сумму сигналов, возникающих при этих действиях по отдельности. Несмотря на частичное совпадение, картина мозговой активности заметно различалась. Системы расшифровки успешнее распознавали одновременную речь и движения, если их предварительно обучали именно на данных, полученных во время совмещенных действий.
Такая технология может быть полезна людям с боковым амиотрофическим склерозом или перенесшим инсульт ствола мозга, у которых тяжелый паралич способен ограничить как речь, так и невербальное общение. Используемые сейчас системы отслеживания взгляда позволяют преобразовывать выбранный человеком текст в речь, однако, как отмечается в материале, они работают медленно, предоставляют ограниченные возможности для выражения эмоций и могут утомлять пользователей.
Использованный в исследовании нейроинтерфейс пока является проводным: имплантированные датчики соединены с внешним оборудованием для обработки сигналов. В дальнейшем исследователи планируют испытать полностью имплантируемую беспроводную версию системы, которая лучше подходит для длительного использования.
«Разговор — это гораздо больше, чем произносимые слова. Это многоуровневый, динамичный процесс, в котором задействована вся моторная кора. Эта демонстрация принципа показывает, что интерфейс «мозг — компьютер» способен восстановить часть этой свободы и гибкости», — приводятся в пресс-релизе слова одного из авторов исследования.
Американские исследователи с помощью машинного обучения проанализировали активность мозга, которая возникает при одновременной попытке говорить и жестикулировать, у трех пациентов с разной степенью паралича голосового аппарата и тела. У двух участников систему удалось использовать для управления цифровым аватаром, который воспроизводил их речь и движения.
Для регистрации сигналов исследователи использовали тонкие матрицы датчиков для электрокортикографии, размещенные на моторной коре головного мозга. Участников просили пытаться произносить определенные фразы и выполнять привычные жесты, например махать рукой или показывать поднятый большой палец. Эти действия выполнялись как по отдельности, так и одновременно.
Исследование показало, что активность мозга при одновременной речи и жестах нельзя рассматривать как простую сумму сигналов, возникающих при этих действиях по отдельности. Несмотря на частичное совпадение, картина мозговой активности заметно различалась. Системы расшифровки успешнее распознавали одновременную речь и движения, если их предварительно обучали именно на данных, полученных во время совмещенных действий.
Такая технология может быть полезна людям с боковым амиотрофическим склерозом или перенесшим инсульт ствола мозга, у которых тяжелый паралич способен ограничить как речь, так и невербальное общение. Используемые сейчас системы отслеживания взгляда позволяют преобразовывать выбранный человеком текст в речь, однако, как отмечается в материале, они работают медленно, предоставляют ограниченные возможности для выражения эмоций и могут утомлять пользователей.
Использованный в исследовании нейроинтерфейс пока является проводным: имплантированные датчики соединены с внешним оборудованием для обработки сигналов. В дальнейшем исследователи планируют испытать полностью имплантируемую беспроводную версию системы, которая лучше подходит для длительного использования.
