Ученые научились распознавать воображаемые мелодии по активности мозга
Сигналы мозга позволили ученым определить, как человек мысленно продолжает знакомую песню. В будущем технология может помочь людям, которые не способны напеть или сыграть придуманную мелодию.
Источник: Новости науки.
МОСКВА, 4 августа /Новости науки/. Исследователи из Сеульского национального университета восстановили структуру воображаемых мелодий по сигналам мозга. Об этом сообщило Общество нейронаук, результаты работы опубликованы в журнале eNeuro.
Разработанный метод определяет не абсолютную высоту звуков, а соотношение между соседними нотами. Благодаря этому система может распознать мелодию независимо от того, в какой тональности человек ее представляет.
«Созданная нами модель расшифровывает относительные ступени звукоряда — например, до, ре, ми, фа, соль и ля, — а не точную высоту звуков. Это важно, поскольку люди обычно узнают мелодию по отношениям между нотами, даже если она звучит в другой тональности», — рассказал один из авторов исследования Джии Квон.
В эксперименте участвовали десять пациентов с эпилепсией. На поверхности их мозга уже находились электроды, установленные для медицинского наблюдения. Добровольцы слушали первые такты знакомых детских песен, затем мысленно продолжали мелодии и только после этого напевали представленные фрагменты.
Сигналы мозга содержали информацию об относительной высоте воображаемых нот. Объединив последовательные прогнозы модели, ученые смогли воспроизвести изменения мелодической линии, соответствующие структуре мысленно продолженной песни.
Авторы планируют выяснить, можно ли таким же способом определять темп, громкость и другие музыкальные характеристики, а также распознавать более сложные произведения. В перспективе технология может помочь людям без музыкального образования сохранять придуманные мелодии и пациентам с боковым амиотрофическим склерозом, которые не способны напеть или иным способом выразить то, что они представляют.
Разработанный метод определяет не абсолютную высоту звуков, а соотношение между соседними нотами. Благодаря этому система может распознать мелодию независимо от того, в какой тональности человек ее представляет.
«Созданная нами модель расшифровывает относительные ступени звукоряда — например, до, ре, ми, фа, соль и ля, — а не точную высоту звуков. Это важно, поскольку люди обычно узнают мелодию по отношениям между нотами, даже если она звучит в другой тональности», — рассказал один из авторов исследования Джии Квон.
В эксперименте участвовали десять пациентов с эпилепсией. На поверхности их мозга уже находились электроды, установленные для медицинского наблюдения. Добровольцы слушали первые такты знакомых детских песен, затем мысленно продолжали мелодии и только после этого напевали представленные фрагменты.
Сигналы мозга содержали информацию об относительной высоте воображаемых нот. Объединив последовательные прогнозы модели, ученые смогли воспроизвести изменения мелодической линии, соответствующие структуре мысленно продолженной песни.
Авторы планируют выяснить, можно ли таким же способом определять темп, громкость и другие музыкальные характеристики, а также распознавать более сложные произведения. В перспективе технология может помочь людям без музыкального образования сохранять придуманные мелодии и пациентам с боковым амиотрофическим склерозом, которые не способны напеть или иным способом выразить то, что они представляют.
