Российские ученые сократили ошибки при восстановлении пропусков в данных
Новый алгоритм анализирует процессы сразу на нескольких временных масштабах и восстанавливает утраченные значения в десятки раз точнее современных аналогов. В перспективе метод поможет прогнозировать экстремальную погоду, распознавать опасные изменения ЭЭГ и анализировать экономические кризисы.
Источник: Источник: Никита Кулагин / из архива НИИ прикладного ИИ и цифровых решений РЭУ имени Г. В. Плеханова. Авторы исследования демонстрируют схему работы разработанного метода машинного обучения.
МОСКВА, 22 августа /Новости науки/. Российские ученые из Москвы и Саратова создали метод восстановления пропусков в сложных данных. Об этом сообщила пресс-служба Российского научного фонда (РНФ).
Алгоритм NGRC-MDS в ходе испытаний сократил ошибки прогнозирования в десятки раз по сравнению с современными аналогами. Разработка предназначена для работы с многомасштабными и зашумленными данными — например, метеорологическими наблюдениями, медицинскими сигналами и экономическими показателями.
«Представим, что для предсказания погоды алгоритм рассматривает данные с интервалом в 10 минут. Но в реальности погода меняется не так постоянно: есть быстрые процессы — резкие порывы ветра — и очень медленные, такие как плавные изменения атмосферного давления. Поэтому одинаковый шаг в 10 минут позволит отлично уловить быстрые изменения, но совершенно бесполезен для понимания длительных», — объяснил участник проекта, ведущий научный сотрудник РЭУ имени Г. В. Плеханова и Саратовского государственного университета Артем Бадарин.
Авторы взяли за основу алгоритм резервуарных вычислений нового поколения NG-RC. Это быстрая и сравнительно нетребовательная к вычислительным ресурсам нейросеть, применяемая для прогнозирования динамики различных систем. Однако стандартная версия NG-RC анализирует прошлые данные на фиксированных временных интервалах и поэтому плохо восстанавливает пропуски в процессах, которые одновременно меняются с разной скоростью.
В новом методе модель самостоятельно анализирует структуру данных и выделяет характерные периоды изменений — от самых коротких до продолжительных. Меняя масштаб наблюдения, алгоритм выбирает в прошлом те временные отрезки, которые лучше всего помогают определить будущее состояние системы.
Эффективность NGRC-MDS ученые проверили на трех классических математических моделях, описывающих активность нейронов, атмосферные процессы и динамику популяций живых организмов. В этих вычислительных экспериментах метод превзошел сравниваемые алгоритмы восстановления неполных данных. Клинические испытания и проверка на реальных системах прогнозирования погоды еще только планируются.
«Предложенная технология открывает путь к надежному прогнозированию экстремальных погодных явлений, раннему предупреждению эпилептических приступов по ЭЭГ и предсказанию рыночных кризисов — там, где данные обычно многомасштабны и зашумлены и при этом критически важна каждая секунда предсказания», — рассказал руководитель проекта, член-корреспондент РАН Александр Храмов.
Исследователи намерены адаптировать алгоритм для анализа макроэкономических процессов совместно со специалистами ВЭБ.РФ. Возможности медицинского применения планируется изучать с НМХЦ имени Н. И. Пирогова, НМИЦ терапии и профилактической медицины Минздрава России, Пловдивским медицинским университетом и другими клиническими партнерами.
Пропуски в научных данных возникают из-за неисправностей измерительных приборов, потери отдельных значений и помех. Например, работа метеостанции может прерываться из-за технического сбоя, а в записи электрической активности мозга появляются шумы, связанные с движением пациента или особенностями работы оборудования. Без восстановления потерянных фрагментов такие данные трудно использовать для надежного прогнозирования.
Исследование провели специалисты Саратовского государственного университета имени Н. Г. Чернышевского и РЭУ имени Г. В. Плеханова в рамках проекта РНФ, выполняемого в Высшей школе экономики. Результаты работы опубликованы в журнале IEEE Transactions on Neural Networks and Learning Systems.
Алгоритм NGRC-MDS в ходе испытаний сократил ошибки прогнозирования в десятки раз по сравнению с современными аналогами. Разработка предназначена для работы с многомасштабными и зашумленными данными — например, метеорологическими наблюдениями, медицинскими сигналами и экономическими показателями.
«Представим, что для предсказания погоды алгоритм рассматривает данные с интервалом в 10 минут. Но в реальности погода меняется не так постоянно: есть быстрые процессы — резкие порывы ветра — и очень медленные, такие как плавные изменения атмосферного давления. Поэтому одинаковый шаг в 10 минут позволит отлично уловить быстрые изменения, но совершенно бесполезен для понимания длительных», — объяснил участник проекта, ведущий научный сотрудник РЭУ имени Г. В. Плеханова и Саратовского государственного университета Артем Бадарин.
Авторы взяли за основу алгоритм резервуарных вычислений нового поколения NG-RC. Это быстрая и сравнительно нетребовательная к вычислительным ресурсам нейросеть, применяемая для прогнозирования динамики различных систем. Однако стандартная версия NG-RC анализирует прошлые данные на фиксированных временных интервалах и поэтому плохо восстанавливает пропуски в процессах, которые одновременно меняются с разной скоростью.
В новом методе модель самостоятельно анализирует структуру данных и выделяет характерные периоды изменений — от самых коротких до продолжительных. Меняя масштаб наблюдения, алгоритм выбирает в прошлом те временные отрезки, которые лучше всего помогают определить будущее состояние системы.
Эффективность NGRC-MDS ученые проверили на трех классических математических моделях, описывающих активность нейронов, атмосферные процессы и динамику популяций живых организмов. В этих вычислительных экспериментах метод превзошел сравниваемые алгоритмы восстановления неполных данных. Клинические испытания и проверка на реальных системах прогнозирования погоды еще только планируются.
«Предложенная технология открывает путь к надежному прогнозированию экстремальных погодных явлений, раннему предупреждению эпилептических приступов по ЭЭГ и предсказанию рыночных кризисов — там, где данные обычно многомасштабны и зашумлены и при этом критически важна каждая секунда предсказания», — рассказал руководитель проекта, член-корреспондент РАН Александр Храмов.
Исследователи намерены адаптировать алгоритм для анализа макроэкономических процессов совместно со специалистами ВЭБ.РФ. Возможности медицинского применения планируется изучать с НМХЦ имени Н. И. Пирогова, НМИЦ терапии и профилактической медицины Минздрава России, Пловдивским медицинским университетом и другими клиническими партнерами.
Пропуски в научных данных возникают из-за неисправностей измерительных приборов, потери отдельных значений и помех. Например, работа метеостанции может прерываться из-за технического сбоя, а в записи электрической активности мозга появляются шумы, связанные с движением пациента или особенностями работы оборудования. Без восстановления потерянных фрагментов такие данные трудно использовать для надежного прогнозирования.
Исследование провели специалисты Саратовского государственного университета имени Н. Г. Чернышевского и РЭУ имени Г. В. Плеханова в рамках проекта РНФ, выполняемого в Высшей школе экономики. Результаты работы опубликованы в журнале IEEE Transactions on Neural Networks and Learning Systems.
