В МИФИ создали нейросеть которая умеет сопротивляться «отравлению» данных
Атака отравления данных выглядит не так эффектно, как взлом «в лоб», но может быть даже опаснее. Злоумышленник незаметно подмешивает в обучающую выборку специально искаженные примеры, и модель постепенно начинает усваивать ложные закономерности.
Источник: Новости науки. Иллюстрация создана с помощью трансформера.
МОСКВА, 22 апреля. /Новости науки/. Исследователи из НИЯУ МИФИ разработали архитектуру нейросети MambaShield, которая умеет выявлять и отфильтровывать вредоносные примеры в обучающих данных и потому остается значительно устойчивее к так называемым атакам отравления, говорится в сообщении пресс-службы МИФИ. Такие атаки считаются одной из самых опасных угроз для современных систем искусственного интеллекта, особенно в кибербезопасности, финансах, медицине и промышленности.
Атака отравления данных выглядит не так эффектно, как взлом «в лоб», но может быть даже опаснее. Злоумышленник незаметно подмешивает в обучающую выборку специально искаженные примеры, и модель постепенно начинает усваивать ложные закономерности. Внешне система может долго работать как обычно, но в критический момент начинает ошибаться.
Именно это делает проблему особенно серьезной. Если, например, банковская система защиты вначале распознает угрозы с точностью 95%, то после такого скрытого вмешательства ее качество может упасть почти вдвое.
В МИФИ решили искать решение не в доработке старых схем, а в новой архитектуре. За основу ученые взяли так называемые селективные модели в пространстве состояний. Их особенность в том, что они умеют динамически решать, какую информацию из потока данных сохранить, а какую отбросить.
На этой идее и построен MambaShield. Если обычная модель пытается обработать весь поток сразу, то новая архитектура работает избирательно и лучше отделяет полезный сигнал от враждебных вставок.
Авторы объясняют это на простом примере: если человек разговаривает в шумном кафе, обычный ИИ как будто пытается слушать одновременно звон посуды, музыку и все голоса вокруг. MambaShield ведет себя иначе — он сосредотачивается на нужном собеседнике и отсекает лишний шум, в том числе злонамеренный.
Чтобы добиться такой устойчивости, исследователи объединили в одной системе сразу три подхода.
Первый — прогрессивная дистилляция устойчивости. Вместо одной универсальной модели ученые сначала обучили несколько «учителей», каждый из которых специализировался на своем типе атак: один — на подмене меток, другой — на скрытых закладках, третий — на градиентных атаках. Затем знания всех этих моделей были переданы одной компактной рабочей системе.
Второй — иерархическое обучение с подкреплением. Благодаря ему MambaShield может менять стратегию защиты в зависимости от того, как ведет себя атакующий. Иными словами, если атака становится хитрее, модель перестраивается без вмешательства человека.
Третий элемент — PAC-байесовская сертификация. Это уже не просто эмпирическая устойчивость, а математическое обоснование надежности. По словам авторов, теоретически показано, что даже если до 30% обучающих данных окажутся отравленными, точность системы останется выше 97%.
Проверяли архитектуру на трех крупных наборах данных о кибератаках — CIC-IoT-2023, CSE-CICIDS2018 и UNSW-NB15. Все они содержат миллионы образцов вредоносного трафика и считаются очень сложными для анализа.
Результаты оказались сильными. Точность обнаружения угроз достигла 99,1%, тогда как у лучших аналогов она находится примерно на уровне 97%. При отравлении данных точность новой модели снижалась всего на 2–3%, тогда как обычные нейросети в таких условиях теряли 18–20%.
Еще одно преимущество — скорость. MambaShield обрабатывает последовательности в 4,2 раза быстрее, чем классический трансформер. Это особенно важно для реальных систем, где счет идет на время, а вычислительные ресурсы стоят дорого.
Авторы отмечают, что на практике это означает меньше пропущенных угроз, меньше ложных тревог и меньшие расходы на облачные вычисления.
При этом исследователи не скрывают и ограничений разработки. Лучше всего система работает на отрезках длиной до 1000 шагов. Если последовательности становятся слишком длинными — более 5000 шагов, — начинают накапливаться ошибки округления, и точность может снижаться. Кроме того, если отравленных примеров в обучении становится больше 50–70%, то ошибаться начинает уже любая система, включая MambaShield.
Разработчики подчеркивают, что область применения новой архитектуры не ограничивается кибербезопасностью. В медицине она может защищать системы от вредоносных искажений данных о пациентах. В беспилотном транспорте — повышать устойчивость моделей, обученных на подмешанных датасетах с дорожными знаками. В финансах — мешать мошенникам постепенно «приучать» антифрод-системы считать подозрительные операции нормой. В промышленности — защищать системы предиктивной аналитики, чтобы злоумышленники не могли скрыть опасные аномалии, подменяя показания датчиков.
Работа опубликована в журнале Expert Systems with Applications и уже получила грант Министерства экономического развития России по программе развития центров искусственного интеллекта.
По сути, MambaShield — это попытка создать не просто еще одну быструю нейросеть, а основу для доверенного ИИ, который можно использовать там, где цена ошибки особенно высока: на электростанциях, в банках, больницах и других критически важных системах.
Атака отравления данных выглядит не так эффектно, как взлом «в лоб», но может быть даже опаснее. Злоумышленник незаметно подмешивает в обучающую выборку специально искаженные примеры, и модель постепенно начинает усваивать ложные закономерности. Внешне система может долго работать как обычно, но в критический момент начинает ошибаться.
Именно это делает проблему особенно серьезной. Если, например, банковская система защиты вначале распознает угрозы с точностью 95%, то после такого скрытого вмешательства ее качество может упасть почти вдвое.
В МИФИ решили искать решение не в доработке старых схем, а в новой архитектуре. За основу ученые взяли так называемые селективные модели в пространстве состояний. Их особенность в том, что они умеют динамически решать, какую информацию из потока данных сохранить, а какую отбросить.
На этой идее и построен MambaShield. Если обычная модель пытается обработать весь поток сразу, то новая архитектура работает избирательно и лучше отделяет полезный сигнал от враждебных вставок.
Авторы объясняют это на простом примере: если человек разговаривает в шумном кафе, обычный ИИ как будто пытается слушать одновременно звон посуды, музыку и все голоса вокруг. MambaShield ведет себя иначе — он сосредотачивается на нужном собеседнике и отсекает лишний шум, в том числе злонамеренный.
Чтобы добиться такой устойчивости, исследователи объединили в одной системе сразу три подхода.
Первый — прогрессивная дистилляция устойчивости. Вместо одной универсальной модели ученые сначала обучили несколько «учителей», каждый из которых специализировался на своем типе атак: один — на подмене меток, другой — на скрытых закладках, третий — на градиентных атаках. Затем знания всех этих моделей были переданы одной компактной рабочей системе.
Второй — иерархическое обучение с подкреплением. Благодаря ему MambaShield может менять стратегию защиты в зависимости от того, как ведет себя атакующий. Иными словами, если атака становится хитрее, модель перестраивается без вмешательства человека.
Третий элемент — PAC-байесовская сертификация. Это уже не просто эмпирическая устойчивость, а математическое обоснование надежности. По словам авторов, теоретически показано, что даже если до 30% обучающих данных окажутся отравленными, точность системы останется выше 97%.
Проверяли архитектуру на трех крупных наборах данных о кибератаках — CIC-IoT-2023, CSE-CICIDS2018 и UNSW-NB15. Все они содержат миллионы образцов вредоносного трафика и считаются очень сложными для анализа.
Результаты оказались сильными. Точность обнаружения угроз достигла 99,1%, тогда как у лучших аналогов она находится примерно на уровне 97%. При отравлении данных точность новой модели снижалась всего на 2–3%, тогда как обычные нейросети в таких условиях теряли 18–20%.
Еще одно преимущество — скорость. MambaShield обрабатывает последовательности в 4,2 раза быстрее, чем классический трансформер. Это особенно важно для реальных систем, где счет идет на время, а вычислительные ресурсы стоят дорого.
Авторы отмечают, что на практике это означает меньше пропущенных угроз, меньше ложных тревог и меньшие расходы на облачные вычисления.
При этом исследователи не скрывают и ограничений разработки. Лучше всего система работает на отрезках длиной до 1000 шагов. Если последовательности становятся слишком длинными — более 5000 шагов, — начинают накапливаться ошибки округления, и точность может снижаться. Кроме того, если отравленных примеров в обучении становится больше 50–70%, то ошибаться начинает уже любая система, включая MambaShield.
Разработчики подчеркивают, что область применения новой архитектуры не ограничивается кибербезопасностью. В медицине она может защищать системы от вредоносных искажений данных о пациентах. В беспилотном транспорте — повышать устойчивость моделей, обученных на подмешанных датасетах с дорожными знаками. В финансах — мешать мошенникам постепенно «приучать» антифрод-системы считать подозрительные операции нормой. В промышленности — защищать системы предиктивной аналитики, чтобы злоумышленники не могли скрыть опасные аномалии, подменяя показания датчиков.
Работа опубликована в журнале Expert Systems with Applications и уже получила грант Министерства экономического развития России по программе развития центров искусственного интеллекта.
По сути, MambaShield — это попытка создать не просто еще одну быструю нейросеть, а основу для доверенного ИИ, который можно использовать там, где цена ошибки особенно высока: на электростанциях, в банках, больницах и других критически важных системах.
