Ученые МИФИ повысили устойчивость нейросети к попыткам ее обмануть
Новая нейросеть оценивает, насколько можно доверять ее решению при поиске сетевых угроз. В испытаниях она лучше выдерживала попытки сбить ее с толку измененными данными.
Источник: Новости науки
МОСКВА, 24 сентября /Новости науки/. Ученые НИЯУ МИФИ предложили нейросеть, которая оценивает надежность выводов при поиске сетевых угроз. Исследование опубликовано в журнале Knowledge and Information Systems.
Злоумышленник может слегка изменить данные о сетевой активности так, чтобы система приняла вторжение за обычный трафик. Нейросеть при этом способна ошибиться с высокой уверенностью. Поэтому специалисту важно знать не только ее ответ, но и то, насколько он надежен.
Роджер Ник Анаедевха, Александр Трофимов и Юрий Бородачев изменили механизм внимания трансформера: часть его параметров при каждом прогоне выбирается из заданных распределений. Модель несколько раз анализирует одни и те же данные, после чего можно сравнить полученные прогнозы. Если они сильно расходятся, случай требует проверки человеком. Авторы сравнивают изменчивые параметры с «движущейся мишенью», для которой сложнее подобрать универсальный способ обмана.
Подход испытали на девяти наборах данных: модель искала сетевые вторжения, токсичные сообщения и ложные новости. Средняя точность составила 96,8%. После проверенных в исследовании атак модель сохраняла в среднем 88,3% исходной точности; модель сравнения на основе BERT — 47,7%. Эти показатели относятся к испытаниям на исследовательских наборах данных.
Уверенность модели также лучше соответствовала частоте ее правильных ответов: средняя ошибка калибровки составила 0,043. Когда для разметки отбирали наиболее неоднозначные примеры, 35% размеченных данных позволили получить 95% результата обучения на полном наборе.
За повторные проверки приходится платить временем. В одном из тестов 50 прогонов занимали 65 миллисекунд против 15 миллисекунд у базовой модели. Авторы рассматривают сокращение числа прогонов и применение метода к большим языковым моделям как дальнейшие направления работы. (
Злоумышленник может слегка изменить данные о сетевой активности так, чтобы система приняла вторжение за обычный трафик. Нейросеть при этом способна ошибиться с высокой уверенностью. Поэтому специалисту важно знать не только ее ответ, но и то, насколько он надежен.
Роджер Ник Анаедевха, Александр Трофимов и Юрий Бородачев изменили механизм внимания трансформера: часть его параметров при каждом прогоне выбирается из заданных распределений. Модель несколько раз анализирует одни и те же данные, после чего можно сравнить полученные прогнозы. Если они сильно расходятся, случай требует проверки человеком. Авторы сравнивают изменчивые параметры с «движущейся мишенью», для которой сложнее подобрать универсальный способ обмана.
Подход испытали на девяти наборах данных: модель искала сетевые вторжения, токсичные сообщения и ложные новости. Средняя точность составила 96,8%. После проверенных в исследовании атак модель сохраняла в среднем 88,3% исходной точности; модель сравнения на основе BERT — 47,7%. Эти показатели относятся к испытаниям на исследовательских наборах данных.
Уверенность модели также лучше соответствовала частоте ее правильных ответов: средняя ошибка калибровки составила 0,043. Когда для разметки отбирали наиболее неоднозначные примеры, 35% размеченных данных позволили получить 95% результата обучения на полном наборе.
За повторные проверки приходится платить временем. В одном из тестов 50 прогонов занимали 65 миллисекунд против 15 миллисекунд у базовой модели. Авторы рассматривают сокращение числа прогонов и применение метода к большим языковым моделям как дальнейшие направления работы. (
