Нейросеть научили распознавать стресс жертв телефонных мошенников по данным умных часов
Cистема может определять эмоциональное состояние примерно с точностью 90%.
Источник: Сергей Гатауллин / Институт перспективных технологий и индустриального программирования РТУ МИРЭА. Руководитель лаборатории индустриального программирования РТУ МИРЭА, кандидат технических наук Екатерина Плешакова.
МОСКВА, 18 апреля. /Новости науки/. Исследователи создали нейросетевую систему, которая по биометрическим данным человека может с высокой точностью распознавать эмоциональные состояния, характерные для общения с телефонными мошенниками, и предупреждать о риске обмана, сообщает пресс-служба РНФ.
«В будущем мы планируем собрать расширенные наборы данных, которые бы связывали реакцию на мошенничество с биомедицинскими сигналами человека, а также создать отдельные выборки среди населения, например, среди разных возрастных групп. Мы также хотели бы объединить классификатор эмоций на основе энцефалограмм с нейросетевыми моделями обработки естественного языка, чтобы успешнее распознавать мошенничество, анализируя также, что именно говорят мошенники», — приводятся в сообщении слова основного исполнителя проекта Сергея Гатауллина.
Работа посвящена одной из самых распространенных форм обмана — социальной инженерии. В таких случаях злоумышленники не взламывают банковские системы сами, а вынуждают жертву добровольно передать доступ к счетам, кодам или аккаунтам. Для этого они давят на человека эмоционально: пугают, вызывают ощущение срочности, говорят о якобы грозящей потере денег или имущества, не дают времени спокойно подумать.
Именно на этом психологическом механизме и решили сосредоточиться ученые из РТУ МИРЭА и Центрального экономико-математического института РАН. Они исходили из того, что телефонные мошенники используют вполне типичный набор эмоций — прежде всего страх, грусть и отвращение, — а значит, эти состояния можно попытаться автоматически выявлять.
Ранее подобные системы предлагали строить на основе электроэнцефалографии, то есть анализа активности мозга. Но такой подход неудобен для повседневного использования: ЭЭГ трудно собирать длительно и в обычной жизни. Поэтому исследователи пошли по более практичному пути и стали использовать другие биомаркеры стресса — частоту сердечных сокращений, вариабельность сердечного ритма и изменения артериального давления. Все эти показатели в принципе можно получать с носимых устройств вроде умных часов и фитнес-браслетов.
Чтобы научить систему распознавать эмоции, ученые использовали набор данных с участием 16 добровольцев в возрасте от 19 до 24 лет. Испытуемым показывали видеоклипы, вызывающие радость, грусть, страх, отвращение или нейтральную реакцию. Нейросеть училась сопоставлять изменения биометрических сигналов с этими состояниями и отслеживать, как эмоции меняются во времени.
Для повышения точности авторы объединили несколько сложных математических методов. В одной части модели использовалась архитектура Колмогорова-Арнольда, которая помогает разбирать данные на более мелкие и значимые элементы. В другой — специальный фильтр для лучшего различения разных типов информации. В итоге именно архитектура Колмогорова-Арнольда позволила повысить точность на 3–5% по сравнению со стандартными компонентами сверточных нейросетей.
Проверка на другом наборе данных показала, что система может определять эмоциональное состояние примерно с точностью 90%. При этом модель строит временную траекторию эмоций во время стрессовой ситуации. По словам исследователей, особенно опасным моментом оказывается устойчивый период страха: именно в это время человек наиболее уязвим для давления со стороны мошенников.
Авторы считают, что в перспективе такую систему можно встроить в носимые устройства. Тогда часы или браслет смогут в реальном времени анализировать сигналы организма и при достижении опасного уровня стресса подавать предупреждение — например, советовать сделать паузу, не принимать решение сразу и перепроверить сказанное через независимые каналы.
Исследование показывает, что борьба с телефонным мошенничеством может в будущем опираться не только на блокировку подозрительных номеров или анализ речи собеседника, но и на реакцию самого потенциального потерпевшего. Это делает подход особенно интересным: система оценивает не только то, что говорит злоумышленник, но и то, как на него реагирует человек.
Результаты работы, поддержанной грантом РНФ, опубликованы в журнале *Technologies*.
«В будущем мы планируем собрать расширенные наборы данных, которые бы связывали реакцию на мошенничество с биомедицинскими сигналами человека, а также создать отдельные выборки среди населения, например, среди разных возрастных групп. Мы также хотели бы объединить классификатор эмоций на основе энцефалограмм с нейросетевыми моделями обработки естественного языка, чтобы успешнее распознавать мошенничество, анализируя также, что именно говорят мошенники», — приводятся в сообщении слова основного исполнителя проекта Сергея Гатауллина.
Работа посвящена одной из самых распространенных форм обмана — социальной инженерии. В таких случаях злоумышленники не взламывают банковские системы сами, а вынуждают жертву добровольно передать доступ к счетам, кодам или аккаунтам. Для этого они давят на человека эмоционально: пугают, вызывают ощущение срочности, говорят о якобы грозящей потере денег или имущества, не дают времени спокойно подумать.
Именно на этом психологическом механизме и решили сосредоточиться ученые из РТУ МИРЭА и Центрального экономико-математического института РАН. Они исходили из того, что телефонные мошенники используют вполне типичный набор эмоций — прежде всего страх, грусть и отвращение, — а значит, эти состояния можно попытаться автоматически выявлять.
Ранее подобные системы предлагали строить на основе электроэнцефалографии, то есть анализа активности мозга. Но такой подход неудобен для повседневного использования: ЭЭГ трудно собирать длительно и в обычной жизни. Поэтому исследователи пошли по более практичному пути и стали использовать другие биомаркеры стресса — частоту сердечных сокращений, вариабельность сердечного ритма и изменения артериального давления. Все эти показатели в принципе можно получать с носимых устройств вроде умных часов и фитнес-браслетов.
Чтобы научить систему распознавать эмоции, ученые использовали набор данных с участием 16 добровольцев в возрасте от 19 до 24 лет. Испытуемым показывали видеоклипы, вызывающие радость, грусть, страх, отвращение или нейтральную реакцию. Нейросеть училась сопоставлять изменения биометрических сигналов с этими состояниями и отслеживать, как эмоции меняются во времени.
Для повышения точности авторы объединили несколько сложных математических методов. В одной части модели использовалась архитектура Колмогорова-Арнольда, которая помогает разбирать данные на более мелкие и значимые элементы. В другой — специальный фильтр для лучшего различения разных типов информации. В итоге именно архитектура Колмогорова-Арнольда позволила повысить точность на 3–5% по сравнению со стандартными компонентами сверточных нейросетей.
Проверка на другом наборе данных показала, что система может определять эмоциональное состояние примерно с точностью 90%. При этом модель строит временную траекторию эмоций во время стрессовой ситуации. По словам исследователей, особенно опасным моментом оказывается устойчивый период страха: именно в это время человек наиболее уязвим для давления со стороны мошенников.
Авторы считают, что в перспективе такую систему можно встроить в носимые устройства. Тогда часы или браслет смогут в реальном времени анализировать сигналы организма и при достижении опасного уровня стресса подавать предупреждение — например, советовать сделать паузу, не принимать решение сразу и перепроверить сказанное через независимые каналы.
Исследование показывает, что борьба с телефонным мошенничеством может в будущем опираться не только на блокировку подозрительных номеров или анализ речи собеседника, но и на реакцию самого потенциального потерпевшего. Это делает подход особенно интересным: система оценивает не только то, что говорит злоумышленник, но и то, как на него реагирует человек.
Результаты работы, поддержанной грантом РНФ, опубликованы в журнале *Technologies*.
