Ученые придумали несуществующую болезнь, а нейросеть посчитала ее реальной
Специалисты предлагают создать систему постоянной независимой проверки медицинских ИИ-моделей — не только на фактические ошибки, но и на устойчивость к дезинформации, скрытым искажениям и другим уязвимостям.
Источник: David Parkins
МОСКВА, 8 апреля. /Новости науки/. Исследователи из Швеции придумали несуществующую болезнь под названием «биксономания» и выяснили, что популярные чат-боты на основе искусственного интеллекта начали уверенно описывать ее как реальное заболевание и даже советовать пользователям обратиться к врачу. Эксперимент показал, насколько легко ложная медицинская информация может попасть в ответы ИИ и затем начать распространяться дальше, в том числе через научные статьи. Об этом сообщает Nature.
Авторы эксперимента хотели проверить, сможет ли искусственный интеллект «поверить» в вымышленное заболевание, если о нем опубликовать фальшивые материалы в интернете. Для этого исследовательница из Университета Гётеборга Альмира Османович Тунстрём с коллегами придумала болезнь, якобы связанную с воздействием синего света от экранов на кожу век и глаза.
Затем команда разместила в 2024 году несколько заведомо фальшивых текстов о новой болезни, включая два псевдонаучных препринта от имени вымышленного автора из несуществующего университета. В публикациях было множество явных подсказок, что это подделка: например, автор благодарил «Академию Звездного флота» и корабль USS Enterprise, а среди спонсоров значились «Фонд профессора Сайдшоу Боба по передовым хитростям» и «Университет Братства Кольца».
Кроме того, в текстах прямо говорилось, что работа вымышлена, а в исследовании участвовали «50 выдуманных человек». Но, как показал эксперимент, даже такие сигналы не помешали системам ИИ воспринять информацию как настоящую.
Уже через короткое время после публикации фальшивых материалов крупные чат-боты начали упоминать биксономанию как реальное расстройство. Одни называли ее редким заболеванием, другие объясняли ее как состояние, вызванное чрезмерным воздействием синего света, и рекомендовали консультацию офтальмолога.
По словам авторов, эксперимент сработал даже ярче, чем они ожидали. Это вызвало тревогу у специалистов, потому что оказалось, что ИИ способен превращать явную подделку в правдоподобный медицинский совет.
Проблема усугубилась тем, что информация о выдуманной болезни начала проникать и в научную литературу. Один из журналов позже отозвал статью, в которой фальшивый препринт о биксономании был процитирован как настоящий источник. В этой публикации заболевание описывалось как «новая форма» потемнения кожи вокруг глаз, связанная с синим светом.
Для исследователей это стало дополнительным тревожным сигналом: по их мнению, часть авторов, возможно, использует сгенерированные ИИ ссылки и описания, не читая и не проверяя реальные источники.
Как отмечают эксперты, сам по себе интернет полон ложной информации, но в случае с большими языковыми моделями проблема острее. Они не просто находят ложные данные, а пересказывают их уверенным и убедительным тоном, как будто речь идет о проверенном медицинском факте.
Исследователи подчеркивают, что особенно опасна такая ситуация в медицине, где ошибка может прямо повлиять на здоровье человека. По их словам, если ИИ начинает ставить несуществующие диагнозы, это способно вводить пользователей в заблуждение и подрывать доверие к медицинской информации.
Часть компаний, разрабатывающих ИИ-системы, заявила, что более новые версии моделей стали осторожнее и лучше распознают сомнительные медицинские утверждения. Однако, как показал опыт с биксономанией, ответы таких систем все еще могут сильно меняться от формулировки вопроса и от того, какие источники попали в их обучающие данные.
Авторы эксперимента считают, что случай с биксономанией — не курьез, а предупреждение. По их мнению, если подобную схему использует недобросовестный человек или компания, можно относительно легко «внедрить» в ИИ ложную медицинскую идею и затем использовать ее, например, для продажи ненужных товаров или услуг.
Специалисты предлагают создать систему постоянной независимой проверки медицинских ИИ-моделей — не только на фактические ошибки, но и на устойчивость к дезинформации, скрытым искажениям и другим уязвимостям.
По словам экспертов, главный вывод из этой истории прост: чем активнее ИИ используют для медицинских советов, тем важнее проверять, на чем именно основаны его ответы. Иначе вымышленная болезнь может очень быстро начать жить собственной жизнью — как будто она всегда была реальной.
Авторы эксперимента хотели проверить, сможет ли искусственный интеллект «поверить» в вымышленное заболевание, если о нем опубликовать фальшивые материалы в интернете. Для этого исследовательница из Университета Гётеборга Альмира Османович Тунстрём с коллегами придумала болезнь, якобы связанную с воздействием синего света от экранов на кожу век и глаза.
Затем команда разместила в 2024 году несколько заведомо фальшивых текстов о новой болезни, включая два псевдонаучных препринта от имени вымышленного автора из несуществующего университета. В публикациях было множество явных подсказок, что это подделка: например, автор благодарил «Академию Звездного флота» и корабль USS Enterprise, а среди спонсоров значились «Фонд профессора Сайдшоу Боба по передовым хитростям» и «Университет Братства Кольца».
Кроме того, в текстах прямо говорилось, что работа вымышлена, а в исследовании участвовали «50 выдуманных человек». Но, как показал эксперимент, даже такие сигналы не помешали системам ИИ воспринять информацию как настоящую.
Уже через короткое время после публикации фальшивых материалов крупные чат-боты начали упоминать биксономанию как реальное расстройство. Одни называли ее редким заболеванием, другие объясняли ее как состояние, вызванное чрезмерным воздействием синего света, и рекомендовали консультацию офтальмолога.
По словам авторов, эксперимент сработал даже ярче, чем они ожидали. Это вызвало тревогу у специалистов, потому что оказалось, что ИИ способен превращать явную подделку в правдоподобный медицинский совет.
Проблема усугубилась тем, что информация о выдуманной болезни начала проникать и в научную литературу. Один из журналов позже отозвал статью, в которой фальшивый препринт о биксономании был процитирован как настоящий источник. В этой публикации заболевание описывалось как «новая форма» потемнения кожи вокруг глаз, связанная с синим светом.
Для исследователей это стало дополнительным тревожным сигналом: по их мнению, часть авторов, возможно, использует сгенерированные ИИ ссылки и описания, не читая и не проверяя реальные источники.
Как отмечают эксперты, сам по себе интернет полон ложной информации, но в случае с большими языковыми моделями проблема острее. Они не просто находят ложные данные, а пересказывают их уверенным и убедительным тоном, как будто речь идет о проверенном медицинском факте.
Исследователи подчеркивают, что особенно опасна такая ситуация в медицине, где ошибка может прямо повлиять на здоровье человека. По их словам, если ИИ начинает ставить несуществующие диагнозы, это способно вводить пользователей в заблуждение и подрывать доверие к медицинской информации.
Часть компаний, разрабатывающих ИИ-системы, заявила, что более новые версии моделей стали осторожнее и лучше распознают сомнительные медицинские утверждения. Однако, как показал опыт с биксономанией, ответы таких систем все еще могут сильно меняться от формулировки вопроса и от того, какие источники попали в их обучающие данные.
Авторы эксперимента считают, что случай с биксономанией — не курьез, а предупреждение. По их мнению, если подобную схему использует недобросовестный человек или компания, можно относительно легко «внедрить» в ИИ ложную медицинскую идею и затем использовать ее, например, для продажи ненужных товаров или услуг.
Специалисты предлагают создать систему постоянной независимой проверки медицинских ИИ-моделей — не только на фактические ошибки, но и на устойчивость к дезинформации, скрытым искажениям и другим уязвимостям.
По словам экспертов, главный вывод из этой истории прост: чем активнее ИИ используют для медицинских советов, тем важнее проверять, на чем именно основаны его ответы. Иначе вымышленная болезнь может очень быстро начать жить собственной жизнью — как будто она всегда была реальной.
