Десятки известных медицинских ИИ-моделей обучали на сомнительных данных - исследование
Эксперты, опрошенные Nature, предупреждают, что модели ИИ, обученные на данных неизвестного происхождения, нельзя использовать для клинических решений. Если их данные не отражают реальный мир, то они могут неверно оценивать риск болезни.
Источник: Новости науки. Иллюстрация подготовлена с помощью трансформера.
МОСКВА, 16 апреля. /ТАСС/. Исследователи обнаружили, что десятки широко известных моделей искусственного интеллекта для оценки риска инсульта и диабета обучались на наборах данных сомнительного происхождения. Часть таких моделей, судя по публикациям, уже использовалась в клинической практике, а как минимум два научных журнала начали проверку статей, в которых применялись эти данные. Об этом сообщает Nature со ссылкой на препринт на medRxiv.
Авторы работы во главе со статистиком Адрианом Барнеттом из Квинслендского технологического университета проанализировали 124 рецензируемые статьи, где для обучения моделей машинного обучения использовались два открытых медицинских датасета с платформы Kaggle. Эти наборы почти не содержали сведений о том, откуда взялись данные, когда и как они были собраны.
Один из наборов, Stroke Prediction Dataset, описывался как данные 5110 человек с 11 клиническими признаками для прогноза инсульта. Другой, Diabetes prediction data set, якобы содержал сведения о 100 тыс. человек, включая индекс массы тела, историю курения и уровень глюкозы. Но при проверке ученые нашли в них множество странностей, которые плохо согласуются с реальными медицинскими данными.
В частности, в наборе по инсульту оказалось подозрительно мало пропусков, хотя в настоящих медицинских базах они почти неизбежны: пациенты пропускают обследования, выбывают из наблюдения или умирают. В наборе по диабету исследователи нашли всего 18 дискретных значений глюкозы на 100 тыс. предполагаемых пациентов, а также тысячи, вероятно, дублирующихся записей. По мнению авторов, такие особенности могут указывать на искусственно созданные или сфабрикованные данные.
По данным препринта, из 124 найденных статей 104 использовали набор по инсульту, 21 — набор по диабету, а одна работа опиралась сразу на оба. Три модели имели признаки использования в клинической практике, одна фигурировала в патентной заявке на медицинское устройство, а две были доступны как открытые веб-инструменты для оценки риска.
Nature пишет, что как минимум две такие модели применялись в больницах Индонезии и Испании. При этом пока неясно, привело ли это к ошибочным диагнозам или неправильным назначениям.
Эксперты, опрошенные изданием, предупреждают, что модели, обученные на данных неизвестного происхождения, нельзя использовать для клинических решений. Если данные не отражают реальный мир, система может неверно оценивать риск болезни, а это чревато лишним лечением или, наоборот, отказом от нужной помощи.
После появления критики несколько журналов начали реагировать. Главный редактор Scientific Reports сообщил Nature, что редакция проверяет пять статей, упомянутых в препринте; с 31 марта журнал уже отозвал три из них, указав на сомнения в происхождении и достоверности данных. Frontiers in Bioengineering and Biotechnology также сообщил, что проводит проверку.
Авторы расследования считают, что сомнительные датасеты следует удалить из открытого доступа, чтобы их не использовали в новых исследованиях. Они также призывают журналы и научные фонды требовать обязательного раскрытия происхождения данных, если речь идет о медицинских ИИ-системах.
Авторы работы во главе со статистиком Адрианом Барнеттом из Квинслендского технологического университета проанализировали 124 рецензируемые статьи, где для обучения моделей машинного обучения использовались два открытых медицинских датасета с платформы Kaggle. Эти наборы почти не содержали сведений о том, откуда взялись данные, когда и как они были собраны.
Один из наборов, Stroke Prediction Dataset, описывался как данные 5110 человек с 11 клиническими признаками для прогноза инсульта. Другой, Diabetes prediction data set, якобы содержал сведения о 100 тыс. человек, включая индекс массы тела, историю курения и уровень глюкозы. Но при проверке ученые нашли в них множество странностей, которые плохо согласуются с реальными медицинскими данными.
В частности, в наборе по инсульту оказалось подозрительно мало пропусков, хотя в настоящих медицинских базах они почти неизбежны: пациенты пропускают обследования, выбывают из наблюдения или умирают. В наборе по диабету исследователи нашли всего 18 дискретных значений глюкозы на 100 тыс. предполагаемых пациентов, а также тысячи, вероятно, дублирующихся записей. По мнению авторов, такие особенности могут указывать на искусственно созданные или сфабрикованные данные.
По данным препринта, из 124 найденных статей 104 использовали набор по инсульту, 21 — набор по диабету, а одна работа опиралась сразу на оба. Три модели имели признаки использования в клинической практике, одна фигурировала в патентной заявке на медицинское устройство, а две были доступны как открытые веб-инструменты для оценки риска.
Nature пишет, что как минимум две такие модели применялись в больницах Индонезии и Испании. При этом пока неясно, привело ли это к ошибочным диагнозам или неправильным назначениям.
Эксперты, опрошенные изданием, предупреждают, что модели, обученные на данных неизвестного происхождения, нельзя использовать для клинических решений. Если данные не отражают реальный мир, система может неверно оценивать риск болезни, а это чревато лишним лечением или, наоборот, отказом от нужной помощи.
После появления критики несколько журналов начали реагировать. Главный редактор Scientific Reports сообщил Nature, что редакция проверяет пять статей, упомянутых в препринте; с 31 марта журнал уже отозвал три из них, указав на сомнения в происхождении и достоверности данных. Frontiers in Bioengineering and Biotechnology также сообщил, что проводит проверку.
Авторы расследования считают, что сомнительные датасеты следует удалить из открытого доступа, чтобы их не использовали в новых исследованиях. Они также призывают журналы и научные фонды требовать обязательного раскрытия происхождения данных, если речь идет о медицинских ИИ-системах.
