Ученые разработали медицинского ИИ для более надежной диагностики
Исследователи разработали медицинского ИИ, который самостоятельно анализирует данные пациента и ставит диагноз.
Источник: Новости науки
МОСКВА, 17 сентября /Новости науки/. Исследователи разработали медицинского ИИ-агента, который самостоятельно анализирует данные пациента и ставит диагноз. Ученые также нашли способ определять, в каких случаях его выводам можно доверять. Об этом говорится в статье, опубликованной в Nature Medicine.
«Ключевой вывод заключался в том, что поведенческая согласованность оказалась наиболее сильным показателем правильности диагноза», — говорится в статье.
Для проверки надежности ученые несколько раз запускали ИИ на одном и том же клиническом случае и сравнивали полученные диагнозы. Чем стабильнее система приходила к одному и тому же выводу, тем чаще этот диагноз оказывался правильным. Такой подход оказался надежнее, чем оценка собственной уверенности ИИ в ответе.
Разработанная система работает локально, то есть ее можно разместить непосредственно в медицинской организации. ИИ ведет диалог с виртуальным пациентом, запрашивает результаты обследований, анализы крови и мочи, данные радиологии и микробиологии, после чего формулирует диагноз и объясняет свое решение.
На основном наборе данных MIRA-v2, включавшем 551 клинический случай и семь заболеваний, лучшая из протестированных локальных моделей правильно определяла диагноз примерно в 90% случаев. Облачная модель, использованная для сравнения, показала результат 90,7%.
Исследователи также проверили, можно ли передавать ИИ часть случаев без обязательной проверки врача. При достаточно высокой стабильности ответов система отобрала 49,4% случаев, среди которых точность диагностики составила 98,9%. В таком сценарии ИИ самостоятельно обработал 272 из 551 случаев и допустил три ошибки.
Отдельный эксперимент показал, что система способна реагировать на недостаток информации. Когда из данных убрали часть сведений о пациенте, общая точность диагностики снизилась с 90,6% до 70,2%, а стабильность ответов ИИ также заметно уменьшилась.
Подход дополнительно проверили на независимом наборе VivaBench, состоящем из 990 клинических случаев по разным направлениям медицины. Стабильность повторных диагнозов и здесь оказалась наиболее информативным из проверенных показателей надежности.
Авторы отмечают, что исследование проводилось в форме компьютерной симуляции, а не в реальной клинической практике. Поэтому для применения такого подхода в медицине потребуются дополнительные исследования и проверка его работы с реальными пациентами.
«Ключевой вывод заключался в том, что поведенческая согласованность оказалась наиболее сильным показателем правильности диагноза», — говорится в статье.
Для проверки надежности ученые несколько раз запускали ИИ на одном и том же клиническом случае и сравнивали полученные диагнозы. Чем стабильнее система приходила к одному и тому же выводу, тем чаще этот диагноз оказывался правильным. Такой подход оказался надежнее, чем оценка собственной уверенности ИИ в ответе.
Разработанная система работает локально, то есть ее можно разместить непосредственно в медицинской организации. ИИ ведет диалог с виртуальным пациентом, запрашивает результаты обследований, анализы крови и мочи, данные радиологии и микробиологии, после чего формулирует диагноз и объясняет свое решение.
На основном наборе данных MIRA-v2, включавшем 551 клинический случай и семь заболеваний, лучшая из протестированных локальных моделей правильно определяла диагноз примерно в 90% случаев. Облачная модель, использованная для сравнения, показала результат 90,7%.
Исследователи также проверили, можно ли передавать ИИ часть случаев без обязательной проверки врача. При достаточно высокой стабильности ответов система отобрала 49,4% случаев, среди которых точность диагностики составила 98,9%. В таком сценарии ИИ самостоятельно обработал 272 из 551 случаев и допустил три ошибки.
Отдельный эксперимент показал, что система способна реагировать на недостаток информации. Когда из данных убрали часть сведений о пациенте, общая точность диагностики снизилась с 90,6% до 70,2%, а стабильность ответов ИИ также заметно уменьшилась.
Подход дополнительно проверили на независимом наборе VivaBench, состоящем из 990 клинических случаев по разным направлениям медицины. Стабильность повторных диагнозов и здесь оказалась наиболее информативным из проверенных показателей надежности.
Авторы отмечают, что исследование проводилось в форме компьютерной симуляции, а не в реальной клинической практике. Поэтому для применения такого подхода в медицине потребуются дополнительные исследования и проверка его работы с реальными пациентами.
