Ученые нашли ошибки в созданных ИИ каталогах лунных кратеров
ИИ быстро находит лунные кратеры, но новые каталоги пока нельзя автоматически считать готовыми для науки. Проверка SwRI показала, что ошибки в размере и положении кратеров могут исказить расчеты возраста поверхности Луны.
Источник: Новости науки.
МОСКВА, 9 июля /Новости науки/. Ученые выявили серьезные расхождения в лунных каталогах кратеров, созданных искусственным интеллектом. Результаты исследования опубликованы в журнале The Planetary Science Journal.
Каталоги кратеров нужны планетологам для оценки возраста поверхности Луны и других твердых небесных тел. Чем больше кратеров на участке, тем старше считается его поверхность, поэтому ошибки в их подсчете, размере или координатах могут привести к неверной реконструкции геологической истории.
«ИИ обладает огромным потенциалом для помощи в повторяющихся и трудоемких научных задачах, особенно при сборе данных. Но наш анализ показывает, что исследователи не должны считать созданный ИИ каталог кратеров готовым для научного использования только на основе опубликованных метрик», — заявил ведущий автор исследования Стюарт Роббинс.
Роббинс и его коллега Рэйчел Гувер сравнили восемь крупных или глобальных лунных каталогов кратеров, созданных автоматическими методами, с большим ручным каталогом. Проверка показала, что качество работы таких систем сильно зависит от того, как именно определяется «совпадение» кратера: для науки важно не только найти объект, но и правильно указать его положение и диаметр.
По словам авторов, при более строгих критериях почти все каталоги показали результаты хуже заявленных, а в некоторых случаях показатели снижались более чем в десять раз. Отдельная проблема заключается в том, что один общий показатель точности может скрывать слабые места: каталог может хорошо работать для кратеров одного размера, но быть ненадежным для других.
Исследователи подчеркнули, что их работа не направлена против использования ИИ в планетологии. Напротив, автоматическое распознавание кратеров может сэкономить ученым годы ручного труда, но для этого нужны единые стандарты проверки, прозрачные критерии сравнения и независимая валидация таких баз данных.
Каталоги кратеров нужны планетологам для оценки возраста поверхности Луны и других твердых небесных тел. Чем больше кратеров на участке, тем старше считается его поверхность, поэтому ошибки в их подсчете, размере или координатах могут привести к неверной реконструкции геологической истории.
«ИИ обладает огромным потенциалом для помощи в повторяющихся и трудоемких научных задачах, особенно при сборе данных. Но наш анализ показывает, что исследователи не должны считать созданный ИИ каталог кратеров готовым для научного использования только на основе опубликованных метрик», — заявил ведущий автор исследования Стюарт Роббинс.
Роббинс и его коллега Рэйчел Гувер сравнили восемь крупных или глобальных лунных каталогов кратеров, созданных автоматическими методами, с большим ручным каталогом. Проверка показала, что качество работы таких систем сильно зависит от того, как именно определяется «совпадение» кратера: для науки важно не только найти объект, но и правильно указать его положение и диаметр.
По словам авторов, при более строгих критериях почти все каталоги показали результаты хуже заявленных, а в некоторых случаях показатели снижались более чем в десять раз. Отдельная проблема заключается в том, что один общий показатель точности может скрывать слабые места: каталог может хорошо работать для кратеров одного размера, но быть ненадежным для других.
Исследователи подчеркнули, что их работа не направлена против использования ИИ в планетологии. Напротив, автоматическое распознавание кратеров может сэкономить ученым годы ручного труда, но для этого нужны единые стандарты проверки, прозрачные критерии сравнения и независимая валидация таких баз данных.
