Ученые предупредили о рисках «черных ящиков» для достоверности исследований
ИИ, спутниковые сервисы и цифровые датчики расширяют возможности ученых, но часто скрывают данные и алгоритмы обработки. Это затрудняет проверку результатов и может снижать доверие к науке.
Источник: Новости науки
МОСКВА, 19 августа. /Новости науки/. Международная группа ученых предупредила о растущей зависимости науки от непрозрачных цифровых инструментов. Об этом говорится в статье журнале BioScience.
Современные технологии позволяют обрабатывать огромные массивы информации, наблюдать за биоразнообразием на целых континентах и находить ранее недоступные закономерности. Однако закрытые алгоритмы, неизвестные исходные данные и недоступные процедуры обработки мешают независимо проверить или повторить полученные результаты.
«Многие из этих инструментов являются настоящими “черными ящиками”, поскольку процессы, стоящие за результатами, в значительной мере остаются скрытыми», — рассказал ведущий автор работы Иван Ярич из Университета Париж-Сакле.
Одним из наиболее заметных примеров ученые назвали большие языковые модели и другие системы искусственного интеллекта. Их применяют для анализа крупных наборов данных, распознавания спутниковых снимков и моделирования экосистем. При этом исследователи зачастую не имеют доступа к обучающим данным, алгоритмам и внутренним механизмам, определяющим ответы таких систем.
Проблема не ограничивается ИИ. Некоторые сервисы дистанционного зондирования предоставляют только обработанные изображения, а устройства слежения за животными — готовые координаты без исходных показаний датчиков. Поисковые системы и социальные сети используют скрытые и постоянно меняющиеся алгоритмы, способные вносить неизвестные искажения в данные о природе и поведении людей.
С похожими трудностями сталкиваются организаторы социологических исследований. Частные компании могут набирать участников и проводить опросы, не раскрывая критерии отбора респондентов и способы контроля качества. Ученым также становится сложнее определять, отвечал ли на вопросы человек или искусственный интеллект.
Авторы работы связывают распространение «черных ящиков» не только с коммерческой тайной. Цифровые системы становятся настолько сложными, что полностью разобраться в их работе иногда не могут даже разработчики. Зависимость от таких инструментов усиливают рост объема научных данных, экологические кризисы и давление на исследователей, вынужденных постоянно увеличивать число публикаций.
Ученые предлагают чаще использовать программы и оборудование с открытым исходным кодом, сравнивать результаты, полученные разными методами, и проверять закрытые системы на прозрачных наборах данных. В публикациях необходимо подробно указывать версии инструментов, настройки, происхождение данных, последовательность обработки и известные ограничения.
Авторы также призвали сохранять контроль человека на всех этапах исследования. Ответственность за ошибки и неопределенности, возникающие при использовании непрозрачных технологий, по их мнению, должны нести ученые, включившие результаты работы таких систем в свои публикации.
Современные технологии позволяют обрабатывать огромные массивы информации, наблюдать за биоразнообразием на целых континентах и находить ранее недоступные закономерности. Однако закрытые алгоритмы, неизвестные исходные данные и недоступные процедуры обработки мешают независимо проверить или повторить полученные результаты.
«Многие из этих инструментов являются настоящими “черными ящиками”, поскольку процессы, стоящие за результатами, в значительной мере остаются скрытыми», — рассказал ведущий автор работы Иван Ярич из Университета Париж-Сакле.
Одним из наиболее заметных примеров ученые назвали большие языковые модели и другие системы искусственного интеллекта. Их применяют для анализа крупных наборов данных, распознавания спутниковых снимков и моделирования экосистем. При этом исследователи зачастую не имеют доступа к обучающим данным, алгоритмам и внутренним механизмам, определяющим ответы таких систем.
Проблема не ограничивается ИИ. Некоторые сервисы дистанционного зондирования предоставляют только обработанные изображения, а устройства слежения за животными — готовые координаты без исходных показаний датчиков. Поисковые системы и социальные сети используют скрытые и постоянно меняющиеся алгоритмы, способные вносить неизвестные искажения в данные о природе и поведении людей.
С похожими трудностями сталкиваются организаторы социологических исследований. Частные компании могут набирать участников и проводить опросы, не раскрывая критерии отбора респондентов и способы контроля качества. Ученым также становится сложнее определять, отвечал ли на вопросы человек или искусственный интеллект.
Авторы работы связывают распространение «черных ящиков» не только с коммерческой тайной. Цифровые системы становятся настолько сложными, что полностью разобраться в их работе иногда не могут даже разработчики. Зависимость от таких инструментов усиливают рост объема научных данных, экологические кризисы и давление на исследователей, вынужденных постоянно увеличивать число публикаций.
Ученые предлагают чаще использовать программы и оборудование с открытым исходным кодом, сравнивать результаты, полученные разными методами, и проверять закрытые системы на прозрачных наборах данных. В публикациях необходимо подробно указывать версии инструментов, настройки, происхождение данных, последовательность обработки и известные ограничения.
Авторы также призвали сохранять контроль человека на всех этапах исследования. Ответственность за ошибки и неопределенности, возникающие при использовании непрозрачных технологий, по их мнению, должны нести ученые, включившие результаты работы таких систем в свои публикации.
