Фальшивые ссылки чаще всего находятся в препринтах по социальным наукам - Nature
Ученые проверили 2,5 млн научных работ и препринтов и нашли почти 147 тыс. несуществующих ссылок только в публикациях 2025 года. Самая высокая доля таких ссылок оказалась на сервере препринтов SSRN, который используют авторы работ по социальным наукам.
Источник: Новости науки.
МОСКВА, 15 мая. /Новости науки/. Использование учеными искусственного интеллекта в подготовке публикаций заметно усилило проблему фальшивых научных ссылок: анализ крупных научных репозиториев выявил 146 932 «галлюцинированные» цитаты в работах и препринтах, опубликованных в 2025 году. Об этом сообщает Nature со ссылкой на препринт исследовательской группы, размещенный на arXiv.
Авторы работы изучили 2,5 млн статей и препринтов. В общей сложности они проверили 111 млн ссылок из материалов, размещенных в arXiv, bioRxiv, Social Science Research Network (SSRN), PubMed Central и других крупных базах.
Под «галлюцинированными» ссылками исследователи понимают ссылки на несуществующие научные работы, авторов или публикации. Такая ошибка стала особенно заметной после массового распространения больших языковых моделей. Эти системы могут уверенно придумывать названия статей, журналы, годы публикации и авторов, если пользователь просит их оформить библиографию.
Ученые извлекли названия источников из списков литературы и сверили их с Semantic Scholar, OpenAlex и Google Scholar. Если ссылку не удавалось найти, а языковая модель определяла ее как попытку сослаться на научный источник, такую запись относили к неподтвержденным. Чтобы отделить старые обычные ошибки от возможного влияния новых ИИ-систем, авторы учитывали проблемные ссылки только в работах после 2022 года. Именно тогда вышел ChatGPT, первая массовая большая языковая модель.
Самый высокий показатель нашли в SSRN, сервере препринтов по социальным наукам. Среди работ, размещенных там к августу 2025 года, 1,91% ссылок оказались похожи на галлюцинации. Это почти в пять раз выше, чем в любом другом крупном репозитории из анализа.
На втором месте оказался arXiv, где публикуют препринты по физике, математике, информатике и смежным областям. Там доля ошибочных или несуществующих ссылок составила 0,39%. В базе PubMed Central, которая содержит рецензируемые биомедицинские статьи, показатель достиг 0,27%. В bioRxiv, сервере препринтов по биологии, он составил 0,21%.
Исследователи также заметили важную закономерность. Фальшивые ссылки чаще встречались в работах авторов, у которых было мало публикаций до 2022 года. При этом несуществующие статьи часто приписывали уже известным и хорошо цитируемым ученым. Среди таких «получателей» фальшивых ссылок чаще встречались мужчины.
Авторы подчеркивают, что библиографические ошибки существовали и до появления нейросетей. Однако масштаб новых данных показывает, что научным журналам, репозиториям и редакторам нужно строже проверять списки литературы. Иначе несуществующие ссылки будут загрязнять научную литературу, мешать поиску источников и искажать картину научного влияния.
Работа размещена на сервере arXiv и пока не прошла независимое рецензирование. Основной метод исследования — автоматическая проверка ссылок в 2,5 млн научных текстов по базам Semantic Scholar, OpenAlex и Google Scholar.
Авторы работы изучили 2,5 млн статей и препринтов. В общей сложности они проверили 111 млн ссылок из материалов, размещенных в arXiv, bioRxiv, Social Science Research Network (SSRN), PubMed Central и других крупных базах.
Под «галлюцинированными» ссылками исследователи понимают ссылки на несуществующие научные работы, авторов или публикации. Такая ошибка стала особенно заметной после массового распространения больших языковых моделей. Эти системы могут уверенно придумывать названия статей, журналы, годы публикации и авторов, если пользователь просит их оформить библиографию.
Ученые извлекли названия источников из списков литературы и сверили их с Semantic Scholar, OpenAlex и Google Scholar. Если ссылку не удавалось найти, а языковая модель определяла ее как попытку сослаться на научный источник, такую запись относили к неподтвержденным. Чтобы отделить старые обычные ошибки от возможного влияния новых ИИ-систем, авторы учитывали проблемные ссылки только в работах после 2022 года. Именно тогда вышел ChatGPT, первая массовая большая языковая модель.
Самый высокий показатель нашли в SSRN, сервере препринтов по социальным наукам. Среди работ, размещенных там к августу 2025 года, 1,91% ссылок оказались похожи на галлюцинации. Это почти в пять раз выше, чем в любом другом крупном репозитории из анализа.
На втором месте оказался arXiv, где публикуют препринты по физике, математике, информатике и смежным областям. Там доля ошибочных или несуществующих ссылок составила 0,39%. В базе PubMed Central, которая содержит рецензируемые биомедицинские статьи, показатель достиг 0,27%. В bioRxiv, сервере препринтов по биологии, он составил 0,21%.
Исследователи также заметили важную закономерность. Фальшивые ссылки чаще встречались в работах авторов, у которых было мало публикаций до 2022 года. При этом несуществующие статьи часто приписывали уже известным и хорошо цитируемым ученым. Среди таких «получателей» фальшивых ссылок чаще встречались мужчины.
Авторы подчеркивают, что библиографические ошибки существовали и до появления нейросетей. Однако масштаб новых данных показывает, что научным журналам, репозиториям и редакторам нужно строже проверять списки литературы. Иначе несуществующие ссылки будут загрязнять научную литературу, мешать поиску источников и искажать картину научного влияния.
Работа размещена на сервере arXiv и пока не прошла независимое рецензирование. Основной метод исследования — автоматическая проверка ссылок в 2,5 млн научных текстов по базам Semantic Scholar, OpenAlex и Google Scholar.
