Ответы ИИ оказались менее разнообразными, чем результаты поиска Google
ИИ дает пользователям более узкий набор информации, чем обычный поиск Google. Анализ 27 языковых моделей показал, что их ответы в среднем менее разнообразны, а в будущем обучение на текстах, созданных другими системами ИИ, может еще сильнее сузить доступный круг знаний.
Источник: Новости науки
МОСКВА, 29 сентября /Новости науки/. Языковые модели дают пользователям менее разнообразную информацию, чем обычный поиск Google. Исследователи сравнили 27 моделей по 155 темам. Об этом сообщается в пресс-релизе, опубликованном на международном научно-информационном портале EurekAlert.
Для каждой из 155 тем специалисты использовали 200 различных формулировок запросов, основанных на вопросах реальных пользователей. В общей сложности исследование охватило около 1,7 миллиона сгенерированных ИИ ответов и примерно 70 миллионов содержащихся в них отдельных утверждений.
Даже наиболее разнообразная из протестированных языковых моделей предоставляла как минимум на 18,7% менее разнообразную информацию, чем Google. Все изученные модели в целом уступали обычному веб-поиску по разнообразию содержащихся в ответах сведений.
Исследователи связывают такой результат с принципом работы больших языковых моделей. При обучении они обрабатывают огромные объемы текста и усваивают наиболее часто встречающиеся закономерности. В результате сведения, отклоняющиеся от наиболее распространенных вариантов, могут реже появляться в ответах.
Авторы считают, что в будущем этот эффект способен усилиться, если языковые модели будут все чаще обучаться на материалах, созданных другими системами искусственного интеллекта. В таком случае в обучающие данные будут попадать уже менее разнообразные тексты, а при повторении этого процесса в нескольких поколениях моделей доступный пользователям круг информации может постепенно сужаться. Исследователи называют такой возможный процесс «коллапсом знаний».
При этом ученые подчеркивают, что сейчас «коллапс знаний» еще не наблюдается. Более новые модели в исследовании в среднем давали несколько более разнообразные ответы, чем старые. Кроме того, небольшие модели создавали более разнообразный контент, чем крупные.
Авторы работы считают, что при использовании искусственного интеллекта важно обращаться к разным источникам информации, особенно когда необходимо увидеть различные точки зрения и получить более полное представление о теме. Они также предлагают разработчикам учитывать разнообразие информации при создании будущих языковых моделей.
Для каждой из 155 тем специалисты использовали 200 различных формулировок запросов, основанных на вопросах реальных пользователей. В общей сложности исследование охватило около 1,7 миллиона сгенерированных ИИ ответов и примерно 70 миллионов содержащихся в них отдельных утверждений.
Даже наиболее разнообразная из протестированных языковых моделей предоставляла как минимум на 18,7% менее разнообразную информацию, чем Google. Все изученные модели в целом уступали обычному веб-поиску по разнообразию содержащихся в ответах сведений.
Исследователи связывают такой результат с принципом работы больших языковых моделей. При обучении они обрабатывают огромные объемы текста и усваивают наиболее часто встречающиеся закономерности. В результате сведения, отклоняющиеся от наиболее распространенных вариантов, могут реже появляться в ответах.
Авторы считают, что в будущем этот эффект способен усилиться, если языковые модели будут все чаще обучаться на материалах, созданных другими системами искусственного интеллекта. В таком случае в обучающие данные будут попадать уже менее разнообразные тексты, а при повторении этого процесса в нескольких поколениях моделей доступный пользователям круг информации может постепенно сужаться. Исследователи называют такой возможный процесс «коллапсом знаний».
При этом ученые подчеркивают, что сейчас «коллапс знаний» еще не наблюдается. Более новые модели в исследовании в среднем давали несколько более разнообразные ответы, чем старые. Кроме того, небольшие модели создавали более разнообразный контент, чем крупные.
Авторы работы считают, что при использовании искусственного интеллекта важно обращаться к разным источникам информации, особенно когда необходимо увидеть различные точки зрения и получить более полное представление о теме. Они также предлагают разработчикам учитывать разнообразие информации при создании будущих языковых моделей.
