Ученые создали систему для распознавания текстов человека и ИИ с точностью 96%
Ученые создали систему, которая способна различать тексты, написанные человеком, полностью созданные искусственным интеллектом и переписанные с его помощью. В испытаниях она правильно определяла происхождение текста более чем в 96% случаев.
Источник: Новости науки
МОСКВА, 6 октября /Новости науки/. Исследователи разработали систему, которая различает написанные человеком, созданные искусственным интеллектом и перефразированные с его помощью тексты. Точность лучшего метода достигла 96,46%. Об этом говорится в статье, опубликованной в Scientific Reports.
Для разработки системы исследователи собрали около 162 тысяч текстов. Среди них было 46,8 тысячи материалов, написанных людьми, более 57 тысяч текстов, полностью созданных искусственным интеллектом, и почти 57,7 тысячи текстов, которые нейросети перефразировали.
Таким образом, разработанный метод должен был решать более сложную задачу, чем обычное разделение текстов на человеческие и созданные ИИ. Ему также требовалось распознавать материалы, первоначально написанные человеком, но затем переписанные нейросетью.
Для определения происхождения текста исследователи анализировали особенности словаря, стиля, построения предложений и другие языковые характеристики. Эти данные объединяли с анализом общего смысла и контекста текста с помощью нейросетевых методов.
Испытания показали, что отдельные системы распознавания определяли происхождение текста с точностью около 95%. Объединение нескольких методов повысило результат, а наиболее эффективный вариант достиг точности 96,46%.
Самыми сложными для распознавания оказались тексты, которые первоначально написал человек, а затем перефразировал искусственный интеллект. По данным исследования, такие материалы сильнее похожи на человеческие тексты, чем полностью созданный нейросетью контент.
Исследователи отмечают, что полученные показатели относятся к использованному набору текстов и системам искусственного интеллекта, включенным в эксперимент. В дальнейшем метод необходимо проверить на материалах из других областей и текстах, созданных нейросетями, которые не использовались при его разработке.
Для разработки системы исследователи собрали около 162 тысяч текстов. Среди них было 46,8 тысячи материалов, написанных людьми, более 57 тысяч текстов, полностью созданных искусственным интеллектом, и почти 57,7 тысячи текстов, которые нейросети перефразировали.
Таким образом, разработанный метод должен был решать более сложную задачу, чем обычное разделение текстов на человеческие и созданные ИИ. Ему также требовалось распознавать материалы, первоначально написанные человеком, но затем переписанные нейросетью.
Для определения происхождения текста исследователи анализировали особенности словаря, стиля, построения предложений и другие языковые характеристики. Эти данные объединяли с анализом общего смысла и контекста текста с помощью нейросетевых методов.
Испытания показали, что отдельные системы распознавания определяли происхождение текста с точностью около 95%. Объединение нескольких методов повысило результат, а наиболее эффективный вариант достиг точности 96,46%.
Самыми сложными для распознавания оказались тексты, которые первоначально написал человек, а затем перефразировал искусственный интеллект. По данным исследования, такие материалы сильнее похожи на человеческие тексты, чем полностью созданный нейросетью контент.
Исследователи отмечают, что полученные показатели относятся к использованному набору текстов и системам искусственного интеллекта, включенным в эксперимент. В дальнейшем метод необходимо проверить на материалах из других областей и текстах, созданных нейросетями, которые не использовались при его разработке.
