Ученые не всегда могут отличить созданные ИИ научные работы от написанных людьми

Группа под руководством Кэтрин Гао из Северо-Западного университета в Чикаго использовала ChatGPT для создания искусственных рефератов научных работ, чтобы проверить, смогут ли ученые их распознать. Исследователи попросили чат-бота написать 50 рефератов медицинских исследований. Затем они сравнили их с оригинальными рефератами, пропустив их через детектор плагиата и “детектор ИИ-вывода”, и попросили группу медицинских исследователей выявить сфабрикованные рефераты.

Рефераты, сгенерированные ChatGPT, прошли проверку на плагиат: средний балл оригинальности составил 100%, что означает, что плагиат не был обнаружен. ИИ-детектор обнаружил 66% сгенерированных тезисов. Но люди справились не намного лучше: они правильно определили только 68% сгенерированных рефератов и 86% подлинных рефератов.

Они ошибочно определили, что 32% сгенерированных рефератов являются настоящими, а 14% настоящих рефератов - сгенерированными. Некоторые исследователи считают, что если ученые не смогут определить, является ли исследование подлинным, это может привести к "ужасным последствиям".