Ученые не всегда могут отличить созданные ИИ научные работы от написанных людьми

Чатбот с искусственным интеллектом (ИИ) ChatGPT может писать настолько убедительные рефераты научных работ, что ученые часто не могут их распознать, говорится в препринте, опубликованном на bioRxiv. Группа под руководством Кэтрин Гао из Северо-Западного университета в Чикаго использовала ChatGPT для создания искусственных рефератов научных работ, чтобы проверить, смогут ли ученые их распознать. Исследователи попросили чат-бота написать 50 рефератов медицинских исследований. Затем они сравнили их с оригинальными рефератами, пропустив их через детектор плагиата и “детектор ИИ-вывода”, и попросили группу медицинских исследователей выявить сфабрикованные рефераты. Рефераты, сгенерированные ChatGPT, прошли проверку на плагиат: средний балл оригинальности составил 100%, что означает, что плагиат не был обнаружен. ИИ-детектор обнаружил 66% сгенерированных тезисов. Но люди справились не намного лучше: они правильно определили только 68% сгенерированных рефератов и 86% подлинных рефератов. Они ошибочно определили, что 32% сгенерированных рефератов являются настоящими, а 14% настоящих рефератов - сгенерированными. Некоторые исследователи считают, что если ученые не смогут определить, является ли исследование подлинным, это может привести к "ужасным последствиям".