Наука и технологии1 мин.
Шансы ChatGPT на правильные ответы по коду ниже, чем при подбрасывании монеты
Но он слишком уверен в себе, чтобы ему не верить
© Ferra.ru / Kandinsky 2.2
Согласно результатам исследования, проведенного Университетом Пердью, чат-бот ChatGPT компании OpenAI более чем в половине случаев дает неправильные ответы на вопросы по программированию.
Анализ ответов на 517 запросов к Stack Overflow показал, что 52% ответов ChatGPT были неверными, а 77% - неоднозначными. Однако, несмотря на это, участники все равно предпочитали ответы ChatGPT в 39,34% случаев из-за его хорошо сформулированного стиля изложения.
Исследование показало, что вежливый язык и исчерпывающие ответы чат-бота часто маскировали неточности и даже обманывали треть участников.
ChatGPT признает, что может выдавать неточную информацию, но, как показало исследование, его уверенное изложение и авторитетный стиль часто заставляют пользователей доверять его ответам, даже если они ошибочны.
Источник:The Register