Исследование: чем сложнее ИИ, тем чаще он обманывает

Исследование возникло на фоне растущей популярности LLM, используемых для написания сочинений, стихотворений, решения математических задач и других задач. Ученые решили выяснить, становятся ли LLM более точными с каждым обновлением и как они реагируют, когда дают неправильный ответ. Для тестирования точности были заданы тысячи вопросов, которые варьировались по темам, включая математику, науку, анаграммы и географию.

Результаты показали общую тенденцию к улучшению точности с каждым новым обновлением, однако с ростом сложности вопросов точность снижалась. Интересно, что в новых версиях LLM реже признавали, что не знают ответ. Вместо этого они чаще делали предположения, что приводило к большему количеству как правильных, так и неправильных ответов.

Исследователи также отметили, что большинство участников не смогли выявить неверные ответы, что подчеркивает проблему надежности современных языковых моделей.