ИИ уступил человеку в базовых тестах на понимание текста

Ученые проверили семь языковых моделей задавая им 40 вопросов с простыми грамматическими конструкциями. Те же вопросы были даны 400 носителям английского языка, после чего сравнили точность ответов.

Средний результат человека составил 89%, в то время как лучший результат среди ИИ — 83% (у ChatGPT-4). Остальные модели показали менее 70% точности. Кроме того, люди давали стабильные ответы в 87% случаев, а у ИИ этот показатель варьировался от 66% до 83%.

По словам ведущего автора исследования Виттории Дентеллы, языковые модели не понимают текст так, как люди. Они анализируют статистические закономерности в данных, а не осмысливают содержание. Это объясняет, почему ИИ иногда даёт несогласованные или ошибочные ответы.

Исследователи предупреждают, что несмотря на грамматическую правильность и правдоподобность текстов ИИ, его нельзя считать достаточно надежным для использования в критически важных сферах, требующих глубокого понимания контекста.