Учёные из MIT провели исследование, которое показало, что современные языковые модели ИИ, такие как GPT-4, не понимают настоящих «правил» окружающего мира. Это несмотря на их способность генерировать текст, который кажется осмысленным и интеллектуальным. Согласно исследованию, такие ИИ-системы просто прогнозируют вероятные слова в ответ на запросы, не обладая настоящим пониманием сложных систем. Исследователи из MIT разработали новые метрики для проверки способностей ИИ к навигации и логическому мышлению. Для этого они использовали детерминированные конечные автоматы (DFA) — задачи с фиксированными правилами. Тест включал навигацию по улицам Нью-Йорка и игру в «Отелло». В этих сценариях модели ИИ хорошо справлялись, пока не возникали сложности: на картах Нью-Йорка добавили объезды и модели начали генерировать нелогичные маршруты. Таким образом, исследование подтверждает, что даже самые передовые ИИ пока не могут «понять» мир, а лишь угадывают, основываясь на данных, и требуют дальнейшего развития.