ИИ предсказали застой: модели уже перестают развиваться

Так, согласно результатам июньского исследования «Закончатся ли у нас данные? Пределы масштабирования LLM на основе данных, созданных человеком», новая модель ИИ OpenAI — GPT-5 Orion — достигла уровня развития и обученности GPT-4 после прохождения 20% обучения. И прироста производительности больше не предвидится. И это фундаментальная проблема, касающаяся не только OpenAI, но и всех текущих моделей ИИ.

Как отмечается, Orion оказался не лучше GPT-4 в решении ряда задач. Эта ИИ-модель хорошо себя показывает в работе с языковыми задачами, но не превосходит предшественника, и даже модель GPT-3, в кодировании. Кроме того, по мнению инженеров, прирост производительности GPT-5 по сравнению с GPT-4 будет меньше, чем от GPT-3 к GPT-4.

В целом это проблема всей отрасли — исчерпание высококачественных данных для обучения ИИ. «Наши результаты показывают, что текущие тенденции развития LLM (больших языковых моделей) не могут быть поддержаны только за счёт традиционного масштабирования данных», — считают авторы исследования.