ИИ Meta* Llama 4 Maverick отстал от конкурентов в тесте ИИ-чатботов
Тесты закончились не лучшим образомНовый ИИ Meta*, Llama 4 Maverick*, оказался в центре внимания после низких результатов на популярном тесте LM Arena, где люди сравнивают ответы чат-ботов. Как выяснилось, стандартная версия модели, названная «Llama-4-Maverick-17B-128E-Instruct», заняла лишь 32-е место, уступив лидерам вроде GPT-4o от OpenAI, Claude 3.5 Sonnet от Anthropic и Gemini 1.5 Pro от Google. Эти конкуренты, многие из которых вышли раньше, обошли Maverick* по качеству диалогов.
/imgs/2025/04/12/12/6785655/4836f0fb69e1d337702f4d777f5994701cd2465a.jpeg "ИИ Meta* Llama 4 Maverick отстал от конкурентов в тесте ИИ-чатботов")
© Ferra.ru
Ранее Meta* вызвала споры, использовав экспериментальную версию Maverick*, «оптимизированную для разговоров», чтобы добиться высокого результата в том же тесте. После критики организаторы LM Arena изменили правила и протестировали обычную версию, которая оказалась менее впечатляющей. LM Arena — это площадка, где модели ИИ соревнуются в естественности и полезности ответов, что важно для разработчиков.
Представитель Meta* пояснил, что компания экспериментирует с разными вариантами моделей, а Llama 4* теперь открыта для доработки сообществом.
*принадлежит Meta, которая признана в РФ экстремистской и запрещена