ИИ-ускоритель от Groq превзошел всех конкурентов
В публичных тестахКомпания Groq, базирующаяся в Калифорнии, представила собственный ИИ-ускоритель LPU Inference Engine, который превзошел всех конкурентов в публичных тестах. Этот языковой процессор, разработанный для улучшения скорости обработки сложных вычислительных приложений, таких как модели с большим языковым объемом (LLM), позволяет генерировать текст гораздо быстрее.
© Ferra.ru
Специальный чип LPU преодолевает проблемы плотности вычислений и пропускной способности памяти, повышая скорость обработки. Этот процессор является ключевой частью инферентного двигателя компании, предоставляя ответы на запросы конечного пользователя с максимальным количеством слов для мгновенных ответов.
В тестах, проведенных независимыми экспертами, LPU Inference Engine Groq показал лучшие результаты по таким параметрам, как общее время ответа, пропускная способность во времени, вариация пропускной способности и латентность по отношению к пропускной способности. В сравнении с ведущими облачными провайдерами, Groq обошел их в скорости.
Источник:New Atlas
Автор:Булат Кармак