Cerebras представила самый быстрый в мире движок для выводов ИИ

Cerebras Systems выпустила Cerebras Inference, «самый быстрый движок для выводов ИИ». Способное обрабатывать 1800 токенов в секунду для модели Llama3.1* 8B и 450 токенов в секунду для модели Llama3*.1 70B, Cerebras Inference в 20 раз превосходит решения на базе GPU от NVIDIA.