ИИ для разработчиков: Intel открыла код библиотеки ускорения NPU

В настоящее время только процессоры Meteor Lake могут похвастаться этим специализированным NPU, но дорожная карта Intel предусматривает интеграцию NPU в грядущие процессоры Arrow Lake и Lunar Lake позднее в этом году.

По словам представителя Intel Тони Монгколсмая, библиотека позволяет разработчикам запускать компактные модели ИИ, такие как Gemma-2b и TinyLlama, локально на своих устройствах. Эта возможность была продемонстрирована во время презентации Meteor Lake в живом демонстрационном ролике, запускающем модель на ноутбуке MSI Prestige 16 AI.

Хотя библиотека предлагает такие возможности, как 8-битное квантование и поддержка Float16, она все еще находится в стадии разработки. Ожидается, что в будущих обновлениях появится поддержка 4-битного квантования, смешанной точности с поддержкой NPU и многое другое.