Nvidia представила новую платформу для ускорения запуска ИИ

И разработки

На конференции GTC компания Nvidia представила новую программную платформу Nvidia NIM, предназначенную для упрощения запуска пользовательских и предварительно обученных моделей искусственного интеллекта в производственных средах. NIM объединяет оптимизированные модели и движок вывода в контейнер, делая их доступными в виде микросервисов.

Nvidia представила новую платформу для ускорения запуска ИИ

Ранее разработка подобных контейнеров занимала разработчикам недели, а то и месяцы. С NIM компания стремится создать экосистему готовых к использованию микросервисов для ускорения разработки и реализации проектов искусственного интеллекта.

Платформа уже поддерживает модели от различных компаний, таких как NVIDIA, A121, Adept, Cohere, Getty Images и других, а также открытые модели от Google, Hugging Face, Microsoft и других.

Nvidia планирует интегрировать NIM с SageMaker от Amazon, Kubernetes Engine от Google и Azure AI от Microsoft, а также с различными фреймворками.

В рамках NIM компания предоставляет ряд микросервисов, включая Riva для настройки моделей речи и перевода, cuOpt для оптимизации маршрутизации и модель Earth-2 для симуляций погоды и климата.