ИИ Яндекса научился генерировать видео по текстовому описанию

Новая модель может генерировать плавные движения объектов, таких как бегущая собака или падающий лист, что делает её полезной как для обычных пользователей, так и для профессионалов — блогеров, мультипликаторов и креаторов.

Ранее представленная версия нейросети могла генерировать анимацию, но объекты в кадре сильно менялись, и не было эффекта реалистичного движения.

Теперь YandexART (Vi) способна воссоздавать более цельные видеоролики благодаря обучению на видеоматериалах с движущимися объектами.

Нейросеть принимает текстовое описание от пользователя и создаёт анимацию на основе этого запроса, превращая цифровой шум в последовательность кадров.

Например, по запросу «Носорог танцует хип-хоп в лесу» модель сначала создаёт картинку, а затем генерирует плавное видео.