ИИ Яндекса научился генерировать видео по текстовому описанию
Новая модель может генерировать плавные движения объектов, таких как бегущая собака или падающий лист, что делает её полезной как для обычных пользователей, так и для профессионалов — блогеров, мультипликаторов и креаторов.
Ранее представленная версия нейросети могла генерировать анимацию, но объекты в кадре сильно менялись, и не было эффекта реалистичного движения.
Теперь YandexART (Vi) способна воссоздавать более цельные видеоролики благодаря обучению на видеоматериалах с движущимися объектами.
Нейросеть принимает текстовое описание от пользователя и создаёт анимацию на основе этого запроса, превращая цифровой шум в последовательность кадров.
Например, по запросу «Носорог танцует хип-хоп в лесу» модель сначала создаёт картинку, а затем генерирует плавное видео.