ИИ позволил создать реалистичные видео из одной лишь записи звука и фото человека

DIRFA значительно превосходит существующие методы, позволяя управлять изменениями позы и эмоциональными нюансами. Обученная на массивном наборе данных, включающем более миллиона аудиовизуальных клипов из The VoxCeleb2 Dataset, DIRFA имеет многообещающие перспективы для применения в различных отраслях: от создания виртуальных помощников и чат-ботов до использования в качестве мощного инструмента для людей с нарушениями речи или мимики, облегчающего выразительное общение с помощью аватаров.

Ведущий исследователь, доцент Лу Шицзянь, считает, что DIRFA станет преобразующей силой в мультимедийной коммуникации, предлагая высокоаутентичные видеоролики, передающие точные движения губ, динамичную мимику и естественные позы головы, используя только аудиозаписи и статичные изображения.