OmniAvatar: прорыв в области технологий цифрового человека с искусственным интеллектом, который оживляет фотографии

OmniAvatar - это аудиоуправляемая система цифрового человека, совместно разработанная Чжэцзянским университетом и Alibaba Group, способная генерировать естественные и плавные видеоролики движения всего тела на основе фотографий, аудио и текстовых подсказок. По сравнению с традиционной технологией "говорящего аватара", система достигла прорыва в координации движений тела, высокоточной синхронизации аудио/видео и управлении текстом. Система была протестирована и признана лучшей по качеству изображения, плавности видео и синхронизации рта, и на данный момент является единственной моделью, которая может синхронно генерировать анимацию лица и всего тела. Проект получил открытый доступ, а статья опубликована в arXiv.