OmniAvatar: a inovação tecnológica humana digital de IA que dá vida a fotografias estáticas

O OmniAvatar é um sistema humano digital com áudio desenvolvido conjuntamente pela Universidade de Zhejiang e pelo Grupo Alibaba, capaz de gerar vídeos de movimentos naturais e suaves de corpo inteiro com base em fotografias, áudio e instruções de texto. Em comparação com a tecnologia tradicional de "avatar falante", o sistema consegue avanços na coordenação do movimento corporal, na sincronização de alta precisão de áudio/vídeo e no controlo de texto. O sistema foi testado e considerado líder em termos de qualidade de imagem, suavidade de vídeo e sincronização da boca, sendo atualmente o único modelo que pode gerar sincronizadamente animações faciais e de corpo inteiro. O projeto é de fonte aberta e o artigo está publicado no arXiv.