OmniAvatar: Der Durchbruch in der KI-Technologie für digitale Menschen, die Fotos zum Leben erweckt

OmniAvatar ist ein von der Universität Zhejiang und der Alibaba Group gemeinsam entwickeltes audiogesteuertes digitales Menschensystem, das in der Lage ist, natürliche und flüssige Ganzkörperbewegungsvideos auf der Grundlage von Standbildern, Audio- und Textaufforderungen zu erzeugen. Im Vergleich zur herkömmlichen "sprechenden Avatar"-Technologie erzielt das System einen Durchbruch bei der Koordination von Körperbewegungen, der hochpräzisen Audio-/Videosynchronisation und der Textsteuerung. Das System wurde getestet und als führend in Bezug auf Bildqualität, Videogeschmeidigkeit und Mundsynchronisation befunden. Es ist derzeit das einzige Modell, das synchron Gesichts- und Ganzkörperanimationen erzeugen kann. Das Projekt wurde als Open-Source-Projekt veröffentlicht und die Arbeit ist in arXiv publiziert.