Zum Hauptinhalt springen

Übersicht

Runtime MetaHuman Lip Sync Documentation

Runtime MetaHuman Lip Sync ist ein Plugin, das Echtzeit-, Offline- und plattformübergreifende Lip Sync für sowohl MetaHuman- als auch benutzerdefinierte Charaktere ermöglicht. Es erlaubt dir, die Lippen eines Charakters als Reaktion auf Audioeingaben aus verschiedenen Quellen zu animieren, darunter:

Das Plugin generiert intern Viseme (visuelle Darstellungen von Phonemen) basierend auf der Audioeingabe. Da es direkt mit Audiodaten statt mit Text arbeitet, unterstützt das Plugin mehrsprachige Eingaben, einschließlich, aber nicht beschränkt auf Englisch, Spanisch, Französisch, Deutsch, Japanisch, Chinesisch, Koreanisch, Russisch, Italienisch, Portugiesisch, Arabisch und Hindi. Buchstäblich jede Sprache wird unterstützt, da der Lip Sync aus Audio-Phonemen statt aus sprachspezifischer Textverarbeitung generiert wird.

Das Standardmodell erzeugt 14 Viseme und führt die Lip-Sync-Animation mithilfe eines vordefinierten Pose-Assets durch. Im Gegensatz dazu erzeugen die realistischen Modelle (exklusiv für MetaHuman- und ARKit-basierte Charaktere) 81 Gesichtskontrolländerungen, ohne auf ein vordefiniertes Pose-Asset zurückzugreifen, was zu deutlich realistischeren Gesichtsanimationen führt.

Zeichenkompatibilität​

Trotz seines Namens funktioniert Runtime MetaHuman Lip Sync mit einer Vielzahl von Charakteren, nicht nur mit MetaHumans:

  • Daz Genesis 8/9-Charaktere
  • Reallusion Character Creator 3/4/5-Charaktere (CC3/CC4/CC5)
  • Mixamo-Charaktere

Unterstützung für Animationsstandards​

  • FACS-basierte Blendshape-Systeme
  • Apple ARKit Blendshape-Standard
  • Preston Blair Phonemsätze
  • 3ds Max Phonemsysteme
  • Jede Figur mit benutzerdefinierten Morph Targets für Gesichtsausdrücke

Viele gängige Systeme, darunter Reallusion CC4/CC5 und Daz Genesis 8.1/9, können ebenfalls konvertiert werden, um ARKit-Standard-Blendshape-Namen zu verwenden. Dadurch kannst du das Realistic Model für diese Charaktere nutzen, mit seiner hochwertigeren Gesichtsanimation, als Alternative zum manuellen Viseme-Mapping des Standard Model. Siehe Charaktere in ARKit-Blendshapes konvertieren für Details.

Für Nicht-MetaHuman-Charaktere, die das Standardmodell verwenden, siehe die Anleitung zur Einrichtung benutzerdefinierter Charaktere. Für ARKit-basierte Charaktere, die die realistischen Modelle verwenden, siehe Auswahl des Morph-Target-Sets.

Animationsvorschau​

Sieh dir diese kurzen Animationen an, um die Qualität der Lip-Sync-Animation zu sehen, die das Plugin für verschiedene Charaktertypen und Modelle erzeugt:

Realistisches Modell mit MetaHuman-Charakter
Standardmodell mit MetaHuman-Charakter
Standardmodell mit benutzerdefiniertem Charakter
Standardmodell mit benutzerdefiniertem Charakter

Hauptfunktionen​

Lip-Sync-Modelle​

Das Plugin bietet mehrere Lip-Sync-Modelle, um unterschiedliche Projektanforderungen zu erfüllen:

Das Standard-Lip-Sync-Modell bietet eine effiziente, plattformübergreifende Leistung mit breiter Charakterkompatibilität:

  • Funktioniert mit MetaHumans und allen benutzerdefinierten Charaktertypen
  • Für Echtzeitleistung optimiert
  • Geringerer Ressourcenbedarf
  • Plattformunterstützung: Windows, Android, Android-basierte Plattformen (einschließlich Meta Quest)
Erweiterungs-Plugin erforderlich

Um das Standardmodell zu verwenden, musst du ein zusätzliches Erweiterungs-Plugin installieren. Siehe den Abschnitt Voraussetzungen für Installationsanweisungen.

Sie können das passende Modell basierend auf Ihren Projektanforderungen hinsichtlich Leistung, Charakterkompatibilität, visueller Qualität, Zielplattform und Funktionsanforderungen auswählen.

So funktioniert es​

Das Plugin verarbeitet Audioeingaben auf folgende Weise:

  1. Audiodaten werden als Float-PCM-Format mit angegebenen Kanälen und Abtastrate empfangen
  2. Das Plugin verarbeitet die Audiodaten, um je nach Modell Gesichtssteuerungsdaten oder Viseme zu erzeugen
  3. Bei stimmungsfähigen Modellen wird emotionaler Kontext auf die Gesichtsanimation angewendet
  4. Die Animationsdaten steuern die Gesichtsbewegungen der Figur in Echtzeit

Leistungsarchitektur​

Runtime MetaHuman Lip Sync verwendet CPU-only-Inferenz, um konsistente Lip-Sync-Ergebnisse mit niedriger Latenz zu liefern, die für Echtzeitanwendungen geeignet sind. Standardmäßig führt das Plugin die Lip-Sync-Verarbeitung alle 10 Millisekunden durch (anpassbar – siehe Plugin-Konfiguration für alle verfügbaren Einstellungen, einschließlich Verarbeitungs-Chunk-Größe, Thread-Anzahl und weiterer Leistungsparameter).

Überblick über die Modellarchitektur​

Die Lip-Sync-Modelle verwenden ein kompaktes transformerbasiertes neuronales Netzwerk, das Audio durch Mel-Spektrogramm-Analyse verarbeitet. Diese leichtgewichtige Architektur ist speziell auf Echtzeitleistung mit effizienter CPU-Inferenz und minimalem Speicherbedarf ausgelegt.

Warum CPU-Inferenz?​

Für kleine, häufige Inferenzoperationen wie Echtzeit-Lip-Sync bietet CPU-Verarbeitung bessere Latenzeigenschaften als GPU. Bei Batch-Größe 1 mit Inferenzintervallen von 10-100ms übersteigt der GPU-Overhead durch PCIe-Transfers und Kernel-Starts oft die tatsächliche Rechenzeit. Darüber hinaus ist die GPU in Game Engines bereits durch Rendering, Shader und Physik ausgelastet, was zu Ressourcenkonkurrenz führt, die unvorhersehbare Latenzspitzen verursacht.

Hardware-Kompatibilität​

Das Plugin arbeitet effizient auf den meisten CPUs der Mittelklasse und höher, ohne dedizierte Grafikhardware zu benötigen, und bietet Echtzeitleistung auf Desktop-, Mobil- und VR-Plattformen. Bei schwächerer Hardware können Sie den Model Type auf Semi-Optimized oder Highly Optimized einstellen oder die Processing Chunk Size erhöhen, um Echtzeitleistung mit etwas geringerer Reaktionsfähigkeit aufrechtzuerhalten.

Schnellstart​

Hier ist ein grundlegendes Setup zum Aktivieren von Lip Sync für deinen Charakter:

  1. Für MetaHuman-Charaktere folge der Einrichtungsanleitung
  2. Für benutzerdefinierte Charaktere folge der Anleitung zur Einrichtung benutzerdefinierter Charaktere
  3. Wähle und konfiguriere dein bevorzugtes Lip-Sync-Modell
  4. Richte die Audioeingabeverarbeitung in deinem Blueprint ein
  5. Verbinde den passenden Lip-Sync-Node im Animation Blueprint
  6. Spiele Audio ab und sieh, wie dein Charakter synchron animiert wird

Optionale Augenanimation​

Das Plugin enthält außerdem optionale Hilfsmittel für automatisches Blinzeln und Blickverfolgung bei MetaHumans. Diese sind unabhängig von Lip Sync und können eigenständig oder zusätzlich dazu verwendet werden. Siehe Augenanimations-Hilfsmittel.

Zusätzliche Ressourcen​

📦 Downloads & Links​

Demo-Projekte:

Zwei sofort einsatzbereite Demo-Projekte sind verfügbar – siehe die spezielle Seite Demo-Projekte für vollständige Details, Downloads und Walkthroughs:

Beide Demos sind plattformübergreifend (Windows, Mac, Linux, iOS, Android, Meta Quest) und werden als gepackte Builds sowie als vollständige UE 5.6+ Quellprojekte bereitgestellt.

🎥 Video-Tutorials​

Vorgestellte Demos:​

Realistisches Modell (Hohe Qualität) Tutorials:​

Standardmodell-Tutorials:​

Allgemeine Einrichtung:​

💬 Support​

  • Individuelle Entwicklung: [email protected] (maßgeschneiderte Lösungen für Teams & Organisationen)
Join our Discord
online · support