Zum Hauptinhalt springen

Übersicht

Runtime MetaHuman Lip Sync Documentation

Runtime MetaHuman Lip Sync ist ein Plugin, das Echtzeit-, Offline- und plattformübergreifende Lippensynchronisation für MetaHuman- und benutzerdefinierte Charaktere ermöglicht. Damit können Sie die Lippen eines Charakters als Reaktion auf Audioeingaben aus verschiedenen Quellen animieren, darunter:

Das Standard Model erzeugt 14 Viseme und führt die Lip-Sync-Animation mithilfe eines vordefinierten Pose-Assets durch. Im Gegensatz dazu erzeugen die Realistic Models (exklusiv für MetaHuman- und ARKit-basierte Charaktere) 81 Gesichtssteuerungsänderungen, ohne auf ein vordefiniertes Pose-Asset zurückzugreifen, was zu deutlich realistischeren Gesichtsanimationen führt.

Charakterkompatibilität​

Trotz seines Namens funktioniert Runtime MetaHuman Lip Sync mit einer breiten Palette von Charakteren, weit über MetaHumans hinaus:

  • Daz Genesis 8/9 Charaktere
  • Reallusion Character Creator 3/4/5 (CC3/CC4/CC5) Charaktere
  • Mixamo Charaktere

Unterstützung für Animationsstandards​

  • FACS-basierte Blendshape-Systeme
  • Apple-ARKit-Blendshape-Standard
  • Preston-Blair-Phonem-Sets
  • 3ds-Max-Phonem-Systeme
  • Beliebiger Charakter mit benutzerdefinierten Morph-Targets für Gesichtsausdrücke

Viele gängige Systeme, einschließlich Reallusion CC4/CC5 und Daz Genesis 8.1/9, können ebenfalls konvertiert werden, um ARKit-Standard-Blendshape-Namen zu verwenden. Dadurch können Sie für diese Charaktere das **

Für Nicht-MetaHuman-Charaktere mit dem Standard Model siehe Leitfaden zur Einrichtung eigener Charaktere. Für ARKit-basierte Charaktere mit den Realistic Models siehe Auswahl des Morph-Target-Sets.

Animationsvorschau​

Schauen Sie sich diese kurzen Animationen an, um die Qualität der von dem Plugin erzeugten Lippensynchronisations-Animation für verschiedene Charaktertypen und Modelle zu sehen:

Realistisches Modell mit MetaHuman-Charakter
Standardmodell mit MetaHuman-Charakter
Standardmodell mit eigenem Charakter
Standardmodell mit benutzerdefiniertem Charakter

Wichtigste Funktionen​

Lip-Sync-Modelle​

Das Plugin bietet mehrere Lip-Sync-Modelle, um unterschiedlichen Projektanforderungen gerecht zu werden:

Das Standard-Lip-Sync-Modell bietet effiziente, plattformübergreifende Leistung mit breiter Charakterkompatibilität:

  • Funktioniert mit MetaHumans und allen benutzerdefinierten Charaktertypen
  • Optimiert für Echtzeitleistung
  • Geringere Ressourcenanforderungen
  • Plattformunterstützung: Windows, Android, Android-basierte Plattformen (einschließlich Meta Quest)
Erweiterungs-Plugin erforderlich

Um das Standard Model zu verwenden, müssen Sie ein zusätzliches Erweiterungs-Plugin installieren. Siehe den Abschnitt „Voraussetzungen“ für Installationsanweisungen.

Sie können das passende Modell anhand Ihrer Projektanforderungen in Bezug auf Leistung, Charakterkompatibilität, visuelle Qualität, Zielplattform und Funktionsanforderungen auswählen.

So funktioniert es​

Das Plugin verarbeitet Audioeingaben auf folgende Weise:

  1. Audiodaten werden als Float-PCM-Format mit spezifizierten Kanälen und Abtastrate empfangen.
  2. Das Plugin verarbeitet das Audio, um je nach Modell Gesichtssteuerungsdaten oder Viseme zu generieren.
  3. Bei Modellen mit Stimmungsunterstützung wird emotionaler Kontext auf die Gesichtsanimation angewendet.
  4. Die Animationsdaten steuern die Gesichtsbewegungen des Charakters in Echtzeit.

Leistungsarchitektur​

Runtime MetaHuman Lip Sync verwendet reine CPU-Inferenz, um konsistente, latenzarme Lip-Sync-Ergebnisse zu liefern, die für Echtzeitanwendungen geeignet sind. Standardmäßig führt das Plugin die Lip-Sync-Verarbeitung alle 10 Millisekunden durch (einstellbar – siehe Plugin-Konfiguration für alle verfügbaren Einstellungen, einschließlich Verarbeitungs-Chunk-Größe, Thread-Anzahl sowie weiterer Leistungsparameter).

Modellarchitektur-Übersicht​

Die Modelle zur Lippensynchronisation verwenden ein kompaktes neuronales Netz auf Transformer-Basis, das Audiodaten mithilfe einer Mel-Spektrogramm-Analyse verarbeitet. Diese leichtgewichtige Architektur ist speziell für Echtzeitleistung mit effizienter CPU-Inferenz und minimalem Speicherbedarf ausgelegt.

Warum CPU-Inferenz?​

Für kleine, häufige Inferenzoperationen wie Echtzeit-Lippensynchronisation bietet CPU-Verarbeitung bessere Latenzeigenschaften als GPU. Bei einer Batchgröße von 1 mit Inferenzintervallen von 10–100 ms übersteigt der GPU-Overhead durch PCIe-Transfers und Kernel-Starts oft die tatsächliche Rechenzeit. Darüber hinaus ist die GPU in Spiel-Engines bereits durch Rendering, Shader und Physik ausgelastet, was zu Ressourcenkonflikten führt, die unvorhersehbare Latenzspitzen verursachen.

Hardware-Kompatibilität​

Das Plugin arbeitet effizient auf den meisten CPUs der Mittelklasse und darüber, ohne dass dedizierte Grafikhardware erforderlich ist, und bietet Echtzeitleistung auf Desktop-, Mobil- und VR-Plattformen. Für schwächere Hardware können Sie den Modelltyp auf Semi-Optimized oder Highly Optimized umstellen oder die Verarbeitungs-Chunkgröße erhöhen, um die Echtzeitleistung bei leicht reduzierter Reaktionsfähigkeit beizubehalten.

Schnellstart​

Hier ist eine grundlegende Einrichtung, um die Lippensynchronisation für deinen Charakter zu aktivieren:

  1. Für MetaHuman-Charaktere folgen Sie der Einrichtungsanleitung
  2. Für benutzerdefinierte Charaktere befolgen Sie die Anleitung zur Einrichtung benutzerdefinierter Charaktere
  3. Wählen und konfigurieren Sie Ihr bevorzugtes Lip-Sync-Modell.
  4. Richten Sie die Audioeingabeverarbeitung in Ihrem Blueprint ein.
  5. Verbinden Sie den passenden Lip-Sync-Knoten im Animation Blueprint.
  6. Spielen Sie Audio ab und sehen Sie, wie Ihr Charakter synchron dazu animiert wird.

Optionale Augenanimation​

Das Plugin enthält außerdem optionale Hilfsfunktionen für automatisches Blinzeln und Blickverfolgung bei MetaHumans. Diese sind unabhängig von der Lippensynchronisation und können eigenständig oder zusätzlich zu dieser verwendet werden. Siehe Hilfsfunktionen für die Augenanimation.

Weitere Ressourcen​

📦 Downloads und Links​

Demo-Projekte:

Zwei sofort einsatzbereite Demo-Projekte sind verfügbar – siehe die eigene Demo-Projekte-Seite für vollständige Details, Downloads und Schritt-für-Schritt-Anleitungen:

Beide Demos sind plattformübergreifend (Windows, Mac, Linux, iOS, Android, Meta Quest) und werden als gepackte Builds und vollständige UE 5.6+-Quellprojekte ausgeliefert.

🎥 Video-Tutorials​

Ausgewählte Demos:​

Tutorials für realistische Modelle (hochwertig):​

Standardmodell-Tutorials:​

Allgemeine Einrichtung:​

💬 Unterstützung​

  • Individuelle Entwicklung: [email protected] (maßgeschneiderte Lösungen für Teams & Organisationen)
Join our Discord
online · support