Zum Hauptinhalt springen

Übersicht

Runtime MetaHuman Lip Sync Dokumentation

Runtime MetaHuman Lip Sync ist ein Plugin, das Echtzeit-, Offline- und plattformübergreifende Lippenanimation für sowohl MetaHuman- als auch benutzerdefinierte Charaktere ermöglicht. Es erlaubt Ihnen, die Lippen eines Charakters als Reaktion auf Audioeingaben aus verschiedenen Quellen zu animieren, einschließlich:

Das Plugin generiert intern Viseme (visuelle Darstellungen von Phonemen) basierend auf der Audioeingabe. Da es direkt mit Audiodaten und nicht mit Text arbeitet, unterstützt das Plugin mehrsprachige Eingaben, einschließlich, aber nicht beschränkt auf Englisch, Spanisch, Französisch, Deutsch, Japanisch, Chinesisch, Koreanisch, Russisch, Italienisch, Portugiesisch, Arabisch und Hindi. Tatsächlich wird jede Sprache unterstützt, da die Lippenanimation aus Audio-Phonemen und nicht aus sprachspezifischer Textverarbeitung generiert wird.

Das Standardmodell produziert 14 Viseme und führt die Lippenanimation mithilfe einer vordefinierten Pose-Asset durch. Im Gegensatz dazu generiert das Realistische Modell (exklusiv für MetaHuman-Charaktere) 250 Morph-Target-Änderungen ohne Verwendung eines vordefinierten Pose-Assets, was deutlich realistischere Gesichtsanimationen ermöglicht.

Charakterkompatibilität​

Trotz seines Namens funktioniert Runtime MetaHuman Lip Sync mit einer Vielzahl von Charakteren, die über MetaHumans hinausgehen:

Beliebte kommerzielle Charaktersysteme​

  • Daz Genesis 8/9 Charaktere
  • Reallusion Character Creator 3/4 (CC3/CC4) Charaktere
  • Mixamo Charaktere
  • ReadyPlayerMe Avatare

Unterstützte Animationsstandards​

  • FACS-basierte Blendshape-Systeme
  • Apple ARKit Blendshape-Standard
  • Preston Blair Phonem-Sets
  • 3ds Max Phonem-Systeme
  • Jeder Charakter mit benutzerdefinierten Morph Targets für Gesichtsausdrücke

Detaillierte Anweisungen zur Verwendung des Plugins mit Nicht-MetaHuman-Charakteren finden Sie im Custom Character Setup Guide.

Animationsvorschau​

Sehen Sie sich diese kurzen Animationen an, um die Qualität der Lippenanimation zu sehen, die das Plugin bei verschiedenen Charaktertypen und Modellen erzeugt:

Realistic Lip Sync Example
Realistisches Modell mit MetaHuman-Charakter
Standard Lip Sync Example
Standardmodell mit MetaHuman-Charakter
Custom Character Lip Sync Example
Standardmodell mit benutzerdefiniertem Charakter
Custom Character Lip Sync Example
Standardmodell mit benutzerdefiniertem Charakter

Hauptmerkmale​

  • Echtzeit-Lip Sync von Mikrofoneingang
  • Unterstützung für Offline-Audiobearbeitung
  • Plattformübergreifende Kompatibilität: Windows, Android, Meta Quest
  • Unterstützung für mehrere Charaktersysteme und Animationsstandards
  • Flexible Visem-Zuordnung für benutzerdefinierte Charaktere
  • Universelle Sprachunterstützung - funktioniert mit jeder gesprochenen Sprache durch Audioanalyse

Lip Sync-Modelle​

Das Plugin bietet zwei Lip Sync-Modelle für verschiedene Projektanforderungen:

Das Standard-Lip Sync-Modell bietet effiziente, plattformübergreifende Leistung mit breiter Charakterkompatibilität:

  • Funktioniert mit MetaHumans und allen benutzerdefinierten Charaktertypen
  • Für Echtzeitleistung auf allen Plattformen optimiert
  • Geringere Ressourcenanforderungen
  • Volle Kompatibilität mit lokaler TTS (Runtime Text To Speech-Plugin)
  • Geeignet für mobile und VR/AR-Anwendungen
Erweiterungs-Plugin erforderlich

Um das Standard (Schnelleres) Modell zu verwenden, müssen Sie ein zusätzliches Erweiterungs-Plugin installieren. Siehe Voraussetzungen Abschnitt für Installationsanweisungen.

Sie können das passende Modell basierend auf Ihren Projektanforderungen für Leistung, Charakterkompatibilität und visuelle Qualität auswählen.

TTS-Kompatibilitätshinweis

Während beide Modelle verschiedene Audioeingabemethoden unterstützen, hat das Realistische Modell aufgrund von ONNX-Runtime-Konflikten eine eingeschränkte Kompatibilität mit lokaler TTS. Für Text-to-Speech-Funktionalität mit dem Realistischen Modell werden externe TTS-Dienste (OpenAI, ElevenLabs) empfohlen.

Funktionsweise​

Das Plugin verarbeitet Audioeingaben auf folgende Weise:

  1. Audiodaten werden als PCM-Format mit angegebenen Kanälen und Abtastrate empfangen
  2. Das Plugin verarbeitet das Audio, um Viseme (Phoneme) zu generieren
  3. Diese Viseme steuern die Lip Sync-Animation mithilfe des Pose-Assets des Charakters
  4. Die Animation wird in Echtzeit auf den Charakter angewendet

Schnellstart​

Hier ist eine grundlegende Einrichtung zur Aktivierung von Lip Sync für Ihren Charakter:

  1. Für MetaHuman-Charaktere befolgen Sie die MetaHuman Setup Guide
  2. Für benutzerdefinierte Charaktere befolgen Sie die Custom Character Setup Guide
  3. Richten Sie die Audioeingabeverarbeitung ein (z. B. im Event Graph)
  4. Verbinden Sie den Blend Runtime MetaHuman Lip Sync-Knoten im Anim Graph
  5. Spielen Sie Audio ab und sehen Sie, wie Ihr Charakter spricht!

Zusätzliche Ressourcen​

📦 Downloads & Links​

🎥 Video-Tutorials​

Vorgestellte Demo:​

Realistic Model (High-Quality) Tutorials:​

Standard Model Tutorials:​

Allgemeines Setup:​

💬 Support​