Zum Hauptinhalt springen

Übersicht

Runtime MetaHuman Lip Sync Dokumentation

Runtime MetaHuman Lip Sync ist ein Plugin, das Echtzeit-, Offline- und plattformübergreifende Lippenanimation für sowohl MetaHuman- als auch benutzerdefinierte Charaktere ermöglicht. Es erlaubt Ihnen, die Lippen eines Charakters als Reaktion auf Audioeingaben aus verschiedenen Quellen zu animieren, darunter:

Das Plugin generiert intern Viseme (visuelle Darstellungen von Phonemen) basierend auf der Audioeingabe und führt die Lippenanimation mithilfe eines vordefinierten Pose-Assets durch.

Charakterkompatibilität​

Trotz seines Namens funktioniert Runtime MetaHuman Lip Sync mit einer Vielzahl von Charakteren über MetaHumans hinaus:

Beliebte kommerzielle Charaktersysteme​

  • Daz Genesis 8/9 Charaktere
  • Reallusion Character Creator 3/4 (CC3/CC4) Charaktere
  • Mixamo Charaktere
  • ReadyPlayerMe Avatare

Unterstützte Animationsstandards​

  • FACS-basierte Blendshape-Systeme
  • Apple ARKit Blendshape-Standard
  • Preston Blair Phonem-Sets
  • 3ds Max Phonem-Systeme
  • Jeder Charakter mit benutzerdefinierten Morph Targets für Gesichtsausdrücke

Detaillierte Anleitungen zur Verwendung des Plugins mit Nicht-MetaHuman-Charakteren finden Sie im Custom Character Setup Guide.

Animationsvorschau​

Sehen Sie sich diese kurzen Animationen an, um die Qualität der Lippenanimation zu sehen, die das Plugin bei verschiedenen Charaktertypen und -modellen erzeugt:

Realistic Lip Sync Example
Realistisches Modell mit MetaHuman-Charakter
Standard Lip Sync Example
Standardmodell mit MetaHuman-Charakter
Custom Character Lip Sync Example
Standardmodell mit benutzerdefiniertem Charakter
Custom Character Lip Sync Example
Standardmodell mit benutzerdefiniertem Charakter

Hauptmerkmale​

  • Echtzeit-Lip-Sync von Mikrofoneingang
  • Unterstützung für Offline-Audiobearbeitung
  • Plattformübergreifende Kompatibilität: Windows, Android, Meta Quest
  • Unterstützung für mehrere Charaktersysteme und Animationsstandards
  • Flexible Visem-Zuordnung für benutzerdefinierte Charaktere

Lip-Sync-Modelle​

Das Plugin bietet zwei Lip-Sync-Modelle für unterschiedliche Projektanforderungen:

Das Standard-Lip-Sync-Modell bietet effiziente, plattformübergreifende Leistung mit breiter Charakterkompatibilität:

  • Funktioniert mit MetaHumans und allen benutzerdefinierten Charaktertypen
  • Für Echtzeitleistung auf allen Plattformen optimiert
  • Geringere Ressourcenanforderungen
  • Volle Kompatibilität mit lokaler TTS (Runtime Text To Speech Plugin)
  • Geeignet für Mobile- und VR/AR-Anwendungen

Sie können das passende Modell basierend auf Ihren Projektanforderungen für Leistung, Charakterkompatibilität und visuelle Qualität auswählen.

Hinweis zur TTS-Kompatibilität

Während beide Modelle verschiedene Audioeingabemethoden unterstützen, hat das realistische Modell aufgrund von ONNX-Runtime-Konflikten eine eingeschränkte Kompatibilität mit lokaler TTS. Für Text-to-Speech-Funktionalität mit dem realistischen Modell werden externe TTS-Dienste (OpenAI, ElevenLabs) empfohlen.

Funktionsweise​

Das Plugin verarbeitet Audioeingaben wie folgt:

  1. Audiodaten werden als PCM-Format (float) mit angegebenen Kanälen und Abtastrate empfangen
  2. Das Plugin verarbeitet das Audio, um Viseme (Phoneme) zu generieren
  3. Diese Viseme steuern die Lip-Sync-Animation mithilfe des Pose-Assets des Charakters
  4. Die Animation wird in Echtzeit auf den Charakter angewendet

Schnellstart​

Hier eine grundlegende Einrichtung für Lip-Sync auf Ihrem Charakter:

  1. Für MetaHuman-Charaktere folgen Sie der MetaHuman-Setup-Anleitung
  2. Für benutzerdefinierte Charaktere folgen Sie der Anleitung für benutzerdefinierte Charaktere
  3. Richten Sie die Audioeingabeverarbeitung ein (z.B. im Event Graph)
  4. Verbinden Sie den Blend Runtime MetaHuman Lip Sync-Node im Anim Graph
  5. Spielen Sie Audio ab und sehen Sie Ihren Charakter sprechen!

Zusätzliche Ressourcen​

📦 Downloads & Links​

🎥 Video-Tutorials​

Realistisches Modell (High-Quality) Tutorials:​

Standardmodell-Tutorials:​

Allgemeine Einrichtung:​

💬 Support​