Zum Hauptinhalt springen

Übersicht

Runtime MetaHuman Lip Sync Dokumentation

Runtime MetaHuman Lip Sync ist ein Plugin, das Echtzeit-, Offline- und plattformübergreifende Lippenanimation für MetaHuman- und benutzerdefinierte Charaktere ermöglicht. Es erlaubt Ihnen, die Lippen eines Charakters als Reaktion auf Audioeingaben aus verschiedenen Quellen zu animieren, darunter:

Das Plugin generiert intern Viseme (visuelle Darstellungen von Phonemen) basierend auf der Audioeingabe und führt die Lippenanimation mithilfe einer vordefinierten Pose-Asset durch.

Charakterkompatibilität​

Trotz seines Namens funktioniert Runtime MetaHuman Lip Sync mit einer Vielzahl von Charakteren über MetaHumans hinaus:

Beliebte kommerzielle Charaktersysteme​

  • Daz Genesis 8/9 Charaktere
  • Reallusion Character Creator 3/4 (CC3/CC4) Charaktere
  • Mixamo Charaktere
  • ReadyPlayerMe Avatare

Unterstützte Animationsstandards​

  • FACS-basierte Blendshape-Systeme
  • Apple ARKit Blendshape-Standard
  • Preston Blair Phonem-Sets
  • 3ds Max Phonem-Systeme
  • Jeder Charakter mit benutzerdefinierten Morph Targets für Gesichtsausdrücke

Detaillierte Anleitungen zur Verwendung des Plugins mit Nicht-MetaHuman-Charakteren finden Sie im Custom Character Setup Guide.

Animationsvorschau​

Sehen Sie sich diese kurzen Animationen an, um die Qualität der Echtzeit-Lippenanimation zu sehen, die das Plugin erzeugt. Die Animation kann auf jeden unterstützten Charakter angewendet werden, egal ob es sich um einen MetaHuman oder einen benutzerdefinierten Charakter aus einem der unterstützten Systeme handelt.

Lip Sync Example
Lip Sync Example
Lip Sync Example

Hauptmerkmale​

  • Echtzeit-Lip-Sync von Mikrofoneingang
  • Unterstützung für Offline-Audiobearbeitung
  • Plattformübergreifende Kompatibilität: Windows, Android, Meta Quest
  • Unterstützung für mehrere Charaktersysteme und Animationsstandards
  • Flexible Visem-Zuordnung für benutzerdefinierte Charaktere

Funktionsweise​

Das Plugin verarbeitet Audioeingaben wie folgt:

  1. Audiodaten werden als PCM-Format (float) mit angegebenen Kanälen und Abtastrate empfangen
  2. Das Plugin verarbeitet das Audio, um Viseme (Phoneme) zu generieren
  3. Diese Viseme steuern die Lip-Sync-Animation über das Pose-Asset des Charakters
  4. Die Animation wird in Echtzeit auf den Charakter angewendet

Schnellstart​

Hier eine grundlegende Einrichtung für Lip-Sync auf Ihrem Charakter:

  1. Für MetaHuman-Charaktere folgen Sie der MetaHuman-Setup-Anleitung
  2. Für benutzerdefinierte Charaktere folgen Sie der Anleitung für benutzerdefinierte Charaktere
  3. Richten Sie die Audioeingabeverarbeitung ein (z.B. im Event Graph)
  4. Verbinden Sie den Blend Runtime MetaHuman Lip Sync-Node im Anim Graph
  5. Spielen Sie Audio ab und sehen Sie Ihren Charakter sprechen!

Zusätzliche Ressourcen​