Übersicht

Runtime MetaHuman Lip Sync ist ein Plugin, das Echtzeit-, Offline- und plattformübergreifende Lippenbewegungssynchronisation für sowohl MetaHuman- als auch benutzerdefinierte Charaktere ermöglicht. Es erlaubt Ihnen, die Lippen eines Charakters als Reaktion auf Audioeingaben aus verschiedenen Quellen zu animieren, einschließlich:
- Mikrofoneingang über Runtime Audio Importer's erfassbare Schallwelle
- Synthetisierte Sprache von Runtime Text To Speech oder Runtime AI Chatbot Integrator
- Jegliche Audiodaten im Float-PCM-Format (ein Array von Gleitkomma-Abtastwerten)
Das Plugin generiert intern Viseme (visuelle Darstellungen von Phonemen) basierend auf der Audioeingabe. Da es direkt mit Audiodaten und nicht mit Text arbeitet, unterstützt das Plugin mehrsprachige Eingaben, einschließlich, aber nicht beschränkt auf Englisch, Spanisch, Französisch, Deutsch, Japanisch, Chinesisch, Koreanisch, Russisch, Italienisch, Portugiesisch, Arabisch und Hindi. Im Grunde wird jede Sprache unterstützt, da die Lippenbewegungssynchronisation aus Audio-Phonemen und nicht aus sprachspezifischer Textverarbeitung generiert wird.
Das Standardmodell erzeugt 14 Viseme und führt die Lippenbewegungssynchronisations-Animation unter Verwendung eines vordefinierten Pose-Assets durch. Im Gegensatz dazu generieren die Realistischen Modelle (ausschließlich für MetaHuman-Charaktere) 81 Gesichtssteuerungsänderungen, ohne sich auf ein vordefiniertes Pose-Asset zu verlassen, was deutlich realistischere Gesichtsanimationen zur Folge hat.
Charakterkompatibilität
Trotz seines Namens funktioniert Runtime MetaHuman Lip Sync mit einer Vielzahl von Charakteren, die über MetaHumans hinausgehen:
Beliebte kommerzielle Charaktersysteme
- Daz Genesis 8/9 Charaktere
- Reallusion Character Creator 3/4 (CC3/CC4) Charaktere
- Mixamo Charaktere
- ReadyPlayerMe Avatare
Unterstützte Animationsstandards
- FACS-basierte Blendshape-Systeme
- Apple ARKit Blendshape-Standard
- Preston Blair Phonem-Sets
- 3ds Max Phonem-Systeme
- Jeder Charakter mit benutzerdefinierten Morph-Zielen für Gesichtsausdrücke
Detaillierte Anleitungen zur Verwendung des Plugins mit Nicht-MetaHuman-Charakteren finden Sie im Leitfaden zur Einrichtung benutzerdefinierter Charaktere.
Animationsvorschau
Sehen Sie sich diese kurzen Animationen an, um die Qualität der vom Plugin erzeugten Lippenbewegungssynchronisations-Animation über verschiedene Charaktertypen und Modelle hinweg zu sehen:




Hauptfunktionen
- Echtzeit-Lippensynchronisation von Mikrofoneingang
- Unterstützung für Offline-Audiobearbeitung
- Plattformübergreifende Kompatibilität mit modellspezifischer Plattformunterstützung
- Unterstützung für mehrere Charaktersysteme und Animationsstandards
- Flexible Visem-Zuordnung für benutzerdefinierte Charaktere
- Universelle Sprachunterstützung - funktioniert mit jeder gesprochenen Sprache durch Audioanalyse
- Stimmungsbewusste Gesichtsanimation für verbesserte Ausdruckskraft
- Konfigurierbare Ausgabetypen (vollständiges Gesicht oder nur Mundsteuerungen)
Lippensynchronisations-Modelle
Das Plugin bietet mehrere Lippensynchronisations-Modelle für verschiedene Projektanforderungen:
- Standardmodell
- Realistisches Modell
- Stimmungsfähiges realistisches Modell
Das Standard-Lippensynchronisationsmodell bietet effiziente, plattformübergreifende Leistung mit breiter Charakterkompatibilität:
- Funktioniert mit MetaHumans und allen benutzerdefinierten Charaktertypen
- Für Echtzeitleistung optimiert
- Geringere Ressourcenanforderungen
- Volle Kompatibilität mit lokalem TTS (Runtime Text To Speech Plugin)
- Plattformunterstützung: Windows, Android, Android-basierte Plattformen (einschließlich Meta Quest)
Um das Standardmodell zu verwenden, müssen Sie ein zusätzliches Erweiterungs-Plugin installieren. Siehe Abschnitt Voraussetzungen für Installationsanweisungen.
Das realistische Lippensynchronisationsmodell bietet eine verbesserte visuelle Qualität speziell für MetaHuman-Charaktere:
- Exklusiv für MetaHumans mit erweiterter Gesichtsanimation (81 Gesichtssteuerungen)
- Höhere visuelle Qualität mit natürlicheren Mundbewegungen
- Etwas höhere Leistungsanforderungen
- Eingeschränkte lokale TTS-Unterstützung (externe TTS-Dienste empfohlen)
- Ideal für filmische Erfahrungen und Nahaufnahmen von Charakterinteraktionen
- Plattformunterstützung: Windows, Mac, iOS, Linux
- Drei Optimierungsstufen: Original, Teiloptimiert und Hochoptimiert
Das realistische Modell ist im Haupt-Plugin enthalten und erfordert keine zusätzlichen Erweiterungen.
Das stimmungsfähige realistische Modell bietet emotionsbewusste Gesichtsanimation für MetaHuman-Charaktere:
- Exklusiv für MetaHumans mit stimmungsreaktiver Gesichtsanimation
- 12 verschiedene Stimmungstypen (Neutral, Glücklich, Traurig, Selbstbewusst, etc.)
- Konfigurierbare Stimmungsintensität (0,0 bis 1,0)
- Einstellbare Vorausschauzeit für verbesserte Synchronisation (20ms bis 200ms)
- Auswählbare Ausgabetypen: Vollständiges Gesicht oder nur Mundsteuerungen
- Streaming-Audiobearbeitung für Echtzeitanwendungen
- Plattformunterstützung: Windows, Mac, iOS, Linux
Das stimmungsfähige Modell enthält erweiterte Funktionen wie konfigurierbare Vorausschauze und selektive Steuerung der Ausgabe, was es ideal für Anwendungen macht, die eine Kontrolle des emotionalen Ausdrucks erfordern.
Sie können das geeignete Modell basierend auf den Anforderungen Ihres Projekts an Leistung, Charakterkompatibilität, visueller Qualität, Zielplattform und Funktionsbedarf auswählen.
Während alle Modelle verschiedene Audioeingabemethoden unterstützen, hat das reguläre Realistic-Modell eine eingeschränkte Kompatibilität mit lokalem TTS aufgrund von ONNX Runtime-Konflikten. Das mood-fähige Realistic-Modell ist jedoch vollständig mit lokalem TTS kompatibel. Für die Text-zu-Sprache-Funktionalität:
- Standardmodell: Kompatibel mit allen TTS-Optionen (lokal und extern)
- Realistic-Modell: Externe TTS-Dienste empfohlen (OpenAI, ElevenLabs)
- Mood-fähiges Realistic-Modell: Kompatibel mit allen TTS-Optionen (lokal und extern)
Wie es funktioniert
Das Plugin verarbeitet Audioeingaben auf folgende Weise:
- Audiodaten werden als PCM-Format in Float mit angegebenen Kanälen und Abtastrate empfangen
- Das Plugin verarbeitet das Audio, um Gesichtssteuerdaten oder Viseme zu generieren, abhängig vom Modell
- Bei mood-fähigen Modellen wird emotionaler Kontext auf die Gesichtsanimation angewendet
- Die Animationsdaten steuern die Gesichtsbewegungen des Charakters in Echtzeit
Schnellstart
Hier ist eine grundlegende Einrichtung, um Lipsync für Ihren Charakter zu aktivieren:
- Für MetaHuman-Charaktere, folgen Sie dem Setup-Leitfaden
- Für benutzerdefinierte Charaktere, folgen Sie dem Leitfaden für benutzerdefinierte Charaktere
- Wählen und konfigurieren Sie Ihr bevorzugtes Lipsync-Modell
- Richten Sie die Audioeingabeverarbeitung in Ihrem Blueprint ein
- Verbinden Sie den entsprechenden Lipsync-Knoten im Animation Blueprint
- Spielen Sie Audio ab und sehen Sie, wie Ihr Charakter mit Emotion spricht!
Zusätzliche Ressourcen
📦 Downloads & Links
- Holen Sie es sich auf Fab
- Produkt-Website
- Demo herunterladen (Windows)
- Demo-Quelldateien herunterladen (UE 5.6) – Benötigt dieses Plugin + Runtime Audio Importer, optional: Text To Speech / AI Chatbot. Das Standardmodell erfordert ein kleines Erweiterungs-Plugin (siehe hier)
🎥 Video-Tutorials
Ausgewählte Demo:
Realistische Modell (Hochwertig) Tutorials:
- Hochwertige Lippen-Synchronisation mit Stimmungssteuerung & Lokaler TTS ⭐ NEU
- Hochwertige Lippen-Synchronisation mit ElevenLabs & OpenAI TTS
- Hochwertige Live-Mikrofon Lippen-Synchronisation
Standard-Modell Tutorials:
- Standard Live-Mikrofon Lippen-Synchronisation
- Standard Lippen-Synchronisation mit Lokaler Sprachsynthese
- Standard Lippen-Synchronisation mit ElevenLabs & OpenAI TTS
Allgemeine Einrichtung:
💬 Support
- Discord-Support-Server
- Maßgeschneiderte Entwicklung: [email protected] (angepasste Lösungen für Teams & Organisationen)