Runtime MetaHuman Lip Sync
Dokumentation für das Runtime MetaHuman Lip Sync-Plugin.
Downloads & Links
Demoprojekte:
Zwei einsatzbereite Demoprojekte sind verfügbar – siehe die spezielle Demoprojekte-Seite für vollständige Details, Downloads und Anleitungen:
- Vollständiger KI-Konversations-NPC-Workflow – Spracherkennung + LLM-Chatbot + TTS + Lippen-Synchronisation
- Grundlegende Lippen-Synchronisations-Demo – Mikrofoneingabe, Audiodateien, TTS
Beide Demos sind plattformübergreifend (Windows, Mac, Linux, iOS, Android, Meta Quest) und werden als gepackte Builds sowie als vollständige UE 5.6+-Quellprojekte ausgeliefert.
Video-Tutorials
Vorgestellte Demos
Tutorials für realistische Modelle (hochwertig)
- Hochwertiger Lippen-Sync aus Audiodatei/-puffer
- Hochwertiger Lippen-Sync mit Stimmungskontrolle & lokaler TTS
- Hochwertiger Lippen-Sync mit ElevenLabs & OpenAI TTS
- Hochwertiger Live-Mikrofon-Lippen-Sync
- Hochwertiger Lippen-Sync für ARKit-Charaktere
Standard-Modell-Tutorials
- Standard Live Microphone Lip Sync
- Standard Lippen-Synchronisation mit lokaler Text-zu-Sprache
- Standard Lippen-Synchronisation mit ElevenLabs & OpenAI TTS
Allgemeine Einrichtung
- Hinzufügen eines benutzerdefinierten MetaHuman-Charakters zum Demoprojekt
- Einrichtungs-Tutorial-Video
- Durchgang durch das Demoprojekt (älter)
Support
- Plugin-Support & individuelle Entwicklung: [email protected] (maßgeschneiderte Lösungen für Teams & Organisationen)
Übersicht
Runtime MetaHuman Lip Sync Documentation
Einrichtungsanleitung
Diese Anleitung führt Sie durch den grundlegenden Einrichtungsprozess für Runtime MetaHuman Lip Sync mit Ihren MetaHuman-Charakteren.
Audio-Verarbeitungsleitfaden
Erfahren Sie, wie Sie verschiedene Audioeingabemethoden für Lippen-Synchronisation einrichten, einschließlich Mikrofon, TTS und Streaming-Audioquellen.
Plugin-Konfiguration
Erfahren Sie, wie Sie Lippen-Synchronisationsmodelle, Animations-Bluprints, Stimmungseinstellungen, Leistungsoptionen konfigurieren und häufige Probleme mit der Lippen-Synchronisation beheben.
Augen-Animation-Helfer
Optionale Hilfsprogramme zur Steuerung des MetaHuman-Blickziels (Blickrichtung) und automatischer Augenblinzeln zusammen mit der Lippen-Synchronisation.
So verwenden Sie das Plugin mit benutzerdefinierten Charakteren
Diese Anleitung führt Sie durch den Prozess der Einrichtung von Runtime MetaHuman Lip Sync für Nicht-MetaHuman-Charaktere. Dieser Prozess erfordert Vertrautheit mit Animationskonzepten und Rigging. Wenn Sie Unterstützung bei der Implementierung für Ihren spezifischen Charakter benötigen, können Sie sich für professionelle Unterstützung unter [email protected] melden.
Plattformspezifische Konfiguration
Dieser Leitfaden behandelt plattformspezifische Einrichtungsanforderungen und Konfigurationen für das Runtime MetaHuman Lip Sync Plugin.
Demoprojekte
Gebrauchsfertige Demoprojekte, die Runtime MetaHuman Lip Sync präsentieren, einschließlich eines vollständigen KI-gestützten Konversations-Avatar-Workflows mit Spracherkennung, LLM-Integration, TTS und Lippen-Synchronisation.