Runtime MetaHuman Lip Sync
Dokumentation für das Runtime MetaHuman Lip Sync-Plugin.
Downloads und Links
Demo-Projekte:
Zwei einsatzbereite Demo-Projekte sind verfügbar – siehe die eigene Demo-Projekte-Seite für ausführliche Details, Downloads und Schritt-für-Schritt-Anleitungen:
- Vollständiger AI-Konversations-NPC-Workflow - Spracherkennung + LLM-Chatbot + TTS + Lip Sync
- Einfache Lip-Sync-Demo - Mikrofoneingabe, Audiodateien, TTS
Beide Demos sind plattformübergreifend (Windows, Mac, Linux, iOS, Android, Meta Quest) und werden als gepackte Builds sowie vollständige UE 5.6+-Quellprojekte geliefert.
Video-Tutorials
Ausgewählte Demos
Tutorials für realistische Modelle (hochwertig)
- Hochwertige Lippensynchronisation aus Audiodatei/-puffer
- Hochwertige Lippensynchronisation mit Stimmungssteuerung und lokaler TTS
- Hochwertige Lippensynchronisation mit ElevenLabs und OpenAI TTS
- Hochwertige Lippensynchronisation mit Live-Mikrofon
- Hochwertige Lippensynchronisation für ARKit-Charaktere
Standardmodell-Tutorials
- Standard-Lip-Sync mit Live-Mikrofon
- Standard-Lip-Sync mit lokaler Text-to-Speech
- Standard-Lip-Sync mit ElevenLabs & OpenAI TTS
Allgemeine Einrichtung
- Hinzufügen eines benutzerdefinierten MetaHuman-Charakters zum Demo-Projekt
- Einrichtungs-Tutorial-Video
- MetaHuman-Augenblinzeln & Kameraverfolgung
- Kombinieren mit Gesichts- und Körperanimationen
- Demo-Projekt-Durchlauf (älter)
Unterstützung
- Plugin-Support & individuelle Entwicklung: [email protected] (maßgeschneiderte Lösungen für Teams & Organisationen)
Übersicht
Runtime MetaHuman Lip Sync Documentation
Einrichtungsanleitung
Diese Anleitung führt Sie durch den grundlegenden Einrichtungsprozess für Runtime MetaHuman Lip Sync mit Ihren MetaHuman-Charakteren.
Audio-Verarbeitungsleitfaden
Erfahren Sie, wie Sie verschiedene Audioeingabemethoden für Lippen-Synchronisation einrichten, einschließlich Mikrofon, TTS und Streaming-Audioquellen.
Plugin-Konfiguration
Erfahren Sie, wie Sie Lip-Sync-Modelle, Animation Blueprints, Stimmungseinstellungen und Leistungsoptionen konfigurieren und häufige Lip-Sync-Probleme beheben.
Augen-Animation-Helfer
Optionale Hilfsprogramme zur Steuerung des MetaHuman-Blickziels (Blickrichtung) und automatischer Augenblinzelbewegungen parallel zur Lippensynchronisation.
So verwenden Sie das Plugin mit benutzerdefinierten Charakteren
Diese Anleitung führt Sie durch den Prozess der Einrichtung von Runtime MetaHuman Lip Sync für Nicht-MetaHuman-Charaktere. Dieser Prozess erfordert Vertrautheit mit Animationskonzepten und Rigging. Wenn Sie Unterstützung bei der Implementierung für Ihren spezifischen Charakter benötigen, können Sie professionelle Hilfe unter [email protected] anfordern.
Plattformspezifische Konfiguration
Dieser Leitfaden behandelt plattformspezifische Einrichtungsanforderungen und Konfigurationen für das Runtime MetaHuman Lip Sync Plugin.
Demo-Projekte
Einsatzbereite Demo-Projekte, die Runtime MetaHuman Lip Sync präsentieren, einschließlich eines vollständigen KI-gestützten Konversations-Avatar-Workflows mit Spracherkennung, LLM-Integration, TTS und Lippensynchronisation.