Setup Guide

Diese Anleitung führt Sie durch den grundlegenden Einrichtungsprozess für Runtime MetaHuman Lip Sync mit Ihren MetaHuman-Charakteren.

Hinweis: Runtime MetaHuman Lip Sync funktioniert sowohl mit MetaHuman- als auch mit benutzerdefinierten Charakteren. Detaillierte Anweisungen zur Einrichtung benutzerdefinierter Charaktere finden Sie im Leitfaden zur Einrichtung benutzerdefinierter Charaktere.

Voraussetzungen

Bevor Sie beginnen, stellen Sie sicher:

1. Das MetaHuman-Plugin ist in Ihrem Projekt aktiviert (Hinweis: Ab UE 5.6 ist dieser Schritt nicht mehr erforderlich, da die MetaHuman-Funktionalität direkt in die Engine integriert ist)
2. Sie haben mindestens einen MetaHuman-Charakter heruntergeladen und in Ihrem Projekt verfügbar
3. Das Runtime MetaHuman Lip Sync-Plugin ist installiert

Standard Model Extension Plugin

Wenn Sie das Standard-Modell verwenden möchten, müssen Sie das Erweiterungs-Plugin installieren:

1. Laden Sie das Standard Lip Sync Extension plugin von Google Drive herunter
2. Extrahieren Sie den Ordner aus dem heruntergeladenen Archiv in den Plugins-Ordner Ihres Projekts (erstellen Sie diesen Ordner, falls er nicht existiert)
3. Stellen Sie sicher, dass Ihr Projekt als C++-Projekt eingerichtet ist (selbst wenn Sie keinen C++-Code haben)
4. Bauen Sie Ihr Projekt neu

hinweis

• Diese Erweiterung ist nur erforderlich, wenn Sie das Standard-Modell verwenden möchten. Wenn Sie nur die Realistischen Modelle benötigen, können Sie diesen Schritt überspringen.
• Weitere Informationen zum manuellen Erstellen von Plugins finden Sie im Building Plugins tutorial

Zusätzliche Plugins

• Wenn Sie Audioaufnahme verwellen möchten (z. B. Mikrofoneingang), installieren Sie das Runtime Audio Importer-Plugin.
• Wenn Sie Text-zu-Sprache-Funktionalität verwenden möchten:
  • Für lokale TTS (nur Standard-Modell), installieren Sie das Runtime Text To Speech-Plugin.
  • Für externe TTS-Anbieter (ElevenLabs, OpenAI), installieren Sie das Runtime AI Chatbot Integrator-Plugin.

Animation Blueprint Setup

Schritt 1: Suchen und ändern Sie das Gesichts-Animation Blueprint

UE 5.5 und früher (oder Legacy MetaHumans in UE 5.6+)

Sie müssen ein Animation Blueprint ändern, das für die Gesichtsanimationen Ihres MetaHuman-Charakters verwendet wird. Das standardmäßige MetaHuman-Gesichts-Animation Blueprint befindet sich unter:

Content/MetaHumans/Common/Face/Face_AnimBP

Sie haben mehrere Möglichkeiten, die Lip-Sync-Funktionalität zu implementieren:

Standard-Asset bearbeiten (Einfachste Option)

Öffnen Sie das standardmäßige Face_AnimBP direkt und nehmen Sie Ihre Änderungen vor. Alle Änderungen wirken sich auf alle MetaHuman-Charaktere aus, die diese Animation Blueprint verwenden.

Hinweis: Dieser Ansatz ist bequem, wirkt sich jedoch auf alle Charaktere aus, die die standardmäßige Animation Blueprint verwenden.

Duplikat erstellen

1. Duplizieren Sie Face_AnimBP und geben Sie ihm einen beschreibenden Namen
2. Suchen Sie die Blueprint-Klasse Ihres Charakters (z.B. für Charakter "Bryan" unter Content/MetaHumans/Bryan/BP_Bryan)
3. Öffnen Sie die Charakter-Blueprint und finden Sie die Face-Komponente
4. Ändern Sie die Anim Class-Eigenschaft auf Ihre neu duplizierte Animation Blueprint

Hinweis: Dieser Ansatz ermöglicht es Ihnen, das Lip-Sync für bestimmte Charaktere anzupassen, während andere unverändert bleiben.

Benutzerdefinierte Animation Blueprint verwenden

Sie können das Lip-Sync-Blending in jeder Animation Blueprint implementieren, die Zugriff auf die erforderlichen Gesichtsknochen hat:

1. Erstellen oder verwenden Sie eine bestehende benutzerdefinierte Animation Blueprint
2. Stellen Sie sicher, dass Ihre Animation Blueprint mit einem Skelett funktioniert, das dieselben Gesichtsknochen wie das standardmäßige MetaHuman-Face_Archetype_Skeleton enthält

Hinweis: Dieser Ansatz bietet Ihnen maximale Flexibilität für die Integration in benutzerdefinierte Animationssysteme.

UE 5.6+ MetaHuman Creator Charaktere

Ab UE 5.6 wurde das neue MetaHuman Creator-System eingeführt. Für diese Charaktere stellt das Plugin eine Gesichts-Animation Blueprint bereit, die sich befindet unter:

Content/LipSyncData/LipSync_Face_AnimBP

Wichtig

Diese Animation Blueprint befindet sich im Inhaltsordner des Plugins und wird mit jedem Plugin-Update überschrieben. Um Ihre Anpassungen nicht zu verlieren:

1. Kopieren Sie dieses Asset in den Content-Ordner Ihres Projekts (zum Beispiel nach IhrProjekt/Content/MetaHumans/LipSync_Face_AnimBP)
2. Verwenden Sie Ihre kopierte Version in Ihrem Charakter-Setup
3. Nehmen Sie alle Ihre Änderungen an der kopierten Version vor

Verwendung der Face Animation Blueprint des Plugins:

1. Suchen Sie die Blueprint-Klasse Ihres MetaHuman Creator-Charakters
2. Öffnen Sie die Charakter-Blueprint und finden Sie die Face-Komponente
3. Ändern Sie die Anim Class-Eigenschaft in die LipSync_Face_AnimBP des Plugins
4. Fahren Sie mit den nächsten Schritten fort, um die Runtime MetaHuman Lip Sync-Funktionalität zu konfigurieren

Schritt 2: Event Graph-Einrichtung

Öffnen Sie Ihre Face Animation Blueprint und wechseln Sie zum Event Graph. Sie müssen einen Generator erstellen, der Audiodaten verarbeitet und Lip-Sync-Animationen erzeugt.

Standard-Modell

1. Fügen Sie den Event Blueprint Begin Play-Knoten hinzu, falls er noch nicht existiert
2. Fügen Sie den Create Runtime Viseme Generator-Knoten hinzu und verbinden Sie ihn mit dem Begin Play-Ereignis
3. Speichern Sie die Ausgabe als Variable (z.B. "VisemeGenerator") zur Verwendung in anderen Teilen des Graphen

Detaillierte Konfigurationsoptionen finden Sie im Abschnitt Standard-Modell-Konfiguration.

Realistisches Modell

1. Fügen Sie den Event Blueprint Begin Play-Knoten hinzu, falls er noch nicht existiert
2. Fügen Sie den Create Realistic MetaHuman Lip Sync Generator-Knoten hinzu und verbinden Sie ihn mit dem Begin Play-Ereignis
3. Speichern Sie die Ausgabe als Variable (z.B. "RealisticMetaHumanLipSyncGenerator") zur Verwendung in anderen Teilen des Graphen
4. (Optional) Konfigurieren Sie die Generator-Einstellungen mit dem Configuration-Parameter

Detaillierte Konfigurationsoptionen einschließlich Modelltypen, Leistungseinstellungen und Verarbeitungsparameter finden Sie im Abschnitt Realistische Modell-Konfiguration.

Stimmungsfähiges realistisches Modell

1. Fügen Sie den Event Blueprint Begin Play-Knoten hinzu, falls er noch nicht existiert
2. Fügen Sie den Create Realistic MetaHuman Lip Sync With Mood Generator-Knoten hinzu und verbinden Sie ihn mit dem Begin Play-Ereignis
3. Speichern Sie die Ausgabe als Variable (z.B. "MoodMetaHumanLipSyncGenerator") zur Verwendung in anderen Teilen des Graphen
4. (Optional) Konfigurieren Sie die Generator-Einstellungen mit dem Configuration-Parameter

Detaillierte Stimmungskonfiguration einschließlich mood types, intensity settings, lookahead timing, and output type selection, see the Mood-Enabled Model Configuration section.

Schritt 3: Anim Graph Einrichtung

Nachdem Sie den Event Graph eingerichtet haben, wechseln Sie zum Anim Graph, um den Generator mit der Animation der Figur zu verbinden:

Standard Model

1. Suchen Sie die Pose, die das MetaHuman-Gesicht enthält (typischerweise von Use cached pose 'Body Pose')
2. Fügen Sie den Blend Runtime MetaHuman Lip Sync-Node hinzu
3. Verbinden Sie die Pose mit dem Source Pose-Pin des Blend Runtime MetaHuman Lip Sync-Nodes
4. Verbinden Sie Ihre VisemeGenerator-Variable mit dem Viseme Generator-Pin
5. Verbinden Sie den Ausgang des Blend Runtime MetaHuman Lip Sync-Nodes mit dem Result-Pin der Output Pose

Realistic Model

1. Suchen Sie die Pose, die das MetaHuman-Gesicht enthält (typischerweise von Use cached pose 'Body Pose')
2. Fügen Sie den Blend Realistic MetaHuman Lip Sync-Node hinzu
3. Verbinden Sie die Pose mit dem Source Pose-Pin des Blend Realistic MetaHuman Lip Sync-Nodes
4. Verbinden Sie Ihre RealisticMetaHumanLipSyncGenerator-Variable mit dem Lip Sync Generator-Pin
5. Verbinden Sie den Ausgang des Blend Realistic MetaHuman Lip Sync-Nodes mit dem Result-Pin der Output Pose

Mood-Enabled Realistic Model

1. Suchen Sie die Pose, die das MetaHuman-Gesicht enthält (typischerweise von Use cached pose 'Body Pose')
2. Fügen Sie den Blend Realistic MetaHuman Lip Sync-Node hinzu (derselbe Node wie beim regulären realistischen Modell)
3. Verbinden Sie die Pose mit dem Source Pose-Pin des Blend Realistic MetaHuman Lip Sync-Nodes
4. Verbinden Sie Ihre MoodMetaHumanLipSyncGenerator-Variable mit dem Lip Sync Generator-Pin
5. Verbinden Sie den Ausgang des Blend Realistic MetaHuman Lip Sync-Nodes mit dem Result-Pin der Output Pose

Hinweis: Das mood-fähige Modell verwendet denselben Animation Blueprint-Node wie das reguläre realistische Modell. Die Mood-Funktionalität wird intern vom Generator behandelt.

Nächste Schritte

Nachdem Sie die grundlegende Animation Blueprint-Einrichtung abgeschlossen haben, müssen Sie nun die Audioeingabeverarbeitung konfigurieren, um Audiodaten an Ihren Lip Sync-Generator zu liefern.

Fahren Sie mit dem Audio Processing Guide fort, um zu erfahren, wie Sie verschiedene Audioeingabemethoden einrichten, einschließlich Mikrofonaufnahme, Text-to-Speech und Audio-Dateiverarbeitung. Für erweiterte Konfigurationsoptionen und Feinabstimmung siehe die Konfigurationsanleitung.