Einrichtungsanleitung

Diese Anleitung führt Sie durch den grundlegenden Einrichtungsprozess für Runtime MetaHuman Lip Sync mit Ihren MetaHuman-Charakteren.

Hinweis: Runtime MetaHuman Lip Sync funktioniert sowohl mit MetaHuman als auch mit benutzerdefinierten Charakteren. Detaillierte Anweisungen zur Einrichtung benutzerdefinierter Charaktere finden Sie im Leitfaden zur Einrichtung benutzerdefinierter Charaktere.

Voraussetzungen

Bevor Sie beginnen, stellen Sie sicher:

1. MetaHuman-Plugin-Anforderungen:

   • UE 5.5 und früher: Aktivieren Sie das MetaHuman-Plugin in Ihrem Projekt
   • UE 5.6 und später: Aktivieren Sie das MetaHuman Core Tech-Plugin in Ihrem Projekt
   Zusätzliche MetaHuman-Plugins

Je nachdem, wie Sie Ihre MetaHuman-Charaktere erstellen, benötigen Sie möglicherweise zusätzliche Plugins. Wenn Sie beispielsweise beabsichtigen, einen MetaHuman mit dem neuen MetaHuman Creator-System zu erstellen, das in UE 5.6 eingeführt wurde, müssen Sie auch das MetaHuman Creator-Plugin aktivieren. Weitere Informationen zu diesem System finden Sie in der MetaHuman Creator-Dokumentation. :::

2. Sie haben mindestens einen MetaHuman-Charakter heruntergeladen und in Ihrem Projekt verfügbar.
3. Das Runtime MetaHuman Lip Sync-Plugin ist installiert.

Standard Model Extension Plugin

Wenn Sie das Standardmodell verwenden möchten, müssen Sie das Erweiterungs-Plugin installieren:

1. Laden Sie das Standard Lip Sync Extension Plugin von hier herunter.
2. Extrahieren Sie den Ordner aus dem heruntergeladenen Archiv in den Plugins-Ordner Ihres Projekts (erstellen Sie diesen Ordner, falls er nicht existiert).
3. Stellen Sie sicher, dass Ihr Projekt als C++-Projekt eingerichtet ist (auch wenn Sie keinen C++-Code haben).
4. Erstellen Sie Ihr Projekt neu.

hinweis

• Diese Erweiterung ist nur erforderlich, wenn Sie das Standardmodell verwenden möchten. Wenn Sie nur die realistischen Modelle benötigen, können Sie diesen Schritt überspringen.
• Weitere Informationen zum manuellen Erstellen von Plugins finden Sie im Tutorial zum Erstellen von Plugins.

Zusätzliche Plugins

• Wenn Sie Audioaufnahme (z. B. Mikrofoneingabe) verwenden möchten, installieren Sie das Plugin Runtime Audio Importer.
• Wenn Sie die Text-zu-Sprache-Funktion nutzen möchten:
  • Für lokale TTS (Standardmodell und stimmungsgesteuertes realistisches Modell) installieren Sie das Plugin Runtime Text To Speech.
  • Für externe TTS-Anbieter (ElevenLabs, OpenAI, Google Cloud, Azure) installieren Sie das Plugin Runtime AI Chatbot Integrator.

Animation Blueprint Einrichtung

Schritt 1: Finden und ändern Sie das Gesichtsanimations-Blueprint

UE 5.5 und früher (oder Legacy-MetaHumans in UE 5.6+)

Sie müssen ein Animation Blueprint modifizieren, das für die Gesichtsanimationen Ihres MetaHuman-Charakters verwendet wird. Das standardmäßige MetaHuman-Gesichts-Animation Blueprint befindet sich unter:

Content/MetaHumans/Common/Face/Face_AnimBP

Sie haben mehrere Optionen zur Implementierung der Lippen-Synchronisationsfunktionalität:

Standard-Asset bearbeiten (einfachste Option)

Öffnen Sie den standardmäßigen Face_AnimBP direkt und nehmen Sie Ihre Änderungen vor. Alle Änderungen wirken sich auf alle MetaHuman-Charaktere aus, die dieses Animations-Blueprint verwenden.

Hinweis: Dieser Ansatz ist praktisch, wirkt sich jedoch auf alle Charaktere aus, die das standardmäßige Animations-Blueprint verwenden.

Erstelle Duplikat

1. Duplizieren Sie Face_AnimBP und geben Sie ihm einen beschreibenden Namen
2. Suchen Sie die Blueprint-Klasse Ihres Charakters (z. B. für den Charakter "Bryan" unter Content/MetaHumans/Bryan/BP_Bryan)
3. Öffnen Sie den Charakter-Blueprint und suchen Sie die Face-Komponente
4. Ändern Sie die Eigenschaft "Anim Class" zu Ihrem neu duplizierten Animation-Blueprint

Hinweis: Dieser Ansatz ermöglicht es Ihnen, die Lippen-Synchronisation für bestimmte Charaktere anzupassen, während andere unverändert bleiben.

Verwende benutzerdefiniertes Animations-Blueprint

Sie können die Lippen-Synchronisationsüberblendung in jedem Animations-Blueprint implementieren, der Zugriff auf die erforderlichen Gesichtsknochen hat.

1. Erstellen oder verwenden Sie ein vorhandenes benutzerdefiniertes Animations-Blueprint
2. Stellen Sie sicher, dass Ihr Animations-Blueprint mit einem Skelett funktioniert, das dieselben Gesichtsknochen wie das standardmäßige Face_Archetype_Skeleton von MetaHuman enthält

Hinweis: Dieser Ansatz bietet Ihnen maximale Flexibilität für die Integration mit benutzerdefinierten Animationssystemen.

UE 5.6+ MetaHuman Creator Charaktere

Ab UE 5.6 wurde das neue MetaHuman Creator-System eingeführt. Für diese Charaktere bietet das Plugin ein Gesichts-Animation-Blueprint unter:

Content/LipSyncData/LipSync_Face_AnimBP

Wichtig

Dieses Animations-Blueprint befindet sich im Inhaltsordner des Plugins und wird bei jedem Plugin-Update überschrieben. Um den Verlust Ihrer Anpassungen zu vermeiden:

1. Kopieren Sie dieses Asset in den Content-Ordner Ihres Projekts (z. B. nach YourProject/Content/MetaHumans/LipSync_Face_AnimBP)
2. Verwenden Sie Ihre kopierte Version in Ihrem Charakter-Setup
3. Nehmen Sie alle Ihre Änderungen an der kopierten Version vor

Verwendung des Gesichtsanimations-Blueprints des Plugins:

1. Finden Sie die Blueprint-Klasse Ihres MetaHuman Creator-Charakters
2. Öffnen Sie den Charakter-Blueprint und suchen Sie die Face-Komponente
3. Ändern Sie die Eigenschaft „Anim Class“ auf LipSync_Face_AnimBP des Plugins
4. Fahren Sie mit den nächsten Schritten fort, um die Runtime MetaHuman Lip Sync-Funktionalität zu konfigurieren

Schritt 2: Einrichtung des Event-Graphen

Öffnen Sie Ihr Gesichtsanimations-Blueprint und wechseln Sie zum Event Graph. Sie müssen einen Generator erstellen, der Audiodaten verarbeitet und eine Lippen-Synchronisationsanimation erzeugt.

Standardmodell

1. Fügen Sie den Knoten Event Blueprint Begin Play hinzu, falls er noch nicht vorhanden ist
2. Fügen Sie den Knoten Create Runtime Viseme Generator hinzu und verbinden Sie ihn mit dem Begin Play-Ereignis
3. Speichern Sie die Ausgabe als Variable (z. B. "VisemeGenerator"), um sie in anderen Teilen des Graphen zu verwenden

Ausführliche Konfigurationsoptionen finden Sie im Abschnitt Standardmodell-Konfiguration.

Realistisches Modell

1. Fügen Sie den Knoten Event Blueprint Begin Play hinzu, falls er noch nicht vorhanden ist
2. Fügen Sie den Knoten Create Realistic MetaHuman Lip Sync Generator hinzu und verbinden Sie ihn mit dem Begin Play-Ereignis
3. Speichern Sie die Ausgabe als Variable (z. B. "RealisticMetaHumanLipSyncGenerator") zur Verwendung in anderen Teilen des Graphen
4. (Optional) Konfigurieren Sie die Generator-Einstellungen mithilfe des Parameters Konfiguration

Ausführliche Konfigurationsoptionen, einschließlich Modelltypen, Leistungseinstellungen und Verarbeitungsparametern, finden Sie im Abschnitt Realistische Modellkonfiguration.

Stimmungsgesteuertes realistisches Modell

1. Fügen Sie den Knoten Event Blueprint Begin Play hinzu, falls er noch nicht vorhanden ist
2. Fügen Sie den Knoten Create Realistic MetaHuman Lip Sync With Mood Generator hinzu und verbinden Sie ihn mit dem Begin Play-Ereignis
3. Speichern Sie die Ausgabe als Variable (z. B. "MoodMetaHumanLipSyncGenerator") zur Verwendung in anderen Teilen des Graphen
4. (Optional) Konfigurieren Sie die Generator-Einstellungen über den Parameter Configuration

Eine detaillierte Konfiguration der Stimmung, einschließlich Stimmungstypen, Intensitätseinstellungen, Vorausschau-Zeitsteuerung und Auswahl des Ausgabetyps, finden Sie im Abschnitt Stimmungsgestützte Modellkonfiguration.

Schritt 3: Anim Graph Einrichtung

Nach der Einrichtung des Event-Graphs wechseln Sie zum Anim Graph, um den Generator mit der Animation des Charakters zu verbinden:

Standardmodell

1. Suchen Sie die Pose, die das MetaHuman-Gesicht enthält (normalerweise von Use cached pose 'Body Pose')
2. Fügen Sie den Knoten Blend Runtime MetaHuman Lip Sync hinzu
3. Verbinden Sie die Pose mit dem Source Pose-Eingang des Blend Runtime MetaHuman Lip Sync-Knotens
4. Verbinden Sie Ihre VisemeGenerator-Variable mit dem Viseme Generator-Pin
5. Verbinden Sie die Ausgabe des Blend Runtime MetaHuman Lip Sync-Knotens mit dem Result-Pin des Output Pose

Realistisches Modell

1. Lokalisieren Sie die Pose, die das MetaHuman-Gesicht enthält (normalerweise von Use cached pose 'Body Pose')
2. Fügen Sie den Knoten Blend Realistic MetaHuman Lip Sync hinzu
3. Verbinden Sie die Pose mit dem Source Pose-Eingang des Blend Realistic MetaHuman Lip Sync-Knotens
4. Verbinden Sie Ihre RealisticMetaHumanLipSyncGenerator-Variable mit dem Lip Sync Generator-Pin
5. Verbinden Sie die Ausgabe des Blend Realistic MetaHuman Lip Sync-Knotens mit dem Result-Pin des Output Pose-Knotens

Stimmungsgesteuertes realistisches Modell

1. Suchen Sie die Pose, die das MetaHuman-Gesicht enthält (normalerweise von Use cached pose 'Body Pose')
2. Fügen Sie den Knoten Blend Realistic MetaHuman Lip Sync hinzu (derselbe Knoten wie beim regulären realistischen Modell)
3. Verbinden Sie die Pose mit dem Source Pose-Eingang des Blend Realistic MetaHuman Lip Sync-Knotens
4. Verbinden Sie Ihre MoodMetaHumanLipSyncGenerator-Variable mit dem Lip Sync Generator-Pin
5. Verbinden Sie die Ausgabe des Blend Realistic MetaHuman Lip Sync-Knotens mit dem Result-Pin des Output Pose

Hinweis: Das stimmungsfähige Modell verwendet denselben Animation-Blueprint-Knoten wie das reguläre realistische Modell. Die Stimmungsfunktionalität wird intern vom Generator verarbeitet.

Nächste Schritte

Nachdem Sie das grundlegende Animation Blueprint-Setup abgeschlossen haben, müssen Sie die Audioeingabeverarbeitung konfigurieren, um Audiodaten an Ihren Lip-Sync-Generator zu übermitteln.

Fahren Sie mit dem Audioverarbeitungsleitfaden fort, um zu erfahren, wie Sie verschiedene Audioeingabemethoden einrichten, darunter Mikrofonaufnahme, Text-to-Speech und Audiodateiverarbeitung.

Für erweiterte Konfigurationsoptionen und Feineinstellungen siehe den Konfigurationsleitfaden.