Zum Hauptinhalt springen

Wie man das Plugin mit benutzerdefinierten Charakteren verwendet

Diese Anleitung führt Sie durch den Prozess der Einrichtung von Runtime MetaHuman Lip Sync für Nicht-MetaHuman-Charaktere. Dieser Prozess erfordert Vertrautheit mit Animationskonzepten und Rigging. Wenn Sie Hilfe bei der Implementierung für Ihren spezifischen Charakter benötigen, können Sie unter [email protected] professionelle Unterstützung anfordern.

Wichtiger Hinweis zu Lip Sync-Modellen​

Kompatibilität mit benutzerdefinierten Charakteren

Benutzerdefinierte Charaktere werden nur mit dem Standard (Schnelleres) Modell unterstützt.

Das Realistische (Höhere Qualität) Modell ist ausschließlich für MetaHuman-Charaktere konzipiert und kann nicht mit benutzerdefinierten Charakteren verwendet werden. In dieser Anleitung sollten Sie den Standard-Modell-Anweisungen aus der Haupt-Setup-Anleitung folgen, wenn darauf verwiesen wird.

Erforderliches Erweiterungs-Plugin: Um das Standard-Modell mit benutzerdefinierten Charakteren zu verwenden, müssen Sie das Standard Lip Sync Extension-Plugin installieren, wie im Voraussetzungen-Abschnitt der Haupt-Setup-Anleitung beschrieben.

Diese Erweiterung ist erforderlich für alle Implementierungen mit benutzerdefinierten Charakteren, die in dieser Anleitung beschrieben werden.

Voraussetzungen​

Bevor Sie beginnen, stellen Sie sicher, dass Ihr Charakter diese Anforderungen erfüllt:

  • Verfügt über ein gültiges Skelett
  • Enthält Morph-Targets (Blend Shapes) für Gesichtsausdrücke
  • Idealerweise verfügt über 10+ Morph-Targets, die Viseme definieren (mehr Viseme = bessere Lip-Sync-Qualität)

Das Plugin erfordert die Zuordnung Ihrer Morph-Targets des Charakters zu den folgenden Standard-Visemen:

Sil -> Silence
PP -> Bilabial plosives (p, b, m)
FF -> Labiodental fricatives (f, v)
TH -> Dental fricatives (th)
DD -> Alveolar plosives (t, d)
KK -> Velar plosives (k, g)
CH -> Postalveolar affricates (ch, j)
SS -> Sibilants (s, z)
NN -> Nasal (n)
RR -> Approximant (r)
AA -> Open vowel (aa)
E -> Mid vowel (e)
IH -> Close front vowel (ih)
OH -> Close-mid back vowel (oh)
OU -> Close back vowel (ou)

Hinweis: Wenn Ihr Charakter über einen anderen Satz von Visemen verfügt (was wahrscheinlich ist), benötigen Sie keine exakten Übereinstimmungen für jedes Visem. Annäherungen sind oft ausreichend – zum Beispiel könnte das Zuordnen des SH-Visems Ihres Charakters zum CH-Visem des Plugins effektiv funktionieren, da es sich um ähnliche postalveolare Laute handelt.

Visem-Zuordnungsreferenz​

Hier sind die Zuordnungen zwischen gängigen Visem-Systemen und den vom Plugin benötigten Visemen:

ARKit bietet einen umfassenden Satz von Blendshapes für die Gesichtsanimation, einschließlich mehrerer Mundformen. So ordnen Sie sie den RuntimeMetaHumanLipSync-Visemen zu:

RuntimeMetaHumanLipSync VisemeARKit EquivalentAnmerkungen
SilmouthCloseDie neutrale/Ruheposition
PPmouthPressLeft + mouthPressRightFür bilabiale Laute verwenden Sie beide Press-Shapes zusammen
FFlowerLipBiteLeft + lowerLipBiteRightDiese erzeugen den "f/v"-Lippen-zu-Zähne-Kontakt
THtongueOutARKit bietet direkte Zungenkontrolle
DDjawOpen (leicht) + tongueUpKombinieren Sie eine leichte Kieferöffnung mit der Zungenposition
KKmouthLeft oder mouthRight (leicht)Ein leichtes Ziehen der Mundwinkel nähert velare Laute an
CHjawOpen (leicht) + mouthFunnel (leicht)Kombinieren Sie für postalveolare Laute
SSmouthFrownVerwenden Sie ein leichtes Stirnrunzeln für Zischlaute
NNjawOpen (sehr leicht) + mouthCloseFast geschlossener Mund mit leichter Kieferöffnung
RRmouthPucker (leicht)Leichte Rundung für R-Laute
AAjawOpen + mouthOpenKombiniert für weit geöffnete Vokallaute
EjawOpen (leicht) + mouthSmileMittel-offene Position mit leichtem Lächeln
IHmouthSmile (leicht)Leichtes Spreizen der Lippen
OHmouthFunnelGerundete offene Form
OUmouthPuckerStark gerundete Lippen

Erstellen eines benutzerdefinierten Pose-Assets​

Folgen Sie diesen Schritten, um ein benutzerdefiniertes Pose-Asset für Ihren Charakter zu erstellen, das mit dem Blend Runtime MetaHuman Lip Sync-Node verwendet wird:

1. Suchen Sie das Skeletal Mesh Ihres Charakters​

Finden Sie das Skeletal Mesh, das die Morph Targets (Blend Shapes) enthält, die Sie für die Lip-Sync-Animation verwenden möchten. Dies könnte ein Ganzkörper-Mesh oder nur ein Gesichts-Mesh sein, abhängig vom Design Ihres Charakters.

2. Überprüfen Sie die verfügbaren Morph Targets​

Stellen Sie sicher, dass Ihr Skeletal Mesh geeignete Morph Targets hat, die als Visemen für die Lip-Sync-Animation verwendet werden können. Die meisten Charaktere mit Gesichtsanimation sollten einige Phonem-/Visemen-Morph Targets haben.

Beispiel für Morph Targets in einem Charakter

3. Erstellen Sie eine Referenz-Pose-Animation​

  1. Gehen Sie zu Create Asset -> Create Animation -> Reference Pose
  2. Geben Sie einen beschreibenden Namen für die Animationssequenz ein und speichern Sie sie an einem geeigneten Ort
  3. Die erstellte Animationssequenz öffnet sich automatisch und zeigt eine leere Animation in einer Schleife abgespielt

Erstellen eines Reference Pose Assets Benennung des Reference Pose Assets

  1. Klicken Sie auf den Pause-Button, um die Wiedergabe der Animation für einfacheres Bearbeiten zu stoppen

Anhalten der Animationswiedergabe

4. Bearbeiten der Animationssequenz​

  1. Klicken Sie auf Edit in Sequencer -> Edit with FK Control Rig
  2. Im Bake to Control Rig-Dialog klicken Sie auf den Bake to Control Rig-Button, ohne Einstellungen zu ändern

Bearbeiten mit FK Control Rig Baking zu Control Rig

  1. Der Editor wechselt in den Animation Mode mit geöffnetem Sequencer-Tab
  2. Setzen Sie die View Range End Time auf 0016 (was automatisch auch Working Range End auf 0016 setzt)
  3. Ziehen Sie den rechten Rand des Sliders bis zum rechten Ende des Sequencer-Fensters

5. Animation Curves vorbereiten​

  1. Kehren Sie zum Animation Sequence Asset zurück und suchen Sie die Morph Targets in der Curves-Liste (falls sie nicht sichtbar sind, schließen und öffnen Sie das Animation Sequence Asset erneut)
  2. Entfernen Sie alle Morph Targets, die nicht mit Visemen oder Mundbewegungen zusammenhängen, die Sie für Lip Sync verwenden möchten

6. Planen Sie Ihre Visem-Zuordnung​

Erstellen Sie einen Zuordnungsplan, um die Viseme Ihres Charakters mit dem vom Plugin benötigten Satz abzugleichen. Zum Beispiel:

Sil -> Sil
PP -> FV
FF -> FV
TH -> TH
DD -> TD
KK -> KG
CH -> CH
SS -> SZ
NN -> NL
RR -> RR
AA -> AA
E -> E
IH -> IH
OH -> O
OU -> U

Hinweis: Es ist akzeptabel, wiederholte Zuordnungen zu haben, wenn der Visem-Satz Ihres Charakters keine exakten Entsprechungen für jedes erforderliche Visem hat.

7. Animieren Sie jedes Visem​

  1. Animieren Sie für jedes Visem die relevanten Morph-Target-Kurven von 0.0 bis 1.0
  2. Starten Sie jede Visem-Animation auf einem anderen Frame
  3. Konfigurieren Sie bei Bedarf zusätzliche Kurven (Kiefer-/Mundöffnung, Zungenposition usw.), um natürlich aussehende Visem-Formen zu erstellen

8. Erstellen Sie ein Pose-Asset​

  1. Gehen Sie zu Create Asset -> Pose Asset -> Current Animation
  2. Geben Sie einen beschreibenden Namen für das Pose-Asset ein und speichern Sie es an einem geeigneten Ort
  3. Das erstellte Pose-Asset öffnet sich automatisch und zeigt Posen wie Pose_0, Pose_1 usw. an, die jeweils einem Visem entsprechen
  4. Vorschau der Visem-Gewichtungen, um sicherzustellen, dass sie wie erwartet funktionieren

Erstellen eines Pose-Assets Benennung des Pose-Assets Pose-Asset mit Visemen

9. Finalisieren Sie das Pose-Asset​

  1. Benennen Sie jede Pose entsprechend den Visem-Namen aus dem Abschnitt Voraussetzungen um
  2. Löschen Sie alle nicht verwendeten Posen

Einrichten der Audioverarbeitung und -blending​

Sobald Ihr Pose-Asset bereit ist, müssen Sie die Audioverarbeitungs- und Blending-Knoten einrichten:

  1. Suchen Sie das Animation Blueprint Ihres Charakters oder erstellen Sie es
  2. Richten Sie die Audioverarbeitung und das Blending nach denselben Schritten ein, die im Standard-Plugin-Setup-Leitfaden dokumentiert sind
  3. Wählen Sie im Blend Runtime MetaHuman Lip Sync-Knoten Ihr benutzerdefiniertes Pose-Asset anstelle des standardmäßigen MetaHuman-Pose-Assets aus

Auswahl des benutzerdefinierten Pose-Assets

Kombination mit Körperanimationen​

Wenn Sie Lip Sync zusammen mit anderen Körperanimationen durchführen möchten:

  1. Folgen Sie denselben Schritten wie im Standard-Plugin-Leitfaden dokumentiert
  2. Stellen Sie sicher, dass Sie die korrekten Knochennamen für das Skelett des Halses Ihres Charakters angeben, anstatt die MetaHuman-Knochennamen zu verwenden

Ergebnisse​

Hier sind Beispiele für benutzerdefinierte Charaktere, die dieses Setup verwenden:

Beispiel 1: Lip Sync mit benutzerdefiniertem Charakter

Beispiel 2: Lip Sync mit anderem Visem-System

Beispiel 3: Lip Sync mit anderem Visem-System

Die Qualität des Lip Sync hängt weitgehend vom spezifischen Charakter und der Qualität seines Visem-Setups ab. Die oben gezeigten Beispiele demonstrieren das Plugin in Aktion mit verschiedenen Arten von benutzerdefinierten Charakteren mit unterschiedlichen Visem-Systemen.