Zum Hauptinhalt springen

So verwenden Sie das Plugin mit benutzerdefinierten Charakteren

Diese Anleitung führt Sie durch den Prozess der Einrichtung von Runtime MetaHuman Lip Sync für Nicht-MetaHuman-Charaktere. Dieser Prozess erfordert Vertrautheit mit Animationskonzepten und Rigging. Wenn Sie Unterstützung bei der Implementierung für Ihren spezifischen Charakter benötigen, können Sie sich für professionelle Unterstützung unter [email protected] melden.

Wichtiger Hinweis zu Lippen-Synchronisationsmodellen​

Kompatibilität benutzerdefinierter Charaktere

Benutzerdefinierte Charaktere werden nur mit dem Standardmodell (Schneller) unterstützt.

Das realistische (höherwertige) Modell ist für MetaHuman- und ARKit-Charaktere konzipiert und kann nicht mit anderen benutzerdefinierten Charakteren verwendet werden. In dieser Anleitung sollten Sie bei Verweisen den Anweisungen zum Standardmodell aus der Hauptanleitung zur Einrichtung folgen.

Erforderliches Erweiterungs-Plugin: Um das Standardmodell mit benutzerdefinierten Charakteren zu verwenden, müssen Sie das Standard-Lip-Sync-Erweiterungs-Plugin installieren, wie im Abschnitt „Voraussetzungen“ der Hauptanleitung zur Einrichtung beschrieben.

Diese Erweiterung ist erforderlich für alle in diesem Leitfaden beschriebenen benutzerdefinierten Charakterimplementierungen.

Voraussetzungen​

Bevor Sie beginnen, stellen Sie sicher, dass Ihr Charakter diese Anforderungen erfüllt:

  • Hat ein gültiges Skelett
  • Enthält Morph-Targets (Blend Shapes) für Gesichtsausdrücke
  • Hat idealerweise 10+ Morph-Targets, die Viseme definieren (mehr Viseme = bessere Lippensynchronisationsqualität)

Das Plugin erfordert die Zuordnung der Morph-Targets Ihres Charakters zu den folgenden Standard-Visemen:

Sil -> Silence
PP -> Bilabial plosives (p, b, m)
FF -> Labiodental fricatives (f, v)
TH -> Dental fricatives (th)
DD -> Alveolar plosives (t, d)
KK -> Velar plosives (k, g)
CH -> Postalveolar affricates (ch, j)
SS -> Sibilants (s, z)
NN -> Nasal (n)
RR -> Approximant (r)
AA -> Open vowel (aa)
E -> Mid vowel (e)
IH -> Close front vowel (ih)
OH -> Close-mid back vowel (oh)
OU -> Close back vowel (ou)

Hinweis: Wenn Ihr Charakter einen anderen Satz an Visemen hat (was wahrscheinlich ist), benötigen Sie keine exakten Übereinstimmungen für jedes Visem. Annäherungen sind oft ausreichend – zum Beispiel würde die Zuordnung des SH-Visems Ihres Charakters zum CH-Visem des Plugins effektiv funktionieren, da es sich um eng verwandte postalveolare Laute handelt.

Referenz zur Visem-Zuordnung​

Hier sind die Zuordnungen zwischen gängigen Visem-Systemen und den erforderlichen Visemen des Plugins:

ARKit bietet eine umfassende Sammlung von Blend-Shapes für Gesichtsanimationen, darunter mehrere Mundformen. Hier ist, wie Sie diese den RuntimeMetaHumanLipSync-Visemen zuordnen können:

RuntimeMetaHumanLipSync VisemeARKit-ÄquivalentNotizen
SilmouthCloseDie neutrale/Ruheposition
PPmouthPressLeft + mouthPressRightFür bilabiale Laute verwenden Sie beide Pressformen zusammen.
FFlowerLipBiteLeft + lowerLipBiteRight (oder mouthRollLower)Unterlippe berührt obere Zähne, wie bei den Lauten "f" und "v".
THtongueOutARKit hat eine direkte Zungensteuerung.
DDjawOpen (mild) + tongueUp (if you have tongue rig)Die Zunge berührt den Alveolarkamm; leichter Kieferabfall.
KKmouthLeft or mouthRight (mild)Leichter Mundwinkelzug nähert velare Laute an
CHjawOpen (mild) + mouthFunnel (mild)Kombiniere für postalveolare Laute
SSmouthFrownVerwenden Sie ein leichtes Stirnrunzeln für Zischlaute.
NNjawOpen (very mild) + mouthCloseFast geschlossener Mund mit leicht geöffnetem Kiefer
RRmouthPucker (mild)Subtile Rundung für R-Laute
AAjawOpen + mouthStretchLeft + mouthStretchRight (oder jawOpen + mouthOpen)Weit geöffneter Mund für den "ah"-Laut
EjawOpen (mild) + mouthSmileLeicht geöffnete Position mit leichtem Lächeln
IHmouthSmile (mild)Leichtes Spreizen der Lippen
OHmouthFunnelAbgerundete offene Form
OUmouthPuckerEng anliegende, gerundete Lippen

Erstellen eines benutzerdefinierten Pose-Assets​

Befolgen Sie diese Schritte, um ein benutzerdefiniertes Pose-Asset für Ihren Charakter zu erstellen, das mit dem Knoten Blend Runtime MetaHuman Lip Sync verwendet wird.

1. Suchen Sie das Skelett-Mesh Ihres Charakters.​

Finden Sie das Skelett-Mesh, das die Morph-Targets (Blend Shapes) enthält, die Sie für die Lippen-Synchronisationsanimation verwenden möchten. Dies kann je nach Design Ihres Charakters ein Ganzkörper-Mesh oder nur ein Gesichts-Mesh sein.

2. Überprüfen Sie Morph-Ziele und Kurven​

Überprüfen Sie vor dem Fortfahren, ob Ihr Skelett-Mesh über geeignete Morph-Ziele und entsprechende Kurven für die Lippen-Synchronisationsanimation verfügt.

Morph-Targets überprüfen: Stellen Sie sicher, dass Ihr Skelett-Mesh Morph-Targets (Blend Shapes) enthält, die als Viseme für die Lippen-Synchronisations-Animation verwendet werden können. Die meisten Charaktere mit Unterstützung für Gesichtsanimationen sollten einige Phonem-/Visem-Morph-Targets besitzen.

Example of morph targets in a character

Wichtig: Kurven-Tab überprüfen Dieser Schritt ist besonders entscheidend für Charaktere, die aus Blender oder anderer externer Software exportiert wurden:

  1. Öffnen Sie die Registerkarte Kurven im Skelettnetz-Editor
  2. Überprüfen Sie, ob Sie Kurven sehen, die Ihren Morph-Zielen entsprechen
  3. Wenn die Registerkarte Kurven leer ist, aber Morph-Ziele vorhanden sind, fügen Sie manuell neue Kurven hinzu, die exakt dieselben Namen wie Ihre Morph-Ziele verwenden

Hinweis: Dieses Problem tritt häufig bei Blender-Exporten auf, bei denen Morph-Ziele erfolgreich importiert werden, aber Animationskurven nicht automatisch erstellt werden. Ohne passende Kurven wird die Animation nach dem Baking auf das Control Rig nicht korrekt befüllt.

Alternative Lösung: Um dieses Problem beim Export aus Blender zu vermeiden, versuchen Sie, Custom Properties und Animation in Ihren FBX-Exporteinstellungen zu aktivieren. Dies kann helfen, Animationskurven zusammen mit den Morph-Zielen zu exportieren.

3. Erstellen Sie eine Referenz-Pose-Animation​

  1. Gehe zu Create Asset -> Create Animation -> Reference Pose
  2. Gib einen aussagekräftigen Namen für die Animationssequenz ein und speichere sie an einem geeigneten Ort
  3. Die erstellte Animationssequenz öffnet sich automatisch und zeigt eine leere Animation, die in einer Schleife abgespielt wird

Creating a reference pose asset Naming the reference pose asset

  1. Klicken Sie auf die Schaltfläche Pause, um die Animationswiedergabe für eine einfachere Bearbeitung zu stoppen.

Pausing animation playback

4. Bearbeiten Sie die Animationssequenz​

  1. Klicken Sie auf In Sequencer bearbeiten -> Mit FK Control Rig bearbeiten
  2. Klicken Sie im Dialog In Control Rig einbrennen auf die Schaltfläche In Control Rig einbrennen, ohne die Einstellungen zu ändern.

Editing with FK Control Rig Baking to Control Rig

  1. Der Editor wechselt in den Animationsmodus, wobei der Tab Sequencer geöffnet ist
  2. Setzen Sie die Endzeit des Ansichtsbereichs auf 0016 (wodurch automatisch auch das Ende des Arbeitsbereichs auf 0016 gesetzt wird)
  3. Ziehen Sie die rechte Kante des Schiebereglers an das rechte Ende des Sequencer-Fensters

5. Bereiten Sie die Animationskurven vor​

  1. Kehren Sie zum Animationssequenz-Asset zurück und suchen Sie die Morph-Ziele in der Curves-Liste (falls sie nicht sichtbar sind, schließen und öffnen Sie das Animationssequenz-Asset erneut)
  2. Entfernen Sie alle Morph-Ziele, die nicht mit Visemen oder Mundbewegungen zusammenhängen, die Sie für die Lippensynchronisation verwenden möchten

6. Planen Sie Ihre Visem-Zuordnung​

Erstellen Sie einen Zuordnungsplan, um die Viseme Ihres Charakters mit dem erforderlichen Satz des Plugins abzugleichen. Zum Beispiel:

Sil -> Sil
PP -> FV
FF -> FV
TH -> TH
DD -> TD
KK -> KG
CH -> CH
SS -> SZ
NN -> NL
RR -> RR
AA -> AA
E -> E
IH -> IH
OH -> O
OU -> U

Beachten Sie, dass wiederholte Zuordnungen akzeptabel sind, wenn der Visem-Satz Ihres Charakters keine exakten Übereinstimmungen für jedes erforderliche Visem aufweist.

7. Animieren Sie jedes Visem​

  1. Animieren Sie für jedes Visem die relevanten Morph-Target-Kurven von 0,0 auf 1,0.
  2. Beginnen Sie jede Visem-Animation auf einem anderen Frame.
  3. Konfigurieren Sie bei Bedarf zusätzliche Kurven (Kiefer-/Mundöffnung, Zungenposition usw.), um natürlich wirkende Visem-Formen zu erzeugen.

8. Erstellen Sie ein Pose-Asset​

  1. Gehe zu Create Asset -> Pose Asset -> Current Animation
  2. Gib einen beschreibenden Namen für das Pose-Asset ein und speichere es an einem geeigneten Ort
  3. Das erstellte Pose-Asset öffnet sich automatisch und zeigt Posen wie Pose_0, Pose_1 usw. an, die jeweils einem Visem entsprechen
  4. Vorschau der Visem-Gewichte, um sicherzustellen, dass sie wie erwartet funktionieren

Creating a pose asset Naming the pose asset Pose asset with visemes

9. Pose-Asset finalisieren​

  1. Benennen Sie jede Pose so um, dass sie den Visem-Namen aus dem Abschnitt Voraussetzungen entspricht.
  2. Löschen Sie alle ungenutzten Posen.

Einrichtung der Audioverarbeitung und -überblendung​

Sobald Ihr Pose-Asset bereit ist, müssen Sie die Audioverarbeitungs- und Überblendungsknoten einrichten:

  1. Suchen oder erstellen Sie das Animations-Blueprint Ihres Charakters
  2. Richten Sie die Audioverarbeitung und das Blending gemäß den gleichen Schritten ein, die im Standard-Plugin-Einrichtungsleitfaden dokumentiert sind
  3. Wählen Sie im Knoten Blend Runtime MetaHuman Lip Sync Ihr benutzerdefiniertes Pose-Asset anstelle des standardmäßigen MetaHuman-Pose-Assets aus

Selecting the custom pose asset

Kombinieren mit Körperanimationen​

Wenn Sie Lippen-Synchronisation zusammen mit anderen Körperanimationen durchführen möchten:

  1. Befolgen Sie die gleichen Schritte wie im Standard-Plugin-Leitfaden dokumentiert.
  2. Stellen Sie sicher, dass Sie die korrekten Knochennamen für das Hals-Skelett Ihres Charakters angeben, anstatt die MetaHuman-Knochennamen zu verwenden.

Ergebnisse​

Hier sind Beispiele für benutzerdefinierte Charaktere, die dieses Setup verwenden:

Example 1: Lip sync with custom character

Example 2: Lip sync with different viseme system

Example 3: Lip sync with different viseme system

Die Qualität des Lippen-Syncs hängt weitgehend vom jeweiligen Charakter und davon ab, wie gut seine Viseme eingerichtet sind. Die obigen Beispiele zeigen die Funktionsweise des Plugins mit verschiedenen Arten von benutzerdefinierten Charakteren mit unterschiedlichen Visem-Systemen.