Zum Hauptinhalt springen

Verwendung des Plugins mit benutzerdefinierten Charakteren

Diese Anleitung führt Sie durch den Prozess der Einrichtung von Runtime MetaHuman Lip Sync für Nicht-MetaHuman-Charaktere. Dieser Prozess erfordert Vertrautheit mit Animationskonzepten und Rigging. Falls Sie Unterstützung bei der Implementierung für Ihren spezifischen Charakter benötigen, können Sie professionelle Hilfe unter [email protected] anfordern.

Wichtiger Hinweis zu Lip-Sync-Modellen​

⚠️ Benutzerdefinierte Charaktere werden nur mit dem Standard (Schnelleres) Modell unterstützt.

Das Realistische (Höhere Qualität) Modell ist ausschließlich für MetaHuman-Charaktere konzipiert und kann nicht mit benutzerdefinierten Charakteren verwendet werden. In dieser Anleitung sollten Sie, sofern referenziert, den Anweisungen für das Standard-Modell aus der Haupt-Setup-Anleitung folgen.

Voraussetzungen​

Bevor Sie beginnen, stellen Sie sicher, dass Ihr Charakter diese Anforderungen erfüllt:

  • Besitzt ein gültiges Skelett
  • Enthält Morph Targets (Blend Shapes) für Gesichtsausdrücke
  • Idealerweise verfügt über 10+ Morph Targets zur Definition von Visemen (mehr Viseme = bessere Lip-Sync-Qualität)

Das Plugin erfordert die Zuordnung der Morph Targets Ihres Charakters zu folgenden Standard-Visemen:

Sil -> Silence
PP -> Bilabial plosives (p, b, m)
FF -> Labiodental fricatives (f, v)
TH -> Dental fricatives (th)
DD -> Alveolar plosives (t, d)
KK -> Velar plosives (k, g)
CH -> Postalveolar affricates (ch, j)
SS -> Sibilants (s, z)
NN -> Nasal (n)
RR -> Approximant (r)
AA -> Open vowel (aa)
E -> Mid vowel (e)
IH -> Close front vowel (ih)
OH -> Close-mid back vowel (oh)
OU -> Close back vowel (ou)

Hinweis: Falls dein Charakter ein anderes Set von Visemen hat (was wahrscheinlich ist), benötigst du keine exakten Übereinstimmungen für jedes Visem. Annäherungen sind oft ausreichend – zum Beispiel könnte das Mapping des SH-Visems deines Charakters auf das CH-Visem des Plugins effektiv funktionieren, da es sich um ähnliche postalveolare Laute handelt.

Visem-Mapping-Referenz​

Hier sind die Mappings zwischen gängigen Visem-Systemen und den vom Plugin benötigten Visemen:

ARKit bietet einen umfassenden Satz an Blendshapes für Gesichtsanimationen, einschließlich mehrerer Mundformen. So kannst du sie auf die RuntimeMetaHumanLipSync-Viseme mappen:

RuntimeMetaHumanLipSync VisemeARKit-ÄquivalentHinweise
SilmouthCloseDie neutrale/Ruheposition
PPmouthPressLeft + mouthPressRightFür bilabiale Laute beide Press-Shapes kombinieren
FFlowerLipBiteLeft + lowerLipBiteRightErzeugt den "f/v"-Kontakt zwischen Lippen und Zähnen
THtongueOutARKit bietet direkte Zungensteuerung
DDjawOpen (leicht) + tongueUpLeichte Kieferöffnung mit Zungenposition kombinieren
KKmouthLeft oder mouthRight (leicht)Subtiles Ziehen der Mundwinkel approximiert velare Laute
CHjawOpen (leicht) + mouthFunnel (leicht)Kombinieren für postalveolare Laute
SSmouthFrownLeichtes Stirnrunzeln für Zischlaute
NNjawOpen (sehr leicht) + mouthCloseFast geschlossener Mund mit leichter Kieferöffnung
RRmouthPucker (leicht)Subtile Rundung für R-Laute
AAjawOpen + mouthOpenKombiniert für weit geöffnete Vokallaute
EjawOpen (leicht) + mouthSmileMittel-offene Position mit leichtem Lächeln
IHmouthSmile (leicht)Leicht gespreizte Lippen
OHmouthFunnelGerundete, offene Form
OUmouthPuckerStark gerundete Lippen

Erstellen eines benutzerdefinierten Pose-Assets​

Folge diesen Schritten, um ein benutzerdefiniertes Pose-Asset für deinen Charakter zu erstellen, das mit dem Blend Runtime MetaHuman Lip Sync-Node verwendet wird:

1. Finde das Skeletal Mesh deines Charakters​

Finde das Skeletal Mesh, das die Morph-Targets (Blend-Shapes) enthält, die du für die Lippenanimierung verwenden möchtest. Dies könnte ein Ganzkörper-Mesh oder nur ein Gesichts-Mesh sein, abhängig vom Design deines Charakters.

2. Überprüfe verfügbare Morph-Targets​

Stelle sicher, dass dein Skeletal Mesh geeignete Morph-Targets hat, die als Viseme für die Lippenanimation verwendet werden können. Die meisten Charaktere mit Gesichtsanimation sollten einige Phonem-/Visem-Morph-Targets besitzen.

Beispiel für Morph-Targets in einem Charakter

3. Erstelle eine Referenz-Pose-Animation​

  1. Gehe zu Create Asset -> Create Animation -> Reference Pose
  2. Gib einen beschreibenden Namen für die Animationssequenz ein und speichere sie an einem geeigneten Ort
  3. Die erstellte Animationssequenz öffnet sich automatisch und zeigt eine leere Animation in einer Schleife

Erstellen eines Referenz-Pose-Assets Benennen des Referenz-Pose-Assets

  1. Klicke auf den Pause-Button, um die Wiedergabe für einfacheres Bearbeiten zu stoppen

Anhaltende Animationswiedergabe

4. Bearbeite die Animationssequenz​

  1. Klicke auf Edit in Sequencer -> Edit with FK Control Rig
  2. Im Bake to Control Rig-Dialog klicke auf den Bake to Control Rig-Button, ohne Einstellungen zu ändern

Bearbeiten mit FK Control Rig Baking zu Control Rig

  1. Der Editor wechselt in den Animation Mode mit geöffnetem Sequencer-Tab
  2. Setze das View Range End Time auf 0016 (was automatisch auch Working Range End auf 0016 setzt)
  3. Ziehe den rechten Rand des Sliders an das rechte Ende des Sequencer-Fensters

5. Animation Curves vorbereiten​

  1. Kehren Sie zur Animation Sequence Asset zurück und suchen Sie die Morph Targets in der Curves-Liste (falls nicht sichtbar, schließen und öffnen Sie das Animation Sequence Asset erneut)
  2. Entfernen Sie alle Morph Targets, die nicht mit Visemen oder Mundbewegungen zusammenhängen, die Sie für Lip Sync verwenden möchten

6. Planen Sie Ihre Visem-Zuordnung​

Erstellen Sie einen Zuordnungsplan, um die Viseme Ihres Charakters mit dem vom Plugin benötigten Satz abzugleichen. Zum Beispiel:

Sil -> Sil
PP -> FV
FF -> FV
TH -> TH
DD -> TD
KK -> KG
CH -> CH
SS -> SZ
NN -> NL
RR -> RR
AA -> AA
E -> E
IH -> IH
OH -> O
OU -> U

Hinweis: Es ist akzeptabel, wiederholte Zuordnungen zu haben, wenn der Visem-Satz Ihres Charakters keine exakten Entsprechungen für jedes erforderliche Visem aufweist.

7. Animieren Sie jedes Visem​

  1. Animieren Sie für jedes Visem die relevanten Morph-Target-Kurven von 0.0 bis 1.0
  2. Starten Sie jede Visem-Animation auf einem anderen Frame
  3. Konfigurieren Sie zusätzliche Kurven nach Bedarf (Kiefer-/Mundöffnung, Zungenposition usw.), um natürlich aussehende Visem-Formen zu erstellen

8. Erstellen Sie ein Pose-Asset​

  1. Gehen Sie zu Create Asset -> Pose Asset -> Current Animation
  2. Geben Sie einen beschreibenden Namen für das Pose-Asset ein und speichern Sie es an einem geeigneten Ort
  3. Das erstellte Pose-Asset öffnet sich automatisch und zeigt Posen wie Pose_0, Pose_1 usw. an, die jeweils einem Visem entsprechen
  4. Überprüfen Sie die Visem-Gewichtungen, um sicherzustellen, dass sie wie erwartet funktionieren

Erstellen eines Pose-Assets Benennung des Pose-Assets Pose-Asset mit Visemen

9. Finalisieren Sie das Pose-Asset​

  1. Benennen Sie jede Pose entsprechend den Visem-Namen aus dem Abschnitt Voraussetzungen um
  2. Löschen Sie nicht verwendete Posen

Einrichtung der Audio-Verarbeitung und Blending​

Sobald Ihr Pose-Asset bereit ist, müssen Sie die Audio-Verarbeitungs- und Blending-Nodes einrichten:

  1. Suchen oder erstellen Sie das Animation Blueprint Ihres Charakters
  2. Richten Sie die Audio-Verarbeitung und das Blending gemäß den gleichen Schritten ein, die im Standard-Plugin-Setup-Leitfaden dokumentiert sind
  3. Wählen Sie im Blend Runtime MetaHuman Lip Sync-Node Ihr benutzerdefiniertes Pose-Asset anstelle des standardmäßigen MetaHuman-Pose-Assets aus

Auswahl des benutzerdefinierten Pose-Assets

Kombination mit Körperanimationen​

Wenn Sie Lip Sync zusammen mit anderen Körperanimationen durchführen möchten:

  1. Folgen Sie den gleichen Schritten wie im Standard-Plugin-Leitfaden dokumentiert
  2. Stellen Sie sicher, dass Sie die korrekten Bone-Names für das Skelett des Halses Ihres Charakters angeben, anstatt die MetaHuman-Bone-Names zu verwenden

Ergebnisse​

Hier sind Beispiele für benutzerdefinierte Charaktere, die dieses Setup verwenden:

Beispiel 1: Lip Sync mit benutzerdefiniertem Charakter

Beispiel 2: Lip Sync mit anderem Visem-System

Beispiel 3: Lip Sync mit anderem Visem-System

Die Qualität des Lip Sync hängt weitgehend vom spezifischen Charakter und der Qualität der Visem-Einrichtung ab. Die obigen Beispiele zeigen das Plugin in Aktion mit verschiedenen Arten von benutzerdefinierten Charakteren mit unterschiedlichen Visem-Systemen.