Wie man das Plugin mit benutzerdefinierten Charakteren verwendet
Diese Anleitung führt Sie durch den Prozess der Einrichtung von Runtime MetaHuman Lip Sync für Nicht-MetaHuman-Charaktere. Dieser Prozess erfordert Vertrautheit mit Animationskonzepten und Rigging. Wenn Sie Hilfe bei der Implementierung für Ihren spezifischen Charakter benötigen, können Sie unter [email protected] professionelle Unterstützung anfordern.
Wichtiger Hinweis zu Lip Sync-Modellen
Benutzerdefinierte Charaktere werden nur mit dem Standard (Schnelleres) Modell unterstützt.
Das Realistische (Höhere Qualität) Modell ist ausschließlich für MetaHuman-Charaktere konzipiert und kann nicht mit benutzerdefinierten Charakteren verwendet werden. In dieser Anleitung sollten Sie den Standardmodell-Anweisungen aus der Haupt-Setup-Anleitung folgen, wenn darauf verwiesen wird.
Erforderliches Erweiterungs-Plugin: Um das Standardmodell mit benutzerdefinierten Charakteren zu verwenden, müssen Sie das Standard Lip Sync Extension-Plugin installieren, wie im Voraussetzungen-Abschnitt der Haupt-Setup-Anleitung beschrieben.
Diese Erweiterung ist erforderlich für alle Implementierungen mit benutzerdefinierten Charakteren, die in dieser Anleitung beschrieben werden.
Voraussetzungen
Bevor Sie beginnen, stellen Sie sicher, dass Ihr Charakter diese Anforderungen erfüllt:
- Verfügt über ein gültiges Skelett
- Enthält Morph-Targets (Blend Shapes) für Gesichtsausdrücke
- Idealerweise verfügt über 10+ Morph-Targets, die Viseme definieren (mehr Viseme = bessere Lip-Sync-Qualität)
Das Plugin erfordert die Zuordnung Ihrer Charakter-Morph-Targets zu den folgenden Standard-Visemen:
Sil -> Silence
PP -> Bilabial plosives (p, b, m)
FF -> Labiodental fricatives (f, v)
TH -> Dental fricatives (th)
DD -> Alveolar plosives (t, d)
KK -> Velar plosives (k, g)
CH -> Postalveolar affricates (ch, j)
SS -> Sibilants (s, z)
NN -> Nasal (n)
RR -> Approximant (r)
AA -> Open vowel (aa)
E -> Mid vowel (e)
IH -> Close front vowel (ih)
OH -> Close-mid back vowel (oh)
OU -> Close back vowel (ou)
Hinweis: Wenn Ihr Charakter über einen anderen Satz von Visemen verfügt (was wahrscheinlich ist), benötigen Sie keine exakten Übereinstimmungen für jedes Visem. Annäherungen sind oft ausreichend – zum Beispiel könnte das Visem SH
Ihres Charakters dem CH
-Visem des Plugins zugeordnet werden, da es sich um ähnliche postalveolare Laute handelt.
Visem-Zuordnungsreferenz
Hier sind die Zuordnungen zwischen gängigen Visem-Systemen und den vom Plugin benötigten Visemen:
- Apple ARKit
- FACS-basierte Systeme
- Preston Blair System
- 3ds Max Phoneme System
- Custom Characters (Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe)
ARKit bietet einen umfassenden Satz von Blendshapes für die Gesichtsanimation, einschließlich mehrerer Mundformen. So können Sie sie den Visemen von RuntimeMetaHumanLipSync zuordnen:
RuntimeMetaHumanLipSync Viseme | ARKit-Äquivalent | Anmerkungen |
---|---|---|
Sil | mouthClose | Die neutrale/Ruheposition |
PP | mouthPressLeft + mouthPressRight | Für bilabiale Laute verwenden Sie beide Press-Shapes zusammen |
FF | lowerLipBiteLeft + lowerLipBiteRight (oder mouthRollLower) | Unterlippe berührt obere Zähne, wie bei "f" und "v" Lauten |
TH | tongueOut | ARKit bietet direkte Zungensteuerung |
DD | jawOpen (leicht) + tongueUp (falls Zungen-Rig vorhanden) | Zunge berührt Alveolarkamm; leichte Kieferöffnung |
KK | mouthLeft oder mouthRight (leicht) | Subtiles Ziehen der Mundwinkel nähert velare Laute an |
CH | jawOpen (leicht) + mouthFunnel (leicht) | Kombinieren für postalveolare Laute |
SS | mouthFrown | Leichtes Stirnrunzeln für Zischlaute |
NN | jawOpen (sehr leicht) + mouthClose | Fast geschlossener Mund mit leichter Kieferöffnung |
RR | mouthPucker (leicht) | Subtile Rundung für R-Laute |
AA | jawOpen + mouthStretchLeft + mouthStretchRight (oder jawOpen + mouthOpen) | Weit geöffneter Mund für "ah"-Laut |
E | jawOpen (leicht) + mouthSmile | Mittel-offene Position mit leichtem Lächeln |
IH | mouthSmile (leicht) | Leichtes Spreizen der Lippen |
OH | mouthFunnel | Gerundete offene Form |
OU | mouthPucker | Stark gerundete Lippen |
FACS (Facial Action Coding System) verwendet Action Units (AUs), um Gesichtsbewegungen zu beschreiben. Viele professionelle Animationssysteme nutzen FACS-basierte Ansätze:
RuntimeMetaHumanLipSync Viseme | FACS Action Units | Anmerkungen |
---|---|---|
Sil | Neutral | Keine aktiven AUs |
PP | AU23 + AU24 | Lip presser + lip tightener |
FF | AU22 + AU28 | Lip funneler + lip suck |
TH | AU25 (leicht) + AU27 | Lips apart + mouth stretch |
DD | AU25 + AU16 | Lips apart + lower lip depressor |
KK | AU26 + AU14 | Jaw drop + dimpler |
CH | AU18 + AU25 | Lip pucker + lips apart |
SS | AU20 | Lip stretcher |
NN | AU25 (sehr leicht) | Leicht lips apart |
RR | AU18 (leicht) | Leichter lip pucker |
AA | AU27 + AU26 | Mouth stretch + jaw drop |
E | AU25 + AU12 | Lips apart + lip corner puller |
IH | AU12 + AU25 (leicht) | Lip corner puller + leicht lips apart |
OH | AU27 (leicht) + AU18 | Leichter mouth stretch + lip pucker |
OU | AU18 + AU26 (leicht) | Lip pucker + leichter jaw drop |
Das Preston-Blair-System ist ein klassischer Animationsstandard, der beschreibende Namen für Mundformen verwendet:
RuntimeMetaHumanLipSync Viseme | Preston Blair | Anmerkungen |
---|---|---|
Sil | Rest | Neutrale geschlossene Mundposition |
PP | MBP | Die klassische "MBP"-Mundform |
FF | FV | Die "FV"-Position mit Zähnen auf der Unterlippe |
TH | TH | Zunge berührt die Vorderzähne |
DD | D/T/N | Ähnliche Position für diese Konsonanten |
KK | CKG | Harte Konsonantenposition |
CH | CH/J/SH | Leichte Schmollmundstellung für diese Laute |
SS | S/Z | Leicht geöffnete Zahnposition |
NN | N/NG/L | Ähnlich wie D/T, aber andere Zungenposition |
RR | R | Gerundete Lippen für R-Laut |
AA | AI | Weit geöffneter Mund |
E | EH | Mittel geöffneter Mund |
IH | EE | Gespreizte Lippen |
OH | OH | Gerundete mittlere Öffnung |
OU | OO | Eng gerundete Lippen |
3ds Max verwendet ein phonembasiertes System für sein Character Studio:
RuntimeMetaHumanLipSync Viseme | 3ds Max Phoneme | Anmerkungen |
---|---|---|
Sil | rest | Standard-Mundposition |
PP | p_b_m | Direkte Entsprechung |
FF | f_v | Direkte Entsprechung |
TH | th | Direkte Entsprechung |
DD | t_d | Direkte Entsprechung |
KK | k_g | Direkte Entsprechung |
CH | sh_zh_ch | Kombinierte Form |
SS | s_z | Direkte Entsprechung |
NN | n_l | Kombiniert für diese Laute |
RR | r | Direkte Entsprechung |
AA | ah | Offener Vokallaut |
E | eh | Mittlerer Vokal |
IH | ee | Geschlossener vorderer Vokal |
OH | oh | Hinterer gerundeter Vokal |
OU | oo | Geschlossener hinterer Vokal |
Benutzerdefinierte Charaktere mit Visemen- oder Mund-Blend Shapes/Morph Targets (Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe usw.) können typischerweise mit angemessenen Annäherungen auf das Visemen-System des Plugins abgebildet werden.
Erstellen eines benutzerdefinierten Pose-Assets
Befolgen Sie diese Schritte, um ein benutzerdefiniertes Pose-Asset für Ihren Charakter zu erstellen, das mit dem Blend Runtime MetaHuman Lip Sync
-Node verwendet wird:
1. Suchen Sie das Skeletal Mesh Ihres Charakters
Finden Sie das Skeletal Mesh, das die Morph Targets (Blend Shapes) enthält, die Sie für die Lip-Sync-Animation verwenden möchten. Dies könnte ein Ganzkörper-Mesh oder nur ein Gesichts-Mesh sein, abhängig vom Design Ihres Charakters.
2. Überprüfen Sie verfügbare Morph Targets
Stellen Sie sicher, dass Ihr Skeletal Mesh geeignete Morph Targets hat, die als Visemen für die Lip-Sync-Animation verwendet werden können. Die meisten Charaktere mit Gesichtsanimation sollten einige Phonem-/Visemen-Morph Targets besitzen.
3. Erstellen Sie eine Referenz-Pose-Animation
- Gehen Sie zu
Create Asset -> Create Animation -> Reference Pose
- Geben Sie einen beschreibenden Namen für die Animationssequenz ein und speichern Sie sie an einem geeigneten Ort
- Die erstellte Animation Sequence öffnet sich automatisch und zeigt eine leere Animation in einer Schleife abgespielt
- Klicken Sie auf den
Pause
-Button, um die Animation für einfacheres Bearbeiten anzuhalten
4. Bearbeiten der Animation Sequence
- Klicken Sie auf
Edit in Sequencer
->Edit with FK Control Rig
- Im
Bake to Control Rig
-Dialog klicken Sie auf denBake to Control Rig
-Button, ohne Einstellungen zu verändern
- Der Editor wechselt in den
Animation Mode
mit geöffnetemSequencer
-Tab - Setzen Sie die
View Range End Time
auf 0016 (was automatisch auchWorking Range End
auf 0016 setzt) - Ziehen Sie den rechten Rand des Sliders bis zum rechten Ende des Sequencer-Fensters
5. Animation Curves vorbereiten
- Kehren Sie zum Animation Sequence Asset zurück und suchen Sie die Morph Targets in der
Curves
-Liste (falls sie nicht sichtbar sind, schließen und öffnen Sie das Animation Sequence Asset erneut) - Entfernen Sie alle Morph Targets, die nicht mit Visemen oder Mundbewegungen zusammenhängen, die Sie für Lip Sync verwenden möchten
6. Planen Sie Ihre Visem-Zuordnung
Erstellen Sie einen Zuordnungsplan, um die Viseme Ihres Charakters mit dem vom Plugin benötigten Satz abzugleichen. Zum Beispiel:
Sil -> Sil
PP -> FV
FF -> FV
TH -> TH
DD -> TD
KK -> KG
CH -> CH
SS -> SZ
NN -> NL
RR -> RR
AA -> AA
E -> E
IH -> IH
OH -> O
OU -> U
Beachten Sie, dass es akzeptabel ist, wiederholte Zuordnungen zu haben, wenn der Visem-Satz Ihres Charakters keine exakten Übereinstimmungen für jedes erforderliche Visem hat.
7. Animieren Sie jedes Visem
- Animieren Sie für jedes Visem die relevanten Morph-Target-Kurven von 0.0 bis 1.0
- Starten Sie jede Visem-Animation auf einem anderen Frame
- Konfigurieren Sie zusätzliche Kurven nach Bedarf (Kiefer-/Mundöffnung, Zungenposition usw.), um natürlich aussehende Visem-Formen zu erstellen
8. Erstellen Sie ein Pose-Asset
- Gehen Sie zu
Create Asset
->Pose Asset
->Current Animation
- Geben Sie einen beschreibenden Namen für das Pose-Asset ein und speichern Sie es an einem geeigneten Ort
- Das erstellte Pose-Asset öffnet sich automatisch und zeigt Posen wie
Pose_0
,Pose_1
usw. an, die jeweils einem Visem entsprechen - Vorschau der Visem-Gewichtungen, um sicherzustellen, dass sie wie erwartet funktionieren
9. Finalisieren Sie das Pose-Asset
- Benennen Sie jede Pose entsprechend den Visem-Namen aus dem Abschnitt Voraussetzungen um
- Löschen Sie alle nicht verwendeten Posen
Einrichten der Audioverarbeitung und -blendung
Sobald Ihr Pose-Asset bereit ist, müssen Sie die Audioverarbeitungs- und Blending-Knoten einrichten:
- Suchen Sie das Animation Blueprint Ihres Charakters oder erstellen Sie es
- Richten Sie die Audioverarbeitung und -blendung gemäß den gleichen Schritten ein, die im Standard-Plugin-Setup-Leitfaden dokumentiert sind
- Wählen Sie im
Blend Runtime MetaHuman Lip Sync
-Knoten Ihr benutzerdefiniertes Pose-Asset anstelle des standardmäßigen MetaHuman-Pose-Assets aus
Kombination mit Körperanimationen
Wenn Sie Lip Sync zusammen mit anderen Körperanimationen durchführen möchten:
- Folgen Sie den gleichen Schritten wie im Standard-Plugin-Leitfaden dokumentiert
- Stellen Sie sicher, dass Sie die korrekten Knochennamen für das Skelett des Halses Ihres Charakters angeben, anstatt die MetaHuman-Knochennamen zu verwenden
Ergebnisse
Hier sind Beispiele für benutzerdefinierte Charaktere, die dieses Setup verwenden:
Die Qualität des Lip Sync hängt weitgehend vom spezifischen Charakter und der Qualität seines Visem-Setups ab. Die oben gezeigten Beispiele demonstrieren das Plugin mit verschiedenen Arten von benutzerdefinierten Charakteren mit unterschiedlichen Visem-Systemen.