Plugin-Konfiguration

Modellkonfiguration

Erstelle realistische Modellgeneratoren für jede Wiedergabe neu.

Für einen zuverlässigen Betrieb mit den Modellen „Realistic“ und „Mood-Enabled Realistic“ erstellen Sie den Generator vor jeder neuen Audiowiedergabe neu, anstatt ihn über lange Stille hinweg wiederzuverwenden. Siehe Generator-Neuerstellung im Abschnitt zur Fehlerbehebung für Details.

Standardmodell-Konfiguration

Der Create Runtime Viseme Generator-Knoten verwendet Standardeinstellungen, die für die meisten Szenarien gut funktionieren. Die Konfiguration erfolgt über die Eigenschaften des Animation-Blueprint-Blending-Knotens.

Für Konfigurationsoptionen des Animation Blueprints siehe den Abschnitt Lip-Sync-Konfiguration unten.

Konfiguration des realistischen Modells

Der Knoten Create Realistic MetaHuman Lip Sync Generator akzeptiert einen optionalen Configuration-Parameter, mit dem Sie das Verhalten des Generators anpassen können:

Modelltyp

Die Einstellung Modelltyp bestimmt, welche Version des realistischen Modells verwendet wird:

Modelltyp	Leistung	Visuelle Qualität	Umgang mit Störgeräuschen	Empfohlene Anwendungsfälle
Hochoptimiert (Standard)	Höchste Leistung, geringste CPU-Auslastung	Gute Qualität	Kann bei Hintergrundgeräuschen oder Nicht-Sprachgeräuschen sichtbare Mundbewegungen aufweisen	Saubere Audio-Umgebungen, leistungskritische Szenarien
Teiloptimiert	Gute Leistung, moderate CPU-Auslastung	Hohe Qualität	Bessere Stabilität bei verrauschtem Audio	Ausgewogene Leistung und Qualität, gemischte Audiobedingungen
Original	Geeignet für den Echtzeiteinsatz auf modernen CPUs	Höchste Qualität	Am stabilsten bei Hintergrundgeräuschen und Nicht-Sprachgeräuschen	Hochwertige Produktionen, verrauschte Audio-Umgebungen, wenn maximale Genauigkeit erforderlich ist

Leistungseinstellungen

Intra Op Threads: Steuert die Anzahl der Threads, die für interne Modellverarbeitungsvorgänge verwendet werden.

• 0 (Standard/Automatisch): Verwendet automatische Erkennung (in der Regel 1/4 der verfügbaren CPU-Kerne, maximal 4)
• 1-16: Manuell die Anzahl der Threads festlegen. Höhere Werte können die Leistung auf Mehrkernsystemen verbessern, benötigen jedoch mehr CPU.

Inter-Op-Threads: Steuert die Anzahl der Threads, die für die parallele Ausführung verschiedener Modelloperationen verwendet werden.

• 0 (Standard/Automatisch): Verwendet automatische Erkennung (in der Regel 1/8 der verfügbaren CPU-Kerne, maximal 2)
• 1-8: Thread-Anzahl manuell festlegen. Wird für die Echtzeitverarbeitung normalerweise niedrig gehalten.

Verarbeitungs-Chunk-Größe

Die Verarbeitungs-Chunkgröße bestimmt, wie viele Samples in jedem Inferenzschritt verarbeitet werden. Der Standardwert beträgt 160 Samples (10 ms Audio bei 16 kHz).

• Kleinere Werte sorgen für häufigere Aktualisierungen, erhöhen jedoch die CPU-Auslastung
• Größere Werte verringern die CPU-Last, können jedoch die Reaktionsfähigkeit der Lippen synchronisation verringern
• Es wird empfohlen, Vielfache von 160 zu verwenden, um eine optimale Ausrichtung zu erzielen

Stimmungsfähige Modellkonfiguration

Der Knoten Create Realistic MetaHuman Lip Sync With Mood Generator bietet über das grundlegende realistische Modell hinaus zusätzliche Konfigurationsoptionen:

Grundkonfiguration

Lookahead in ms: Vorausschauzeit in Millisekunden für eine verbesserte Lippensynchronisationsgenauigkeit.

• Standard: 80 ms
• Bereich: 20 ms bis 200 ms (muss durch 20 teilbar sein)
• Höhere Werte sorgen für eine bessere Synchronisation, erhöhen jedoch die Latenz.

Ausgabetyp: Steuert, welche Gesichtssteuerungen generiert werden.

• Gesamtes Gesicht: Alle 81 Gesichtssteuerungen (Augenbrauen, Augen, Nase, Mund, Kiefer, Zunge)
• Nur Mund: Nur Steuerungen, die mit Mund, Kiefer und Zunge zusammenhängen

Leistungseinstellungen: Verwendet dieselben Einstellungen für Intra-Op-Threads und Inter-Op-Threads wie das reguläre realistische Modell.

Stimmungseinstellungen

Verfügbare Stimmungen:

• Neutral, Fröhlich, Traurig, Ekel, Wut, Überraschung, Angst
• Selbstbewusst, Aufgeregt, Gelangweilt, Verspielt, Verwirrt

Stimmungsintensität: Steuert, wie stark die Stimmung die Animation beeinflusst (0,0 bis 1,0)

Runtime-Stimmungssteuerung

Sie können die Stimmungseinstellungen während der Laufzeit mithilfe der folgenden Funktionen anpassen:

• Stimmung festlegen: Den aktuellen Stimmungstyp ändern
• Stimmungsintensität festlegen: Anpassen, wie stark die Stimmung die Animation beeinflusst (0,0 bis 1,0)
• Lookahead in ms festlegen: Die Lookahead-Zeit für die Synchronisierung ändern
• Ausgabetyp festlegen: Zwischen Vollgesicht- und Nur-Mund-Steuerung umschalten

Stimmungsauswahl-Leitfaden

Wählen Sie passende Stimmungen basierend auf Ihrem Inhalt aus:

Mood	Am besten geeignet für	Typischer Intensitätsbereich
Neutral	Allgemeine Konversation, Erzählung, Standardzustand	0.5 - 1.0
Fröhlich	Positive Inhalte, heitere Dialoge, Feierlichkeiten	0.6 - 1.0
Traurig	Melancholische Inhalte, emotionale Szenen, düstere Momente	0.5 - 0.9
Ekel	Negative Reaktionen, abstoßende Inhalte, Ablehnung	0.4 - 0.8
Wut	Aggressive Dialoge, konfrontative Szenen, Frustration	0.6 - 1.0
Überraschung	Unerwartete Ereignisse, Enthüllungen, Schockreaktionen	0.7 - 1.0
Angst	Bedrohliche Situationen, Besorgnis, nervöse Dialoge	0.5 - 0.9
Selbstbewusst	Professionelle Präsentationen, Führungsdialoge, bestimmte Sprache	0.7 - 1.0
Aufgeregt	Energetische Inhalte, Ankündigungen, begeisterte Dialoge	0.8 - 1.0
Gelangweilt	Monotone Inhalte, desinteressierte Dialoge, müde Sprache	0.3 - 0.7
Verspielt	Zwanglose Konversation, Humor, unbeschwerte Interaktionen	0.6 - 0.9
Verwirrt	Fragenlastige Dialoge, Unsicherheit, Verwirrtheit	0.4 - 0.8

Animations-Blueprint-Konfiguration

Lip-Sync-Konfiguration

Standardmodell

Der Knoten Blend Runtime MetaHuman Lip Sync verfügt über Konfigurationsoptionen in seinem Eigenschaftenbedienfeld:

Eigenschaft	Standard	Beschreibung
Interpolationsgeschwindigkeit	25	Steuert, wie schnell die Lippenbewegungen zwischen Visemen übergehen. Höhere Werte führen zu schnelleren, abrupteren Übergängen.
Rückstellzeit	0.2	Die Dauer in Sekunden, nach der die Lippensynchronisation zurückgesetzt wird. Dies ist nützlich, um zu verhindern, dass die Lippensynchronisation fortgesetzt wird, nachdem das Audio gestoppt wurde.

Lach-Animation

Du kannst auch Lachanimationen hinzufügen, die dynamisch auf im Audio erkanntes Lachen reagieren:

1. Fügen Sie den Blend Runtime MetaHuman Laughter-Knoten hinzu
2. Verbinden Sie Ihre RuntimeVisemeGenerator-Variable mit dem Viseme Generator-Pin
3. Wenn Sie bereits Lippen-Synchronisation verwenden:
   • Verbinden Sie die Ausgabe des Knotens Blend Runtime MetaHuman Lip Sync mit der Source Pose des Knotens Blend Runtime MetaHuman Laughter
   • Verbinden Sie die Ausgabe des Knotens Blend Runtime MetaHuman Laughter mit dem Result-Pin der Output Pose
4. Wenn du nur Lachen ohne Lippen-Synchronisation verwendest:
   • Verbinden Sie Ihre Quellpose direkt mit der Source Pose des Knotens Blend Runtime MetaHuman Laughter
   • Verbinden Sie die Ausgabe mit dem Pin Result

Wenn im Audio Gelächter erkannt wird, animiert sich dein Charakter entsprechend dynamisch:

Lach-Konfiguration

Der Knoten Blend Runtime MetaHuman Laughter besitzt eigene Konfigurationsoptionen:

Eigenschaft	Standard	Beschreibung
Interpolationsgeschwindigkeit	25	Steuert, wie schnell die Lippenbewegungen zwischen Lachanimationen wechseln. Höhere Werte führen zu schnelleren, abrupteren Übergängen.
Zurücksetzzeit	0.2	Die Dauer in Sekunden, nach der das Lachen zurückgesetzt wird. Dies ist nützlich, um zu verhindern, dass das Lachen fortgesetzt wird, nachdem das Audio gestoppt wurde.
Maximales Lachgewicht	0.7	Skaliert die maximale Intensität der Lachanimation (0.0 - 1.0).

Hinweis: Die Lach-Erkennung ist derzeit nur mit dem Standard-Modell verfügbar.

Realistische Modelle

Der Knoten Blend Realistic MetaHuman Lip Sync verfügt über Konfigurationsoptionen in seinem Eigenschaftenbereich:

Eigenschaft	Standard	Beschreibung
Interpolationsgeschwindigkeit	30	Steuert, wie schnell Gesichtsausdrücke während aktiver Sprache übergehen. Höhere Werte führen zu schnelleren, abrupteren Übergängen.
Interpolationsgeschwindigkeit im Leerlauf	15	Steuert, wie schnell Gesichtsausdrücke zurück in den Leerlauf-/Neutralzustand übergehen. Niedrigere Werte erzeugen weichere, allmählichere Rückkehr in die Ruhepose.
Rückstellzeit	0.2	Dauer in Sekunden, nach der die Lippensynchronisation in den Leerlaufzustand zurückgesetzt wird. Nützlich, um zu verhindern, dass Ausdrücke nach dem Stoppen des Audios fortgesetzt werden.
Leerlaufzustand beibehalten	false	Wenn aktiviert, wird der letzte emotionale Zustand während Leerlaufphasen beibehalten, anstatt auf neutral zurückgesetzt zu werden.
Augenausdrücke beibehalten	true	Steuert, ob augenbezogene Gesichtssteuerungen während des Leerlaufzustands beibehalten werden. Nur wirksam, wenn „Leerlaufzustand beibehalten“ aktiviert ist.
Augenbrauenausdrücke beibehalten	true	Steuert, ob augenbrauenbezogene Gesichtssteuerungen während des Leerlaufzustands beibehalten werden. Nur wirksam, wenn „Leerlaufzustand beibehalten“ aktiviert ist.
Mundform beibehalten	false	Steuert, ob Steuerungen der Mundform (ausgenommen sprachspezifische Bewegungen wie Zunge und Kiefer) während des Leerlaufzustands beibehalten werden. Nur wirksam, wenn „Leerlaufzustand beibehalten“ aktiviert ist.

Zustandserhaltung im Leerlauf

Die Funktion Ruhezustand beibehalten befasst sich damit, wie das Realistic-Modell mit Stilleperioden umgeht. Im Gegensatz zum Standard-Modell, das diskrete Viseme verwendet und während der Stille konsequent zu Nullwerten zurückkehrt, kann das neuronale Netzwerk des Realistic-Modells eine subtile Gesichtspositionierung beibehalten, die sich von der Standard-Ruhepose des MetaHuman unterscheidet.

Wann aktivieren:

• Emotionale Ausdrücke zwischen Sprachsegmenten beibehalten
• Charakter-Persönlichkeitsmerkmale bewahren
• Visuelle Kontinuität in filmischen Sequenzen sicherstellen

Regionale Steuerungsoptionen:

• Augenausdrücke: Bewahrt Zusammenkneifen, Weiten und Positionierung der Augenlider
• Brauenausdrücke: Behält die Positionierung von Augenbrauen und Stirn bei
• Mundform: Behält die allgemeine Mundkrümmung bei, während Sprachbewegungen (Zunge, Kiefer) zurückgesetzt werden können

Mit vorhandenen Animationen kombinieren

Video-Durchlauf

Ziehst du Zuschauen dem Lesen vor? Schau dir das Video-Tutorial an, das genau dieses Setup behandelt.

Um Lippen-Synchronisation und Lachen zusammen mit vorhandenen Körperanimationen und benutzerdefinierten Gesichtsanimationen anzuwenden, ohne diese zu überschreiben:

Körperanimationen

Diese Einrichtung gilt für das Gesichts-Animation-Blueprint, da die Lippen-Synchronisation nicht Teil des Körper-Animation-Blueprints ist. Für benutzerdefinierte Körperanimationen (z. B. Rumpf, Arme und andere Körperbewegungen) verbinden Sie einfach Ihre Animationssequenz (über einen Sequence Player) direkt mit der Ausgabepose im Körper-Animation-Blueprint. Dort ist keine zusätzliche Einrichtung erforderlich.

1. Fügen Sie einen Layered blend per bone-Knoten zwischen Ihren Körperanimationen und dem finalen Ausgang hinzu. Stellen Sie sicher, dass Use Attached Parent auf true gesetzt ist.
2. Konfigurieren Sie das Layer-Setup:
   • Fügen Sie 1 Element zum Layer Setup-Array hinzu
   • Fügen Sie 3 Elemente zu den Branch Filters für die Ebene hinzu, mit den folgenden Bone Names:
     • FACIAL_C_FacialRoot
     • FACIAL_C_Neck2Root
     • FACIAL_C_Neck1Root
3. Wichtig für benutzerdefinierte Gesichtsanimationen: Wählen Sie in der Curve Blend Option die Option "Use Max Value". Dadurch können benutzerdefinierte Gesichtsanimationen (Ausdrücke, Emotionen usw.) ordnungsgemäß über der Lippenanimation geschichtet werden.
4. Stellen Sie die Verbindungen her:
   • Ihre benutzerdefinierte Animation (typischerweise ein Sequence Player mit dem gewünschten Animationssequenz-Asset) → Base Pose-Eingabe
   • Gesichtsanimationsausgabe (von Lip-Sync- und/oder Lach-Knoten) → Blend Poses 0-Eingabe
   • Layered-Blend-Knoten → Endgültige Result-Pose

Morph-Target-Set-Auswahl

Standardmodell

Das Standardmodell verwendet Pose-Assets, die durch das benutzerdefinierte Pose-Asset-Setup von Natur aus jede Morph-Target-Benennungskonvention unterstützen. Es ist keine zusätzliche Konfiguration erforderlich.

Realistische Modelle

Der Knoten Blend Realistic MetaHuman Lip Sync enthält eine Eigenschaft Morph Target Set, die festlegt, welche Benennungskonvention für Morph-Targets bei der Gesichtsanimation verwendet werden soll:

Morph-Target-Set	Beschreibung	Anwendungsfälle
MetaHuman (Standard)	Standardnamen für MetaHuman-Morph-Targets (z. B. CTRL_expressions_jawOpen)	MetaHuman-Charaktere
ARKit	Mit Apple ARKit kompatible Namen (z. B. JawOpen, MouthSmileLeft)	ARKit-basierte Charaktere

Konvertieren von Charakteren in ARKit- oder MetaHuman-Blendshapes

Falls Ihr Charakter nicht nativ die ARKit-Standard-Blendshape-Namen verwendet, können mehrere gängige kommerzielle Charaktersysteme konvertiert werden, um diese zu erzeugen (oder, bei CC5, direkt in native MetaHuman-Blendshapes umgewandelt werden). Dies gibt Ihnen Zugriff auf den ARKit- oder MetaHuman-Morph-Ziel-Satz oben, anstelle des manuellen Visem-Zuordnungsprozesses, der für das Standardmodell erforderlich ist.

Reallusion CC4/CC5- und Daz Genesis 8.1/9-Konvertierungsanleitungen (zum Erweitern klicken)

Reallusion CC4/CC5

CC4- und CC5-Charaktere werden hier unterschiedlich behandelt, da CC5-Charaktere das native Gesichts-Rig von MetaHuman gemeinsam nutzen können, anstatt überhaupt eine ARKit-Konvertierung zu benötigen.

CC5: In MetaHuman-Blendshapes konvertieren (empfohlen)

Wenn Ihre Figur in CC5 mit dem HD-Gesichtsprofil erstellt wurde, teilt sie bereits MetaHumans Gesichtssteuerung und Skelett, sodass keine Notwendigkeit besteht, ARKit-Blend-Shapes manuell zu generieren. Stattdessen:

1. Installiere Reallisons kostenloses Auto Setup (All-in-One)-Plugin für Unreal Engine und folge dabei der Installationsanleitung.
2. Exportiere deinen Charakter aus CC5 als FBX. Wähle das Zielvorgaben-Profil Unreal (UE5 Skeleton) und die Bind-Pose A-Pose für UE5 Skeleton, damit sie zum MetaHuman-Rig passt.
3. Ziehe die FBX-Datei in dein UE-Projekt. Wenn Auto Setup installiert ist, erscheint der oben gezeigte Importdialog automatisch.
4. Wähle in den Importoptionen den HQ-Shader. Lasse Use T0 As Ref Pose deaktiviert (das beschleunigt den Import ebenfalls erheblich) und lasse Include Control Rig deaktiviert, es sei denn, du benötigst das MetaHuman-Control-Rig ausdrücklich, da es zusätzliche Importzeit beansprucht.
5. Klicke auf OK, um den Import durchzuführen.

Nach dem Import wählen Sie die Option MetaHuman Morph-Zielset anstelle von ARKit, da die Blendshapes des Charakters bereits die native MetaHuman-Nomenklatur verwenden.

CC4 (oder CC5 ohne das HD-Profil): in ARKit-Blend-Shapes konvertieren

Wenn Sie CC4 oder einen CC5-Charakter verwenden, der nicht das HD-Gesichtsprofil nutzt, verwenden Sie stattdessen die manuelle ARKit-Konvertierung. Stellen Sie vor dem Start sicher, dass das Gesichtsprofil Ihres Charakters auf CC4 Extended eingestellt ist (nicht Standard, Extended-Plus oder das neuere HD-Gesichtsprofil). Das Blendshape-Mapping des Skripts ist fest gegen die Slider-Namen von Extended codiert; andere Profile verwenden unterschiedliche Namenskonventionen, und das Skript wird die erwarteten Slider stillschweigend überspringen oder nicht finden.

1. Lade dieses Skript herunter: rl_export_arkit_objs.py

2. Öffnen Sie das Skript in einem Texteditor, und weisen Sie dort, wo output_dir = "path/to/your/target/folder" steht, den Pfad zu Ihrem Exportordner zu. Stellen Sie sicher, dass Sie Schrägstriche / verwenden.

3. In Character Creator wählen Sie Ihren Charakter aus und wählen dann im oberen Menü unter Script die Option Load Python. Wählen Sie anschließend das Skript aus, das Sie gerade bearbeitet haben. Das Skript erstellt nun den vollständigen Satz an ARKit-Blendshapes aus den standardmäßigen Reallusion-Schiebereglern und exportiert sie als OBJ-Dateien. Dies kann einige Minuten dauern.

   

4. Sie können diese Formen jetzt importieren, indem Sie zum Fenster Facial Profile Editor gehen. Klicken Sie auf die Schaltfläche Edit Expressions und wählen Sie im Dropdown-Menü Batch Import die Option OBJ aus.

   

5. Hier können Sie den Ordner importieren, auf den Sie zuvor verwiesen haben. Daraufhin werden alle ARKit-Formen aufgelistet. Geben Sie einen Namen in die Zielkategorie ein, z. B. AR_Kit, und klicken Sie auf OK.

   

6. Dadurch wird eine neue Kategorie unter „Expression“ erstellt. Sie können alle anderen Kategorien deaktivieren.

   

Sobald die ARKit-Kategorie eingerichtet ist, exportieren Sie Ihren Charakter wie gewohnt als FBX. Dadurch erhält der Charakter die standardmäßigen 52 ARKit-Blend-Shapes, die Sie dann mit der Option ARKit Morph-Ziel-Set oben verwenden können.

Hinweis: Die Kieferbewegung wird im Rig von CC4 teilweise durch Knochenrotation und nicht nur durch reine Blendshapes gesteuert, sodass jawOpen nach dem Export möglicherweise schwach wirkt oder den Mund nicht überzeugend öffnet. Falls dies passiert, aktivieren Sie Mouth Open as Morph in den FBX-Exportoptionen. Dadurch wird die knochengesteuerte Bewegung des Kiefers in einen dedizierten Blendshape gebacken, der als Quelle für jawOpen anstelle des Standard-Blendshapes zugewiesen werden kann. Alternativ kann das cc_blender_tools-Add-on den Charakter über Blender leiten, um dieses und andere Formprobleme zu beheben; siehe den Abschnitt „Blender Round Trip" in seiner Dokumentation für den Workflow (der Seitentitel erwähnt Unity, aber dieser spezifische Abschnitt ist engine-agnostisch).

Daz Genesis 8/8.1/9

Daz' FACS-Morphs, die nativ für Genesis 8.1 und Genesis 9 verfügbar sind, sind bereits ARKit-kompatibel, ohne dass eine Umbenennung erforderlich ist. Einfaches Genesis 8 (nicht 8.1) enthält diese standardmäßig nicht. Du musst entweder stattdessen Genesis 8.1 verwenden oder ein separates FACS-Morph-Paket hinzufügen.

Der aktiv gepflegte Diffeomorphic-Add-on (eine Brücke zwischen Daz Studio und Blender, nicht mit Daz 3D verbunden) ist die empfohlene Methode, um diese in Unreal zu bringen:

1. In Blender verwenden Sie Diffeomorphics Easy Import DAZ-Tool mit der korrekten Generationsvoreinstellung (G8.1 oder G9) und der aktivierten FACS-Importoption. Siehe den Easy Import DAZ-Leitfaden.
2. Dadurch werden die FACS-Morphs als Blender-Shape-Keys importiert. Exportieren Sie den Charakter als FBX aus Blender, und die Shape-Key-Namen werden als Morph-Target-Namen übernommen.

Nach dem Export verwenden Sie die Option ARKit Morph-Ziel-Set oben.

Hinweis: Blickrichtungsformen an den Wimpern und Augäpfeln werden möglicherweise nicht vollständig übernommen, da sie anders als das Hauptgesichtsnetz gesteuert werden. Dies beeinträchtigt jedoch nicht die Lippen-Synchronisation, die nur Mund- und Kieferformen benötigt.

Feinabstimmung des Lippen-Synchronisationsverhaltens

Skalierung spezifischer Lippen-Synchronisations-Kurven

Sie können einzelne Gesichtsbewegungen, die durch Lip Sync erzeugt werden, mit einem Modify Curve-Knoten abschwächen (oder verstärken). Dies ist nützlich, wenn eine bestimmte Kurve für Ihren Audioinhalt oder Charakter zu ausgeprägt wirkt.

Einrichtung:

1. Nach Ihrem Lip-Sync-Blend-Knoten fügen Sie einen Modify Curve-Knoten hinzu
2. Klicken Sie mit der rechten Maustaste auf den Knoten und wählen Sie Add Curve Pin aus, und geben Sie dann den Kurvennamen ein, den Sie skalieren möchten
3. Setzen Sie die Eigenschaft Apply Mode des Knotens auf Scale
4. Setzen Sie den Parameter Value: Werte unter 1,0 dämpfen die Bewegung, Werte über 1,0 verstärken sie (z. B. 0,8 = 20 % Reduktion)

Häufig skalierte Kurven:

Kurvenname	Zweck	Gilt für	Typische Anpassung
CTRL_expressions_tongueOut	Vorwärtsstrecken der Zunge bei bestimmten Phonemen	Standardmodell	0,8, um das Hervorstrecken zu reduzieren
CTRL_expressions_jawOpen	Kieferöffnungsbereich	Realistische Modelle	0,9, um die Kieferbewegung zu reduzieren

Du kannst mehrere Kurven-Pins zum selben Modify Curve-Knoten hinzufügen, um mehrere Kurven gleichzeitig zu skalieren.

Stimmungsspezifische Feinabstimmung

Für stimmungsfähige Modelle können Sie spezifische emotionale Ausdrücke feinabstimmen:

Augenbrauensteuerung:

• CTRL_expressions_browRaiseInL / CTRL_expressions_browRaiseInR – Inneres Augenbrauenheben
• CTRL_expressions_browRaiseOuterL / CTRL_expressions_browRaiseOuterR – Äußeres Augenbrauenheben
• CTRL_expressions_browDownL / CTRL_expressions_browDownR – Augenbrauensenken

Augenausdruckssteuerung:

• CTRL_expressions_eyeSquintInnerL / CTRL_expressions_eyeSquintInnerR - Augen zusammenkneifen
• CTRL_expressions_eyeCheekRaiseL / CTRL_expressions_eyeCheekRaiseR - Wangen anheben

Modellvergleich und -auswahl

Die Wahl zwischen Modellen

Wenn Sie entscheiden, welches Lip-Sync-Modell Sie für Ihr Projekt verwenden möchten, berücksichtigen Sie diese Faktoren:

Überlegung	Standardmodell	Realistisches Modell	Realistisches Modell mit Stimmungssteuerung
Charakterkompatibilität	MetaHumans und alle benutzerdefinierten Charaktertypen	MetaHumans (und ARKit)-Charaktere	MetaHumans (und ARKit)-Charaktere
Visuelle Qualität	Gute Lippensynchronisation mit effizienter Leistung	Erhöhter Realismus mit natürlicheren Mundbewegungen	Erhöhter Realismus mit emotionalen Ausdrücken
Leistung	Optimiert für alle Plattformen, einschließlich Mobilgeräte/VR	Höhere Ressourcenanforderungen	Höhere Ressourcenanforderungen
Funktionen	14 Viseme, Lachdetektion	81 Gesichtssteuerungen, 3 Optimierungsstufen	81 Gesichtssteuerungen, 12 Stimmungen, konfigurierbare Ausgabe
Plattformunterstützung	Windows, Android, Quest	Windows, Mac, iOS, Linux, Android, Quest	Windows, Mac, iOS, Linux, Android, Quest
Anwendungsfälle	Allgemeine Anwendungen, Spiele, VR/AR, Mobilgeräte	Filmische Erlebnisse, Nahaufnahme-Interaktionen	Emotionales Geschichtenerzählen, erweiterte Charakterinteraktion

Engine-Versionskompatibilität

UE 5.2-Kompatibilitätsproblem

Wenn Sie Unreal Engine 5.2 verwenden, funktionieren die Realistischen Modelle möglicherweise nicht korrekt, da ein Fehler in der Resampling-Bibliothek von UE vorliegt. Für UE-5.2-Benutzer, die eine zuverlässige Lippen-Synchronisationsfunktion benötigen, verwenden Sie bitte stattdessen das Standardmodell.

Dieses Problem ist spezifisch für UE 5.2 und betrifft andere Engine-Versionen nicht.

Leistungsempfehlungen

• Für die meisten Projekte bietet das Standardmodell eine hervorragende Balance zwischen Qualität und Leistung
• Verwenden Sie das realistische Modell, wenn Sie die höchste visuelle Wiedergabetreue für MetaHuman-Charaktere benötigen
• Verwenden Sie das stimmungsfähige realistische Modell, wenn die Kontrolle des emotionalen Ausdrucks für Ihre Anwendung wichtig ist
• Berücksichtigen Sie die Leistungsfähigkeit Ihrer Zielplattform, wenn Sie zwischen den Modellen wählen
• Testen Sie verschiedene Optimierungsstufen, um die beste Balance für Ihren spezifischen Anwendungsfall zu finden

Fehlerbehebung

Häufige Probleme

Generator-Neuerstellung für realistische Modelle: Für einen zuverlässigen und konsistenten Betrieb mit den realistischen Modellen wird empfohlen, den Generator jedes Mal neu zu erstellen, wenn Sie nach einer Phase der Inaktivität neue Audiodaten zuführen möchten. Dies liegt am Verhalten der ONNX-Laufzeit, das dazu führen kann, dass die Lippensynchronisation nicht mehr funktioniert, wenn Generatoren nach Phasen der Stille wiederverwendet werden.

Zum Beispiel könntest du den Lip-Sync-Generator bei jedem Wiedergabestart neu erstellen, etwa wann immer du Play Sound 2D aufrufst oder eine andere Methode verwendest, um die Soundwellen-Wiedergabe und Lip-Sync zu starten:

Plugin-Speicherort für die Runtime Text To Speech-Integration: Wenn Sie Runtime MetaHuman Lip Sync zusammen mit Runtime Text To Speech verwenden (beide Plugins nutzen ONNX Runtime), können Probleme auftreten, falls die Plugins im Marketplace-Ordner der Engine installiert sind. Um dies zu beheben:

1. Finden Sie beide Plugins in Ihrem UE-Installationsordner unter \Engine\Plugins\Marketplace (z. B. C:\Program Files\Epic Games\UE_5.6\Engine\Plugins\Marketplace)
2. Verschieben Sie sowohl den Ordner RuntimeMetaHumanLipSync als auch RuntimeTextToSpeech in den Plugins-Ordner Ihres Projekts
3. Wenn Ihr Projekt keinen Plugins-Ordner hat, erstellen Sie einen im selben Verzeichnis wie Ihre .uproject-Datei
4. Starten Sie den Unreal Editor neu

Dies behebt Kompatibilitätsprobleme, die auftreten können, wenn mehrere ONNX-Runtime-basierte Plugins aus dem Marketplace-Verzeichnis der Engine geladen werden.

Verpackungskonfiguration (Windows): Wenn die Lippen-Synchronisation in Ihrem verpackten Projekt unter Windows nicht korrekt funktioniert, stellen Sie sicher, dass Sie die Shipping-Build-Konfiguration anstelle von Development verwenden. Die Development-Konfiguration kann Probleme mit der ONNX-Laufzeit der realistischen Modelle in verpackten Builds verursachen.

Um dies zu beheben:

1. In deinen Projekteinstellungen → Verpackung setze die Build-Konfiguration auf Shipping
2. Verpacke dein Projekt neu

Blueprint-Only-Projekte

In einigen Blueprint-only-Projekten kann Unreal Engine trotz ausgewählter Shipping-Konfiguration weiterhin in der Development-Konfiguration bauen. Wenn dies passiert, konvertieren Sie Ihr Projekt in ein C++-Projekt, indem Sie mindestens eine C++-Klasse hinzufügen (sie kann leer sein). Gehen Sie dazu im UE-Editor-Menü zu Tools → Neue C++-Klasse und erstellen Sie eine leere Klasse. Dadurch wird das Projekt gezwungen, korrekt in der Shipping-Konfiguration zu bauen. Ihr Projekt kann funktional ein Blueprint-only-Projekt bleiben; die C++-Klasse wird nur für die korrekte Build-Konfiguration benötigt.

Verminderte LippenSync-Reaktionsfähigkeit: Wenn Sie feststellen, dass die LippenSync im Laufe der Zeit weniger reaktionsfähig wird, wenn Sie Streaming Sound Wave oder Capturable Sound Wave verwenden, kann dies durch Speicheransammlung verursacht werden. Standardmäßig wird der Speicher jedes Mal neu zugewiesen, wenn neue Audiodaten angehängt werden. Um dieses Problem zu vermeiden, rufen Sie die Funktion ReleaseMemory regelmäßig auf, um angesammelten Speicher freizugeben, z. B. etwa alle 30 Sekunden.

Leistungsoptimierung:

• Passen Sie die Verarbeitungsblockgröße für realistische Modelle an Ihre Leistungsanforderungen an
• Verwenden Sie geeignete Thread-Anzahlen für Ihre Zielhardware
• Erwägen Sie den Ausgabetyp „Nur Mund“ für stimmungsfähige Modelle, wenn keine vollständige Gesichtsanimation erforderlich ist