Configuration du plugin

Configuration du modèle

Recréer des générateurs de modèles réalistes pour chaque lecture

Pour un fonctionnement fiable avec les modèles Realistic et Mood-Enabled Realistic, recréez le générateur avant chaque nouvelle lecture audio plutôt que de le réutiliser pendant de longs silences. Consultez Recréation du générateur dans la section Dépannage pour plus de détails.

Configuration standard du modèle

Le nœud Create Runtime Viseme Generator utilise des paramètres par défaut qui fonctionnent bien pour la plupart des scénarios. La configuration est gérée via les propriétés du nœud de blending de l'Animation Blueprint.

Pour les options de configuration de l'Animation Blueprint, consultez la section Configuration du Lip Sync ci-dessous.

Configuration réaliste du modèle

Le nœud Create Realistic MetaHuman Lip Sync Generator accepte un paramètre Configuration facultatif qui vous permet de personnaliser le comportement du générateur :

Type de modèle

Le réglage Model Type détermine quelle version du modèle réaliste utiliser :

Type de modèle	Performance	Qualité visuelle	Gestion du bruit	Cas d'utilisation recommandés
Hautement optimisé (Par défaut)	Performances maximales, utilisation CPU minimale	Bonne qualité	Peut montrer des mouvements de bouche perceptibles avec du bruit de fond ou des sons non vocaux	Environnements audio propres, scénarios critiques en termes de performances
Semi-optimisé	Bonnes performances, utilisation CPU modérée	Haute qualité	Meilleure stabilité avec un audio bruité	Performances et qualité équilibrées, conditions audio mixtes
Original	Adapté à une utilisation en temps réel sur les CPU modernes	Qualité maximale	Plus stable avec le bruit de fond et les sons non vocaux	Productions de haute qualité, environnements audio bruités, lorsqu'une précision maximale est nécessaire

Paramètres de performance

Threads Intra Op : Contrôle le nombre de threads utilisés pour les opérations internes de traitement du modèle.

• 0 (Par défaut/Automatique) : Utilise la détection automatique (généralement 1/4 des cœurs CPU disponibles, maximum 4)
• 1-16 : Spécifiez manuellement le nombre de threads. Des valeurs plus élevées peuvent améliorer les performances sur les systèmes multicœurs mais utilisent plus de CPU

Threads Inter Op : Contrôle le nombre de threads utilisés pour l'exécution parallèle de différentes opérations du modèle.

• 0 (Par défaut/Automatique) : Utilise la détection automatique (généralement 1/8 des cœurs CPU disponibles, maximum 2)
• 1-8 : Spécifiez manuellement le nombre de threads. Généralement maintenu bas pour le traitement en temps réel

Taille de traitement des segments

La taille de bloc de traitement détermine le nombre d'échantillons traités à chaque étape d'inférence. La valeur par défaut est de 160 échantillons (10 ms d'audio à 16 kHz) :

• Des valeurs plus petites fournissent des mises à jour plus fréquentes mais augmentent l'utilisation du CPU
• Des valeurs plus grandes réduisent la charge du CPU mais peuvent diminuer la réactivité du lip sync
• Il est recommandé d'utiliser des multiples de 160 pour un alignement optimal

Configuration du modèle avec gestion de l'humeur

Le nœud Create Realistic MetaHuman Lip Sync With Mood Generator offre des options de configuration supplémentaires au-delà du modèle réaliste de base :

Configuration de base

Lookahead Ms: Durée d'anticipation en millisecondes pour une meilleure précision de la synchronisation labiale.

• Par défaut : 80ms
• Plage : 20ms à 200ms (doit être divisible par 20)
• Des valeurs plus élevées offrent une meilleure synchronisation mais augmentent la latence

Type de sortie : Contrôle quels contrôles faciaux sont générés.

• Visage complet : Les 81 contrôles faciaux (sourcils, yeux, nez, bouche, mâchoire, langue)
• Bouche uniquement : Uniquement les contrôles liés à la bouche, à la mâchoire et à la langue

Paramètres de performance : Utilise les mêmes paramètres Intra Op Threads et Inter Op Threads que le modèle réaliste standard.

Paramètres d'humeur

Humeurs disponibles :

• Neutre, Joyeux, Triste, Dégoût, Colère, Surprise, Peur
• Confiant, Excité, Ennuyé, Enjoué, Confus

Intensité de l'humeur : Contrôle l'ampleur de l'effet de l'humeur sur l'animation (0.0 à 1.0)

Contrôle de l'humeur en temps réel

Vous pouvez ajuster les paramètres d'humeur pendant l'exécution à l'aide des fonctions suivantes :

• Définir l'humeur : Modifier le type d'humeur actuel
• Définir l'intensité de l'humeur : Ajuster l'ampleur avec laquelle l'humeur affecte l'animation (0.0 à 1.0)
• Définir l'anticipation en ms : Modifier le timing d'anticipation pour la synchronisation
• Définir le type de sortie : Basculer entre les contrôles Full Face et Mouth Only

Guide de sélection de l'humeur

Choisissez les ambiances appropriées en fonction de votre contenu :

Mood	Idéal pour	Plage d'intensité typique
Neutre	Conversation générale, narration, état par défaut	0.5 - 1.0
Joyeux	Contenu positif, dialogue enjoué, célébrations	0.6 - 1.0
Triste	Contenu mélancolique, scènes émotionnelles, moments sombres	0.5 - 0.9
Dégoût	Réactions négatives, contenu désagréable, rejet	0.4 - 0.8
Colère	Dialogue agressif, scènes conflictuelles, frustration	0.6 - 1.0
Surprise	Événements inattendus, révélations, réactions de choc	0.7 - 1.0
Peur	Situations menaçantes, anxiété, dialogue nerveux	0.5 - 0.9
Confiant	Présentations professionnelles, dialogue de leadership, discours affirmé	0.7 - 1.0
Excité	Contenu énergique, annonces, dialogue enthousiaste	0.8 - 1.0
Ennuyé	Contenu monotone, dialogue désintéressé, discours fatigué	0.3 - 0.7
Joueur	Conversation décontractée, humour, interactions légères	0.6 - 0.9
Confus	Dialogue riche en questions, incertitude, perplexité	0.4 - 0.8

Configuration de l'Animation Blueprint

Configuration de la synchronisation labiale

Modèle standard

Le nœud Blend Runtime MetaHuman Lip Sync dispose d'options de configuration dans son panneau de propriétés :

Propriété	Par défaut	Description
Vitesse d'interpolation	25	Contrôle la rapidité avec laquelle les mouvements des lèvres passent d'un visème à l'autre. Des valeurs plus élevées entraînent des transitions plus rapides et plus abruptes.
Temps de réinitialisation	0.2	La durée en secondes après laquelle la synchronisation labiale est réinitialisée. Cela est utile pour empêcher la synchronisation labiale de continuer après l'arrêt de l'audio.

Animation de rire

Vous pouvez également ajouter des animations de rire qui réagiront dynamiquement aux rires détectés dans l'audio :

1. Ajoutez le nœud Blend Runtime MetaHuman Laughter
2. Connectez votre variable RuntimeVisemeGenerator à la broche Viseme Generator
3. Si vous utilisez déjà la synchronisation labiale :
   • Connectez la sortie du nœud Blend Runtime MetaHuman Lip Sync au Source Pose du nœud Blend Runtime MetaHuman Laughter
   • Connectez la sortie du nœud Blend Runtime MetaHuman Laughter à la broche Result de la Output Pose
4. Si vous utilisez uniquement le rire sans synchronisation labiale :
   • Connectez votre pose source directement au Source Pose du nœud Blend Runtime MetaHuman Laughter
   • Connectez la sortie à la broche Result

Lorsqu'un rire est détecté dans l'audio, votre personnage s'animera dynamiquement en conséquence :

Configuration du rire

Le nœud Blend Runtime MetaHuman Laughter dispose de ses propres options de configuration :

Propriété	Par défaut	Description
Vitesse d'interpolation	25	Contrôle la rapidité avec laquelle les mouvements des lèvres effectuent la transition entre les animations de rire. Des valeurs plus élevées entraînent des transitions plus rapides et plus abruptes.
Temps de réinitialisation	0.2	La durée en secondes après laquelle le rire est réinitialisé. Cela est utile pour empêcher le rire de continuer après l'arrêt de l'audio.
Poids maximal du rire	0.7	Met à l'échelle l'intensité maximale de l'animation de rire (0.0 - 1.0).

Remarque : La détection de rire n'est actuellement disponible qu'avec le Standard Model.

Modèles réalistes

Le nœud Blend Realistic MetaHuman Lip Sync dispose d'options de configuration dans son panneau de propriétés :

Propriété	Par défaut	Description
Vitesse d'interpolation	30	Contrôle la rapidité avec laquelle les expressions faciales effectuent leur transition pendant la parole active. Des valeurs plus élevées produisent des transitions plus rapides et plus abruptes.
Vitesse d'interpolation au repos	15	Contrôle la rapidité avec laquelle les expressions faciales reviennent à l'état de repos/neutre. Des valeurs plus faibles produisent des retours plus fluides et plus progressifs vers la pose de repos.
Temps de réinitialisation	0.2	Durée en secondes après laquelle la synchronisation labiale se réinitialise à l'état de repos. Utile pour empêcher les expressions de persister après l'arrêt de l'audio.
Préserver l'état de repos	false	Lorsque cette option est activée, conserve le dernier état émotionnel pendant les périodes de repos au lieu de le réinitialiser à l'état neutre.
Préserver les expressions oculaires	true	Contrôle si les contrôles faciaux liés aux yeux sont préservés pendant l'état de repos. Effectif uniquement lorsque Préserver l'état de repos est activé.
Préserver les expressions des sourcils	true	Contrôle si les contrôles faciaux liés aux sourcils sont préservés pendant l'état de repos. Effectif uniquement lorsque Préserver l'état de repos est activé.
Préserver la forme de la bouche	false	Contrôle si les contrôles de forme de la bouche (à l'exclusion des mouvements spécifiques à la parole comme la langue et la mâchoire) sont préservés pendant l'état de repos. Effectif uniquement lorsque Préserver l'état de repos est activé.

Préservation de l'état d'inactivité

La fonctionnalité Preserve Idle State traite de la manière dont le modèle Realistic gère les périodes de silence. Contrairement au modèle Standard qui utilise des visèmes discrets et revient systématiquement à des valeurs nulles pendant le silence, le réseau neuronal du modèle Realistic peut maintenir un positionnement facial subtil qui diffère de la pose de repos par défaut du MetaHuman.

Quand l'activer :

• Maintien des expressions émotionnelles entre les segments de parole
• Préservation des traits de personnalité du personnage
• Assurer la continuité visuelle dans les séquences cinématiques

Options de contrôle régional :

• Expressions oculaires : Préserve le plissement, l'élargissement des yeux et le positionnement des paupières
• Expressions des sourcils : Maintient le positionnement des sourcils et du front
• Forme de la bouche : Conserve la courbure générale de la bouche tout en permettant aux mouvements de parole (langue, mâchoire) de se réinitialiser

Combinaison avec des animations existantes

Démonstration vidéo

Vous préférez regarder plutôt que lire ? Consultez le tutoriel vidéo qui couvre exactement cette configuration.

Pour appliquer la synchronisation labiale et le rire en parallèle des animations corporelles existantes et des animations faciales personnalisées sans les remplacer :

Animations du corps

Cette configuration s'applique à l'Animation Blueprint du visage, car la synchronisation labiale ne fait pas partie de l'Animation Blueprint du corps. Pour les animations personnalisées du corps (par exemple, le torse, les bras et d'autres mouvements corporels), connectez simplement votre séquence d'animation (via un Sequence Player) directement à la pose de sortie dans l'Animation Blueprint du corps. Aucune configuration supplémentaire n'est nécessaire à cet endroit.

1. Ajoutez un nœud Layered blend per bone entre vos animations de corps et la sortie finale.
2. Configurez la configuration des couches :
   • Ajoutez 1 élément au tableau Layer Setup
   • Ajoutez 3 éléments aux Branch Filters pour la couche, avec les Bone Name suivants :
     • FACIAL_C_FacialRoot
     • FACIAL_C_Neck2Root
     • FACIAL_C_Neck1Root
3. Important pour les animations faciales personnalisées : Dans l'Curve Blend Option, sélectionnez « Use Max Value ». Cela permet aux animations faciales personnalisées (expressions, émotions, etc.) d'être correctement superposées au lip sync.
4. Établissez les connexions :
   • Votre animation personnalisée (généralement un Sequence Player avec l'asset de séquence d'animation souhaité) → entrée Base Pose
   • Sortie d'animation faciale (depuis les nœuds de lip sync et/ou de rire) → entrée Blend Poses 0
   • Nœud de mélange par couches → pose Result finale

Sélection de l'ensemble de cibles de morphing

Modèle standard

Le Standard Model utilise des pose assets qui prennent en charge nativement toute convention de nommage de morph target via la configuration personnalisée des pose assets. Aucune configuration supplémentaire n'est nécessaire.

Modèles réalistes

Le nœud Blend Realistic MetaHuman Lip Sync inclut une propriété Morph Target Set qui détermine quelle convention de nommage des morph targets utiliser pour l'animation faciale :

Ensemble de cibles de morphing	Description	Cas d'utilisation
MetaHuman (Par défaut)	Noms de cibles de morphing MetaHuman standard (par ex., CTRL_expressions_jawOpen)	Personnages MetaHuman
ARKit	Noms compatibles avec Apple ARKit (par ex., JawOpen, MouthSmileLeft)	Personnages basés sur ARKit

Conversion de personnages en blendshapes ARKit ou MetaHuman

Si votre personnage n'utilise pas nativement les noms de blendshapes standard ARKit, plusieurs systèmes de personnages commerciaux populaires peuvent être convertis pour les produire (ou, pour CC5, convertis directement en blendshapes MetaHuman natifs à la place). Cela vous donne accès à l'ARKit ou au MetaHuman Morph Target Set ci-dessus, au lieu du processus de mappage manuel des visèmes requis pour le Standard Model.

Guides de conversion Reallusion CC4/CC5 et Daz Genesis 8.1/9 (cliquez pour développer)

Reallusion CC4/CC5

Les personnages CC4 et CC5 sont traités différemment ici, car les personnages CC5 peuvent partager le rig facial natif de MetaHuman au lieu de nécessiter une conversion ARKit.

CC5 : convertir en blendshapes MetaHuman (recommandé)

Si votre personnage est créé dans CC5 avec le profil facial HD, il partage déjà les contrôles faciaux et le squelette de MetaHuman, il n'est donc pas nécessaire de générer manuellement les blendshapes ARKit. À la place :

1. Installez le plugin gratuit Auto Setup (All-in-One) de Reallusion pour Unreal Engine, en suivant le guide d'installation.
2. Exportez votre personnage depuis CC5 au format FBX. Choisissez le preset cible Unreal (UE5 Skeleton) et la pose de liaison A-Pose for UE5 Skeleton, afin qu'il corresponde au rig MetaHuman.
3. Glissez le FBX dans votre projet UE. Avec Auto Setup installé, la boîte de dialogue d'importation affichée ci-dessus apparaît automatiquement.
4. Dans les options d'importation, sélectionnez le HQ Shader. Laissez Use T0 As Ref Pose décoché (cela accélère également considérablement l'importation), et laissez Include Control Rig décoché, sauf si vous avez spécifiquement besoin du Control Rig MetaHuman, car cela ajoute du temps d'importation supplémentaire.
5. Cliquez sur OK pour importer.

Une fois importé, sélectionnez l'option MetaHuman Morph Target Set plutôt que ARKit, car les blendshapes du personnage utilisent déjà la nomenclature native de MetaHuman.

CC4 (ou CC5 sans le profil HD) : convertir en blendshapes ARKit

Si vous utilisez CC4, ou un personnage CC5 qui n'utilise pas le profil facial HD, utilisez plutôt la conversion ARKit manuelle. Avant de commencer, assurez-vous que le profil facial de votre personnage est défini sur CC4 Extended (et non Standard, Extended-Plus, ou le nouveau profil facial HD). Le mappage des blendshapes du script est codé en dur selon les noms de curseurs d'Extended ; les autres profils utilisent des conventions de nommage différentes et le script ignorera silencieusement ou ne parviendra pas à trouver les curseurs attendus.

1. Téléchargez ce script : rl_export_arkit_objs.py

2. Ouvrez le script dans un éditeur de texte, et là où il est indiqué output_dir = "path/to/your/target/folder", attribuez le chemin de votre dossier d'exportation. Assurez-vous d'utiliser des barres obliques /.

3. Dans Character Creator, choisissez votre personnage, puis dans le menu supérieur sous Script, sélectionnez Load Python. Sélectionnez ensuite le script que vous venez de modifier. Le script va maintenant créer l'ensemble complet de blendshapes ARKit à partir des curseurs Reallusion par défaut et les exporter en fichiers OBJ. Cela peut prendre quelques minutes.

   

4. Vous pouvez maintenant importer ces formes en allant dans la fenêtre Facial Profile Editor. Cliquez sur le bouton Edit Expressions et dans le menu déroulant Batch Import, sélectionnez OBJ.

   

5. Vous pouvez ici importer le dossier que vous avez référencé précédemment. Cela listera alors toutes les formes ARKit. Saisissez un nom dans la Target Category, par exemple AR_Kit, puis cliquez sur OK.

   

6. Cela aura créé une nouvelle catégorie sous Expression. Vous pouvez désactiver toutes les autres catégories.

   

Une fois la catégorie ARKit configurée, exportez votre personnage en FBX comme d'habitude. Cela donne au personnage les 52 blendshapes ARKit standard, que vous pouvez ensuite utiliser avec l'option ARKit Morph Target Set ci-dessus.

Remarque : le mouvement de la mâchoire est en partie piloté par la rotation des os plutôt que par de purs blendshapes dans le rig de CC4, donc jawOpen peut sembler faible ou ne pas ouvrir la bouche de manière convaincante après l'export. Si cela se produit, activez Mouth Open as Morph dans les options d'export FBX ; cela cuit le mouvement piloté par les os de la mâchoire dans un blendshape dédié qui peut être assigné comme source pour jawOpen au lieu de celui par défaut. Ou bien, l'add-on cc_blender_tools peut faire passer le personnage par Blender pour corriger ce problème et d'autres problèmes de formes ; consultez la section « Blender Round Trip » de sa documentation pour le workflow (le titre de la page mentionne Unity, mais cette section précise est indépendante du moteur).

Daz Genesis 8/8.1/9

Les morphs FACS de Daz, disponibles nativement sur Genesis 8.1 et Genesis 9, sont déjà compatibles ARKit sans renommage nécessaire. Genesis 8 simple (pas 8.1) ne les inclut pas par défaut. Vous devrez soit utiliser Genesis 8.1 à la place, soit ajouter un pack de morphs FACS séparé.

L'extension Diffeomorphic activement maintenue (un pont entre Daz Studio et Blender, non affilié à Daz 3D) est la méthode recommandée pour les importer dans Unreal :

1. Dans Blender, utilisez l'outil Easy Import DAZ de Diffeomorphic avec le preset de génération correct (G8.1 ou G9) et l'option d'import FACS activée. Consultez le guide Easy Import DAZ.
2. Cela importe les morphs FACS en tant que shape keys Blender. Exportez le personnage au format FBX depuis Blender, et les noms des shape keys sont conservés en tant que noms de morph targets.

Une fois exporté, utilisez l'option ARKit Morph Target Set ci-dessus.

Remarque : les formes de direction du regard sur les cils et les globes oculaires peuvent ne pas être entièrement transférées, car elles sont pilotées différemment du maillage principal du visage, mais cela n'affecte pas la synchronisation labiale, qui nécessite uniquement les formes de la bouche et de la mâchoire.

Réglage fin du comportement de synchronisation labiale

Mise à l'échelle de courbes de lip sync spécifiques

Vous pouvez atténuer (ou amplifier) les mouvements faciaux individuels produits par la synchronisation labiale à l'aide d'un nœud Modify Curve. Cela est utile lorsqu'une courbe particulière semble trop prononcée pour votre contenu audio ou votre personnage.

Configuration :

1. Après votre nœud de blend de lip sync, ajoutez un nœud Modify Curve
2. Faites un clic droit sur le nœud et sélectionnez Add Curve Pin, puis saisissez le nom de la courbe que vous souhaitez mettre à l'échelle
3. Définissez la propriété Apply Mode du nœud sur Scale
4. Définissez le paramètre Value : les valeurs inférieures à 1.0 atténuent le mouvement, les valeurs supérieures à 1.0 l'amplifient (par ex., 0.8 = 20 % de réduction)

Courbes couramment mises à l'échelle :

Nom de la courbe	Objectif	S'applique à	Ajustement typique
CTRL_expressions_tongueOut	Protrusion de la langue vers l'avant pendant certains phonèmes	Modèle standard	0.8 pour réduire la protrusion
CTRL_expressions_jawOpen	Plage d'ouverture de la mâchoire	Modèles réalistes	0.9 pour réduire le mouvement de la mâchoire

Vous pouvez ajouter plusieurs broches de courbe au même nœud Modify Curve pour mettre à l'échelle plusieurs courbes à la fois.

Réglage fin spécifique à l'humeur

Pour les modèles compatibles avec les humeurs, vous pouvez affiner des expressions émotionnelles spécifiques :

Contrôle des sourcils :

• CTRL_expressions_browRaiseInL / CTRL_expressions_browRaiseInR - Élévation des sourcils internes
• CTRL_expressions_browRaiseOuterL / CTRL_expressions_browRaiseOuterR - Élévation des sourcils externes
• CTRL_expressions_browDownL / CTRL_expressions_browDownR - Abaissement des sourcils

Contrôle de l'expression des yeux :

• CTRL_expressions_eyeSquintInnerL / CTRL_expressions_eyeSquintInnerR - Plissement des yeux
• CTRL_expressions_eyeCheekRaiseL / CTRL_expressions_eyeCheekRaiseR - Élévation des joues

Comparaison et sélection des modèles

Choisir entre les modèles

Lorsque vous décidez quel modèle de lip sync utiliser pour votre projet, tenez compte de ces facteurs :

Considération	Modèle standard	Modèle réaliste	Modèle réaliste avec gestion des humeurs
Compatibilité des personnages	MetaHumans et tous les types de personnages personnalisés	Personnages MetaHumans (et ARKit)	Personnages MetaHumans (et ARKit)
Qualité visuelle	Bon lip sync avec des performances efficaces	Réalisme amélioré avec des mouvements de bouche plus naturels	Réalisme amélioré avec des expressions émotionnelles
Performances	Optimisé pour toutes les plateformes, y compris mobile/VR	Exigences de ressources plus élevées	Exigences de ressources plus élevées
Fonctionnalités	14 visemes, détection du rire	81 contrôles faciaux, 3 niveaux d'optimisation	81 contrôles faciaux, 12 humeurs, sortie configurable
Prise en charge des plateformes	Windows, Android, Quest	Windows, Mac, iOS, Linux, Android, Quest	Windows, Mac, iOS, Linux, Android, Quest
Cas d'utilisation	Applications générales, jeux, VR/AR, mobile	Expériences cinématographiques, interactions en gros plan	Narration émotionnelle, interaction avancée avec les personnages

Compatibilité des versions du moteur

Problème de compatibilité avec UE 5.2

Si vous utilisez Unreal Engine 5.2, les modèles réalistes peuvent ne pas fonctionner correctement en raison d'un bug dans la bibliothèque de rééchantillonnage d'UE. Pour les utilisateurs d'UE 5.2 qui ont besoin d'une fonctionnalité de lip sync fiable, veuillez utiliser le modèle standard à la place.

Ce problème est spécifique à UE 5.2 et n'affecte pas les autres versions du moteur.

Recommandations de performance

• Pour la plupart des projets, le Standard Model offre un excellent équilibre entre qualité et performance
• Utilisez le Realistic Model lorsque vous avez besoin de la plus haute fidélité visuelle pour les personnages MetaHuman
• Utilisez le Mood-Enabled Realistic Model lorsque le contrôle de l'expression émotionnelle est important pour votre application
• Tenez compte des capacités de performance de votre plateforme cible lorsque vous choisissez entre les modèles
• Testez différents niveaux d'optimisation pour trouver le meilleur équilibre pour votre cas d'usage spécifique

Dépannage

Problèmes courants

Recréation du générateur pour les modèles réalistes : Pour un fonctionnement fiable et cohérent avec les modèles réalistes, il est recommandé de recréer le générateur chaque fois que vous souhaitez fournir de nouvelles données audio après une période d'inactivité. Cela est dû au comportement du runtime ONNX qui peut entraîner l'arrêt du lip sync lors de la réutilisation des générateurs après des périodes de silence.

Par exemple, vous pouvez recréer le générateur de lip sync à chaque début de lecture, comme chaque fois que vous appelez Play Sound 2D ou utilisez toute autre méthode pour démarrer la lecture d'une onde sonore et le lip sync :

Emplacement du plugin pour l'intégration de Runtime Text To Speech : Lorsque vous utilisez Runtime MetaHuman Lip Sync avec Runtime Text To Speech (les deux plugins utilisent ONNX Runtime), vous pouvez rencontrer des problèmes si les plugins sont installés dans le dossier Marketplace du moteur. Pour corriger cela :

1. Localisez les deux plugins dans votre dossier d'installation d'UE sous \Engine\Plugins\Marketplace (par exemple, C:\Program Files\Epic Games\UE_5.6\Engine\Plugins\Marketplace)
2. Déplacez les dossiers RuntimeMetaHumanLipSync et RuntimeTextToSpeech vers le dossier Plugins de votre projet
3. Si votre projet n'a pas de dossier Plugins, créez-en un dans le même répertoire que votre fichier .uproject
4. Redémarrez l'Unreal Editor

Cela résout les problèmes de compatibilité qui peuvent survenir lorsque plusieurs plugins basés sur ONNX Runtime sont chargés depuis le répertoire Marketplace du moteur.

Configuration du packaging (Windows) : Si la synchronisation labiale ne fonctionne pas correctement dans votre projet packagé sous Windows, assurez-vous d'utiliser la configuration de build Shipping plutôt que Development. La configuration Development peut causer des problèmes avec le runtime ONNX des modèles réalistes dans les builds packagés.

Pour corriger cela :

1. Dans les paramètres de votre projet → Empaquetage, définissez la configuration de build sur Shipping
2. Reconditionnez votre projet

Projets Blueprint uniquement

Dans certains projets Blueprint uniquement, Unreal Engine peut encore effectuer une compilation en configuration Development même lorsque Shipping est sélectionné. Si cela se produit, convertissez votre projet en projet C++ en ajoutant au moins une classe C++ (elle peut être vide). Pour ce faire, allez dans Tools → New C++ Class dans le menu de l'éditeur UE et créez une classe vide. Cela forcera le projet à se compiler correctement en configuration Shipping. Votre projet peut rester Blueprint uniquement sur le plan fonctionnel, la classe C++ est simplement nécessaire pour une configuration de compilation appropriée.

Réactivité de la synchronisation labiale dégradée : Si vous constatez que la synchronisation labiale devient moins réactive au fil du temps lors de l'utilisation de Streaming Sound Wave ou Capturable Sound Wave, cela peut être dû à une accumulation de mémoire. Par défaut, la mémoire est réallouée chaque fois que de nouveaux sons sont ajoutés. Pour éviter ce problème, appelez périodiquement la fonction ReleaseMemory afin de libérer la mémoire accumulée, par exemple toutes les 30 secondes environ.

Optimisation des performances :

• Ajustez la taille des blocs de traitement pour les modèles Realistic en fonction de vos exigences de performance
• Utilisez des nombres de threads appropriés pour votre matériel cible
• Envisagez d'utiliser le type de sortie Mouth Only pour les modèles compatibles avec les humeurs lorsque l'animation faciale complète n'est pas nécessaire