Guide de Traitement Audio

Ce guide explique comment configurer différentes méthodes d'entrée audio pour alimenter vos générateurs de synchronisation labiale. Assurez-vous d'avoir terminé le Guide de configuration avant de continuer.

Traitement de l'Entrée Audio

Vous devez configurer une méthode pour traiter l'entrée audio. Il existe plusieurs façons de procéder selon votre source audio.

Microphone (Temps réel)

Cette approche effectue la synchronisation labiale en temps réel pendant que vous parlez dans le microphone :

Modèle Standard

1. Créez une Onde Sonore Capturable en utilisant Runtime Audio Importer
   • Pour Linux avec Pixel Streaming, utilisez Pixel Streaming Capturable Sound Wave à la place
2. Avant de commencer à capturer l'audio, liez le délégué OnPopulateAudioData
3. Dans la fonction liée, appelez ProcessAudioData depuis votre Runtime Viseme Generator
4. Commencez à capturer l'audio depuis le microphone

Nœuds copiables.

Modèle Réaliste

Le Modèle Réaliste utilise le même flux de travail de traitement audio que le Modèle Standard, mais avec la variable RealisticLipSyncGenerator au lieu de VisemeGenerator.

Nœuds copiables.

Modèle Réaliste avec Humeur

Le Modèle avec Humeur utilise le même flux de travail de traitement audio, mais avec la variable MoodMetaHumanLipSyncGenerator et des capacités de configuration d'humeur supplémentaires.

Nœuds copiables.

Microphone (Lecture)

Cette approche capture l'audio depuis un microphone, puis le lit avec synchronisation labiale :

Modèle Standard

1. Créez une Onde Sonore Capturable en utilisant Runtime Audio Importer
   • Pour Linux avec Pixel Streaming, utilisez Pixel Streaming Capturable Sound Wave à la place
2. Démarrez la capture audio depuis le microphone
3. Avant de lire l'onde sonore capturable, liez son délégué OnGeneratePCMData
4. Dans la fonction liée, appelez ProcessAudioData depuis votre Runtime Viseme Generator

Nœuds copiables.

Modèle Réaliste

Le Modèle Réaliste utilise le même flux de travail de traitement audio que le Modèle Standard, mais avec la variable RealisticLipSyncGenerator au lieu de VisemeGenerator.

Nœuds copiables.

Modèle Réaliste avec Humeur

Le Modèle avec Humeur utilise le même flux de travail de traitement audio, mais avec la variable MoodMetaHumanLipSyncGenerator et des capacités de configuration d'humeur supplémentaires.

Nœuds copiables.

Synthèse Vocale (Locale)

Normale

Cette approche synthétise la parole à partir de texte en utilisant la TTS locale et effectue la synchronisation labiale :

Modèle Standard

1. Utilisez Runtime Text To Speech pour générer la parole à partir de texte
2. Utilisez Runtime Audio Importer pour importer l'audio synthétisé
3. Avant de lire l'onde sonore importée, liez son délégué OnGeneratePCMData
4. Dans la fonction liée, appelez ProcessAudioData depuis votre Runtime Viseme Generator

Nœuds copiables.

Modèle Réaliste

Le Modèle Réaliste utilise le même flux de travail de traitement audio que le Modèle Standard, mais avec la variable RealisticLipSyncGenerator au lieu de VisemeGenerator.

Nœuds copiables.

Modèle Réaliste avec Humeur

Le Modèle avec Humeur utilise le même flux de travail de traitement audio, mais avec la variable MoodMetaHumanLipSyncGenerator et des capacités de configuration d'humeur supplémentaires.

Nœuds copiables.

Streaming

Cette approche utilise la synthèse vocale en streaming avec synchronisation labiale en temps réel :

Modèle Standard

1. Utilisez Runtime Text To Speech pour générer la parole en streaming à partir de texte
2. Utilisez Runtime Audio Importer pour importer l'audio synthétisé
3. Avant de lire l'onde sonore en streaming, liez son délégué OnGeneratePCMData
4. Dans la fonction liée, appelez ProcessAudioData depuis votre Runtime Viseme Generator

Nœuds copiables.

Modèle Réaliste

Le Modèle Réaliste utilise le même flux de travail de traitement audio que le Modèle Standard, mais avec la variable RealisticLipSyncGenerator au lieu de VisemeGenerator.

Nœuds copiables.

Modèle Réaliste avec Humeur

Le Modèle avec Humeur utilise le même flux de travail de traitement audio, mais avec la variable MoodMetaHumanLipSyncGenerator et des capacités de configuration d'humeur supplémentaires.

Nœuds copiables.

Synthèse Vocale (API Externes)

Normale

Cette approche utilise le plugin Runtime AI Chatbot Integrator pour générer de la parole synthétisée à partir de services d'IA (OpenAI ou ElevenLabs) et effectuer la synchronisation labiale :

Modèle Standard

1. Utilisez Runtime AI Chatbot Integrator pour générer la parole à partir de texte en utilisant des API externes (OpenAI, ElevenLabs, etc.)
2. Utilisez Runtime Audio Importer pour importer les données audio synthétisées
3. Avant de lire l'onde sonore importée, liez son délégué OnGeneratePCMData
4. Dans la fonction liée, appelez ProcessAudioData depuis votre Runtime Viseme Generator

Nœuds copiables.

Modèle Réaliste

Le Modèle Réaliste utilise le même flux de travail de traitement audio que le Modèle Standard, mais avec la variable RealisticLipSyncGenerator au lieu de VisemeGenerator.

Nœuds copiables.

Modèle Réaliste avec Humeur

Le Modèle avec Humeur utilise le même flux de travail de traitement audio, mais avec la variable MoodMetaHumanLipSyncGenerator et des capacités de configuration d'humeur supplémentaires.

Nœuds copiables.

Streaming

Cette approche utilise le plugin Runtime AI Chatbot Integrator pour générer de la parole synthétisée en streaming à partir de services d'IA (OpenAI ou ElevenLabs) et effectuer la synchronisation labiale :

Modèle Standard

1. Utilisez Runtime AI Chatbot Integrator pour vous connecter aux API TTS en streaming (comme ElevenLabs Streaming API)
2. Utilisez Runtime Audio Importer pour importer les données audio synthétisées
3. Avant de lire l'onde sonore en streaming, liez son délégué OnGeneratePCMData
4. Dans la fonction liée, appelez ProcessAudioData depuis votre Runtime Viseme Generator

Nœuds copiables.

Modèle Réaliste

Le Modèle Réaliste utilise le même flux de travail de traitement audio que le Modèle Standard, mais avec la variable RealisticLipSyncGenerator au lieu de VisemeGenerator.

Nœuds copiables.

Modèle Réaliste avec Humeur

Le Modèle avec Humeur utilise le même flux de travail de traitement audio, mais avec la variable MoodMetaHumanLipSyncGenerator et des capacités de configuration d'humeur supplémentaires.

Nœuds copiables.

À Partir d'un Fichier/Tampon Audio

Cette approche utilise des fichiers audio pré-enregistrés ou des tampons audio pour la synchronisation labiale :

Modèle Standard

1. Utilisez Runtime Audio Importer pour importer un fichier audio depuis le disque ou la mémoire
2. Avant de lire l'onde sonore importée, liez son délégué OnGeneratePCMData
3. Dans la fonction liée, appelez ProcessAudioData depuis votre Runtime Viseme Generator
4. Jouez l'onde sonore importée et observez l'animation de synchronisation labiale

Nœuds copiables.

Modèle Réaliste

Le Modèle Réaliste utilise le même flux de travail de traitement audio que le Modèle Standard, mais avec la variable RealisticLipSyncGenerator au lieu de VisemeGenerator.

Nœuds copiables.

Modèle Réaliste avec Humeur

Le Modèle avec Humeur utilise le même flux de travail de traitement audio, mais avec la variable MoodMetaHumanLipSyncGenerator et des capacités de configuration d'humeur supplémentaires.

Nœuds copiables.

Tampon Audio en Streaming

Pour les données audio en streaming provenant d'un tampon, vous avez besoin de :

Modèle Standard

1. Données audio au format PCM flottant (un tableau d'échantillons à virgule flottante) disponibles depuis votre source de streaming (ou utilisez Runtime Audio Importer pour prendre en charge plus de formats)
2. Le taux d'échantillonnage et le nombre de canaux
3. Appelez ProcessAudioData depuis votre Runtime Viseme Generator avec ces paramètres au fur et à mesure que les morceaux audio deviennent disponibles

Nœuds copiables.

Modèle Réaliste

Le Modèle Réaliste utilise le même flux de travail de traitement audio que le Modèle Standard, mais avec la variable RealisticLipSyncGenerator au lieu de VisemeGenerator.

Nœuds copiables.

Modèle Réaliste avec Humeur

Le Modèle avec Humeur utilise le même flux de travail de traitement audio, mais avec la variable MoodMetaHumanLipSyncGenerator et des capacités de configuration d'humeur supplémentaires.

Nœuds copiables.

Remarque : Lorsque vous utilisez des sources audio en streaming, assurez-vous de gérer correctement la temporisation de la lecture audio pour éviter une lecture déformée. Consultez la documentation Streaming Sound Wave pour plus d'informations.

Conseils de Performance de Traitement

• Taille de Morceau : Augmenter l'option de configuration ProcessingChunkSize (par exemple à 320, 480 ou 640 échantillons) peut améliorer sensiblement la latence avec un impact minimal sur la qualité ou la réactivité.

• Type de Modèle : Lorsque vous utilisez des modèles Réalistes, passer au type de modèle Hautement Optimisé (sélectionné par défaut) peut améliorer les performances. Notez que le modèle original peut produire une qualité légèrement supérieure, en particulier avec un audio bruité.

• Gestion du Tampon : Le modèle avec humeur traite l'audio en trames de 320 échantillons (20 ms à 16 kHz). Assurez-vous que la temporisation de votre entrée audio s'aligne sur cela pour des performances optimales.

• Recréation du Générateur : Pour un fonctionnement fiable avec les modèles Réalistes, recréez le générateur chaque fois que vous souhaitez alimenter de nouvelles données audio après une période d'inactivité. Voir Recréation du Générateur dans la section Dépannage pour l'explication.

Prochaines Étapes

Une fois que vous avez configuré le traitement audio, vous pouvez :

• En savoir plus sur les options de Configuration pour affiner le comportement de votre synchronisation labiale
• Ajouter une animation de rire pour une expressivité améliorée
• Combiner la synchronisation labiale avec des animations faciales existantes en utilisant les techniques de superposition décrites dans le guide de Configuration