Panoramica

Runtime MetaHuman Lip Sync è un plugin che abilita la sincronizzazione labiale in tempo reale, offline e multipiattaforma sia per i MetaHuman che per personaggi personalizzati. Ti permette di animare le labbra di un personaggio in risposta a un input audio proveniente da varie fonti, tra cui:
- Input del microfono tramite l'onda sonora acquisibile di Runtime Audio Importer
- Voce sintetizzata da Runtime Text To Speech o Runtime AI Chatbot Integrator
- Qualsiasi dato audio in formato PCM float (un array di campioni in virgola mobile)
Il plugin genera internamente i visemi (rappresentazioni visive dei fonemi) basandosi sull'input audio. Poiché funziona direttamente con i dati audio piuttosto che con il testo, il plugin supporta input multilingue inclusi, ma non limitati a, inglese, spagnolo, francese, tedesco, giapponese, cinese, coreano, russo, italiano, portoghese, arabo e hindi. È supportato letteralmente qualsiasi lingua poiché la sincronizzazione labiale è generata dai fonemi audio piuttosto che da un'elaborazione del testo specifica per lingua.
Il Modello Standard produce 14 visemi ed esegue l'animazione della sincronizzazione labiale utilizzando un asset di pose predefinito. Al contrario, i Modelli Realistici (esclusivi per i personaggi MetaHuman) generano 81 variazioni dei controlli facciali senza fare affidamento su un asset di pose predefinito, ottenendo animazioni facciali significativamente più realistiche.
Compatibilità dei Personaggi
Nonostante il nome, Runtime MetaHuman Lip Sync funziona con una vasta gamma di personaggi oltre ai soli MetaHuman:
Sistemi di Personaggi Commerciali Popolari
- Personaggi Daz Genesis 8/9
- Personaggi Reallusion Character Creator 3/4 (CC3/CC4)
- Personaggi Mixamo
- Avatar ReadyPlayerMe
Supporto per Standard di Animazione
- Sistemi di blendshape basati su FACS
- Standard di blendshape Apple ARKit
- Set di fonemi Preston Blair
- Sistemi di fonemi 3ds Max
- Qualsiasi personaggio con morph target personalizzati per le espressioni facciali
Per istruzioni dettagliate sull'uso del plugin con personaggi non MetaHuman, consulta la Guida alla Configurazione per Personaggi Personalizzati.
Anteprima dell'Animazione
Guarda queste brevi animazioni per vedere la qualità della sincronizzazione labiale prodotta dal plugin su diversi tipi di personaggi e modelli:




Caratteristiche Principali
- Sincronizzazione labiale in tempo reale dall'input del microfono
- Supporto per l'elaborazione audio offline
- Compatibilità multipiattaforma con supporto specifico per piattaforma del modello
- Supporto per sistemi di personaggi multipli e standard di animazione
- Mappatura visemi flessibile per personaggi personalizzati
- Supporto linguistico universale - funziona con qualsiasi lingua parlata tramite analisi audio
- Animazione facciale consapevole dell'umore per una maggiore espressività
- Tipi di output configurabili (controlli dell'intero volto o solo della bocca)
Modelli di Sincronizzazione Labiale
Il plugin offre diversi modelli di sincronizzazione labiale per soddisfare le diverse esigenze del progetto:
- Modello Standard
- Modello Realistico
- Modello Realistico con Umore
Il modello di sincronizzazione labiale standard offre prestazioni efficienti e multipiattaforma con un'ampia compatibilità dei personaggi:
- Funziona con MetaHumans e tutti i tipi di personaggi personalizzati
- Ottimizzato per le prestazioni in tempo reale
- Requisiti di risorse inferiori
- Piena compatibilità con TTS locale (plugin Runtime Text To Speech)
- Supporto Piattaforma: Windows, Android, piattaforme basate su Android (incluso Meta Quest)
Per utilizzare il Modello Standard, è necessario installare un plugin di estensione aggiuntivo. Consulta la sezione Prerequisiti per le istruzioni di installazione.
Il modello di sincronizzazione labiale realistico offre una fedeltà visiva migliorata specificamente per i personaggi MetaHuman:
- Esclusivo per MetaHuman con animazione facciale avanzata (81 controlli facciali)
- Qualità visiva superiore con movimenti della bocca più naturali
- Requisiti di prestazione leggermente superiori
- Supporto TTS locale limitato (si consigliano servizi TTS esterni)
- Ideale per esperienze cinematografiche e interazioni ravvicinate con i personaggi
- Supporto Piattaforma: Windows, Mac, iOS, Linux
- Tre livelli di ottimizzazione: Originale, Semi-Ottimizzato e Altamente Ottimizzato
Il Modello Realistico è incluso nel plugin principale e non richiede estensioni aggiuntive per l'uso.
Il modello realistico con umore fornisce un'animazione facciale consapevole delle emozioni per i personaggi MetaHuman:
- Esclusivo per MetaHuman con animazione facciale reattiva all'umore
- 12 diversi tipi di umore (Neutro, Felice, Triste, Sicuro, ecc.)
- Intensità dell'umore configurabile (da 0.0 a 1.0)
- Tempistica di anticipo regolabile per una migliore sincronizzazione (da 20ms a 200ms)
- Tipi di output selezionabili: controlli dell'intero volto o solo della bocca
- Elaborazione audio in streaming per applicazioni in tempo reale
- Supporto Piattaforma: Windows, Mac, iOS, Linux
Il Modello con Umore include funzionalità avanzate come la tempistica di anticipo configurabile e controllo selettivo dell'output, rendendolo ideale per applicazioni che richiedono il controllo dell'espressione emotiva.
Puoi scegliere il modello appropriato in base ai requisiti del tuo progetto per prestazioni, compatibilità dei personaggi, qualità visiva, piattaforma target e necessità delle funzionalità.
Sebbene tutti i modelli supportino vari metodi di input audio, il modello Realistico regolare ha una compatibilità limitata con il TTS locale a causa di conflitti con il runtime ONNX. Il modello Realistico con Abilitazione dell'Umore, tuttavia, è completamente compatibile con il TTS locale. Per la funzionalità di sintesi vocale:
- Modello Standard: Compatibile con tutte le opzioni TTS (locale ed esterno)
- Modello Realistico: Servizi TTS esterni consigliati (OpenAI, ElevenLabs)
- Modello Realistico con Abilitazione dell'Umore: Compatibile con tutte le opzioni TTS (locale ed esterno)
Come Funziona
Il plugin elabora l'input audio nel modo seguente:
- I dati audio vengono ricevuti in formato PCM float con canali e frequenza di campionamento specificati
- Il plugin elabora l'audio per generare dati di controllo facciale o visemi a seconda del modello
- Per i modelli con abilitazione dell'umore, il contesto emotivo viene applicato all'animazione facciale
- I dati di animazione guidano i movimenti facciali del personaggio in tempo reale
Guida Rapida
Ecco una configurazione di base per abilitare la sincronizzazione labiale sul tuo personaggio:
- Per i personaggi MetaHuman, segui la Guida all'Installazione
- Per i personaggi personalizzati, segui la Guida all'Installazione per Personaggi Personalizzati
- Scegli e configura il tuo modello di sincronizzazione labiale preferito
- Imposta l'elaborazione dell'input audio nel tuo Blueprint
- Collega il nodo di sincronizzazione labiale appropriato nell'Animation Blueprint
- Riproduci l'audio e guarda il tuo personaggio parlare con emozione!
Risorse Aggiuntive
📦 Download e Link
- Scaricalo su Fab
- Sito web del prodotto
- Scarica Demo (Windows)
- Scarica i file sorgente della Demo (UE 5.6) – Richiede questo plugin + Runtime Audio Importer, opzionale: Text To Speech / AI Chatbot. Il modello standard richiede una piccola estensione del plugin (vedi qui)
🎥 Video Tutorial
Demo in Evidenza:
Tutorials per Modello Realistico (Alta Qualità):
- Sincronizzazione Labiale di Alta Qualità con Controllo dell'Umore e TTS Locale ⭐ NUOVO
- Sincronizzazione Labiale di Alta Qualità con ElevenLabs e OpenAI TTS
- Sincronizzazione Labiale in Diretta con Microfono di Alta Qualità
Tutorials per Modello Standard:
- Sincronizzazione Labiale in Diretta con Microfono Standard
- Sincronizzazione Labiale Standard con Sintesi Vocale Locale
- Sincronizzazione Labiale Standard con ElevenLabs e OpenAI TTS
Configurazione Generale:
💬 Supporto
- Server di supporto Discord
- Sviluppo Personalizzato: [email protected] (soluzioni su misura per team e organizzazioni)