Passa al contenuto principale

Panoramica

Documentazione Runtime MetaHuman Lip Sync

Runtime MetaHuman Lip Sync è un plugin che abilita la sincronizzazione labiale in tempo reale, offline e cross-platform sia per personaggi MetaHuman che per personaggi personalizzati. Ti permette di animare le labbra di un personaggio in risposta a un input audio proveniente da varie fonti, tra cui:

Il plugin genera internamente dei visemi (rappresentazioni visive dei fonemi) basandosi sull'input audio. Poiché lavora direttamente con i dati audio piuttosto che con il testo, il plugin supporta input multilingue, inclusi ma non limitati a inglese, spagnolo, francese, tedesco, giapponese, cinese, coreano, russo, italiano, portoghese, arabo e hindi. Letteralmente qualsiasi lingua è supportata, poiché la sincronizzazione labiale è generata dai fonemi audio piuttosto che da un'elaborazione del testo specifica per lingua.

Il Modello Standard produce 14 visemi ed esegue l'animazione della sincronizzazione labiale utilizzando un asset di pose predefinito. Al contrario, i Modelli Realistici (esclusivi per i personaggi MetaHuman) generano 81 variazioni nei controlli facciali senza fare affidamento su un asset di pose predefinito, ottenendo animazioni facciali significativamente più realistiche.

Compatibilità dei Personaggi​

Nonostante il nome, Runtime MetaHuman Lip Sync funziona con una vasta gamma di personaggi oltre ai soli MetaHuman:

Sistemi di Personaggi Commerciali Popolari​

  • Personaggi Daz Genesis 8/9
  • Personaggi Reallusion Character Creator 3/4 (CC3/CC4)
  • Personaggi Mixamo
  • Avatar ReadyPlayerMe

Supporto agli Standard di Animazione​

  • Sistemi di blendshape basati su FACS
  • Standard di blendshape Apple ARKit
  • Set di fonemi Preston Blair
  • Sistemi di fonemi 3ds Max
  • Qualsiasi personaggio con morph target personalizzati per le espressioni facciali

Per istruzioni dettagliate sull'uso del plugin con personaggi non MetaHuman, consulta la Guida alla Configurazione per Personaggi Personalizzati.

Anteprima delle Animazioni​

Guarda queste brevi animazioni per vedere la qualità della sincronizzazione labiale prodotta dal plugin su diversi tipi di personaggi e modelli:

Realistic Lip Sync Example
Modello realistico con personaggio MetaHuman
Standard Lip Sync Example
Modello standard con personaggio MetaHuman
Custom Character Lip Sync Example
Modello standard con personaggio personalizzato
Custom Character Lip Sync Example
Modello standard con personaggio personalizzato

Caratteristiche Principali​

  • Sincronizzazione labiale in tempo reale dall'input del microfono
  • Supporto per l'elaborazione audio offline
  • Compatibilità multipiattaforma con supporto specifico per piattaforma del modello
  • Supporto per sistemi di personaggi multipli e standard di animazione
  • Mappatura viseme flessibile per personaggi personalizzati
  • Supporto linguistico universale - funziona con qualsiasi lingua parlata attraverso l'analisi audio
  • Animazione facciale consapevole dell'umore per un'espressività migliorata
  • Tipi di output configurabili (controlli per l'intero volto o solo per la bocca)

Modelli di Sincronizzazione Labiale​

Il plugin offre diversi modelli di sincronizzazione labiale per soddisfare le diverse esigenze del progetto:

Il modello di sincronizzazione labiale standard offre prestazioni efficienti e multipiattaforma con un'ampia compatibilità di personaggi:

  • Funziona con MetaHumans e tutti i tipi di personaggi personalizzati
  • Ottimizzato per le prestazioni in tempo reale
  • Requisiti di risorse inferiori
  • Piena compatibilità con TTS locale (plugin Runtime Text To Speech)
  • Supporto Piattaforma: Windows, Android, piattaforme basate su Android (incluso Meta Quest)
Plugin di Estensione Richiesto

Per utilizzare il Modello Standard, è necessario installare un ulteriore plugin di estensione. Vedi la sezione Prerequisiti per le istruzioni di installazione.

Puoi scegliere il modello appropriato in base ai requisiti del tuo progetto per prestazioni, compatibilità del personaggio, qualità visiva, piattaforma target e necessità di funzionalità.

Nota sulla Compatibilità TTS

Mentre tutti i modelli supportano vari metodi di input audio, il modello Realistico standard ha una compatibilità limitata con il TTS locale a causa di conflitti con il runtime ONNX. Il modello Realistico Abilitato all'Umore, tuttavia, è completamente compatibile con il TTS locale. Per la funzionalità di sintesi vocale:

  • Modello Standard: Compatibile con tutte le opzioni TTS (locale ed esterne)
  • Modello Realistico: Servizi TTS esterni consigliati (OpenAI, ElevenLabs)
  • Modello Realistico Abilitato all'Umore: Compatibile con tutte le opzioni TTS (locale ed esterne)

Come Funziona​

Il plugin elabora l'input audio nel modo seguente:

  1. I dati audio vengono ricevuti in formato PCM float con canali e frequenza di campionamento specificati
  2. Il plugin elabora l'audio per generare dati di controllo facciale o visemi a seconda del modello
  3. Per i modelli abilitati all'umore, il contesto emotivo viene applicato all'animazione facciale
  4. I dati di animazione guidano i movimenti facciali del personaggio in tempo reale

Architettura delle Prestazioni​

Runtime MetaHuman Lip Sync utilizza inferenza solo su CPU per fornire risultati di sincronizzazione labiale coerenti e a bassa latenza adatti ad applicazioni in tempo reale. Per impostazione predefinita, il plugin esegue l'elaborazione della sincronizzazione labiale ogni 10 millisecondi (regolabile - vedi Configurazione del Plugin per tutte le impostazioni disponibili, inclusa Dimensione del Blocco di Elaborazione, numero di thread e altri parametri di prestazione).

Panoramica dell'Architettura del Modello​

I modelli di sincronizzazione labiale utilizzano una rete neurale compatta basata su transformer che elabora l'audio attraverso l'analisi mel-spettrogramma. Questa architettura leggera è specificamente progettata per prestazioni in tempo reale con inferenza CPU efficiente e un'impronta di memoria minima.

Perché Inferenza su CPU?​

Per piccole operazioni di inferenza frequenti come la sincronizzazione labiale in tempo reale, l'elaborazione su CPU offre caratteristiche di latenza migliori rispetto alla GPU. Con dimensione del batch 1 e intervalli di inferenza di 10-100ms, l'overhead della GPU dovuto ai trasferimenti PCIe e alle chiamate del kernel spesso supera il tempo di calcolo effettivo. Inoltre, nei motori di gioco la GPU è già saturata da rendering, shader e fisica, creando una contesa di risorse che introduce picchi di latenza imprevedibili.

Compatibilità Hardware​

Il plugin funziona in modo efficiente sulla maggior parte delle CPU di fascia media e superiore senza richiedere hardware grafico dedicato, fornendo prestazioni in tempo reale su piattaforme desktop, mobile e VR. Per hardware più debole, puoi regolare il Tipo di Modello su Semi-Optimized o Highly Optimized, oppure aumentare la Dimensione del Blocco di Elaborazione per mantenere le prestazioni in tempo reale con una reattività leggermente ridotta.

Guida Rapida​

Ecco una configurazione di base per abilitare la sincronizzazione labiale sul tuo personaggio:

  1. Per i personaggi MetaHuman, segui la Guida di Configurazione
  2. Per personaggi personalizzati, segui la Guida di Configurazione per Personaggi Personalizzati
  3. Scegli e configura il tuo modello di sincronizzazione labiale preferito
  4. Configura l'elaborazione dell'input audio nel tuo Blueprint
  5. Collega il nodo di sincronizzazione labiale appropriato nell'Animation Blueprint
  6. Riproduci l'audio e guarda il tuo personaggio parlare con emozione!

Risorse Aggiuntive​

📦 Download e Link​

🎥 Video Tutorial​

Demo in Evidenza:​

Tutorial Modello Realistico (Alta Qualità):​

Tutorial Modello Standard:​

Configurazione Generale:​

💬 Supporto​