Passa al contenuto principale

Come utilizzare il plugin con personaggi personalizzati

Questa guida ti accompagna attraverso il processo di configurazione di Runtime MetaHuman Lip Sync per personaggi non-MetaHuman. Questo processo richiede familiarità con i concetti di animazione e rigging. Se hai bisogno di assistenza per implementarlo per il tuo personaggio specifico, puoi richiedere supporto professionale a [email protected].

Nota importante sui modelli di lip sync​

Compatibilità con Personaggi Personalizzati

I personaggi personalizzati sono supportati solo con il modello Standard (Più Veloce).

Il modello Realistic (Qualità Superiore) è progettato per personaggi MetaHuman e ARKit e non può essere utilizzato con altri personaggi personalizzati. In tutta questa guida, dovresti seguire le istruzioni per il modello Standard dalla guida di configurazione principale quando vengono richiamate.

Plugin di Estensione Richiesto: Per utilizzare il Modello Standard con personaggi personalizzati, devi installare il plugin di estensione Standard Lip Sync Extension come descritto nella sezione Prerequisiti della guida di configurazione principale.

Questa estensione è obbligatoria per tutte le implementazioni di personaggi personalizzati descritte in questa guida.

Prerequisiti​

Prima di iniziare, assicurati che il tuo personaggio soddisfi questi requisiti:

  • Possiede uno scheletro valido
  • Contiene morph target (blend shape) per le espressioni facciali
  • Idealmente ha 10+ morph target che definiscono i visemi (più visemi = migliore qualità del lip sync)

Il plugin richiede di mappare i morph target del tuo personaggio ai seguenti visemi standard:

Sil -> Silence
PP -> Bilabial plosives (p, b, m)
FF -> Labiodental fricatives (f, v)
TH -> Dental fricatives (th)
DD -> Alveolar plosives (t, d)
KK -> Velar plosives (k, g)
CH -> Postalveolar affricates (ch, j)
SS -> Sibilants (s, z)
NN -> Nasal (n)
RR -> Approximant (r)
AA -> Open vowel (aa)
E -> Mid vowel (e)
IH -> Close front vowel (ih)
OH -> Close-mid back vowel (oh)
OU -> Close back vowel (ou)

Nota: Se il tuo personaggio ha un set diverso di visemi (cosa probabile), non hai bisogno di corrispondenze esatte per ogni visema. Le approssimazioni sono spesso sufficienti - ad esempio, mappare il visema SH del tuo personaggio al visema CH del plugin funzionerebbe efficacemente poiché sono suoni postalveolari strettamente correlati.

Riferimento per la mappatura dei visemi​

Ecco le mappature tra i sistemi di visemi comuni e i visemi richiesti dal plugin:

ARKit fornisce un set completo di blendshape per l'animazione facciale, inclusi diverse forme della bocca. Ecco come mapparli ai visemi di RuntimeMetaHumanLipSync:

Visema RuntimeMetaHumanLipSyncEquivalente ARKitNote
SilmouthCloseLa posizione neutra/di riposo
PPmouthPressLeft + mouthPressRightPer i suoni bilabiali, usa entrambe le forme di pressione insieme
FFlowerLipBiteLeft + lowerLipBiteRight (o mouthRollLower)Il labbro inferiore tocca i denti superiori, come nei suoni "f" e "v"
THtongueOutARKit ha il controllo diretto della lingua
DDjawOpen (leggero) + tongueUp (se hai un rig della lingua)La lingua tocca la cresta alveolare; leggera apertura della mandibola
KKmouthLeft o mouthRight (leggero)Una leggera trazione dell'angolo della bocca approssima i suoni velari
CHjawOpen (leggero) + mouthFunnel (leggero)Combina per i suoni postalveolari
SSmouthFrownUsa un leggero accigliamento per le sibilanti
NNjawOpen (molto leggero) + mouthCloseBocca quasi chiusa con leggera apertura della mandibola
RRmouthPucker (leggero)Leggero arrotondamento per i suoni di "r"
AAjawOpen + mouthStretchLeft + mouthStretchRight (o jawOpen + mouthOpen)Bocca spalancata per il suono "ah"
EjawOpen (leggero) + mouthSmilePosizione mediamente aperta con un leggero sorriso
IHmouthSmile (leggero)Leggera distensione delle labbra
OHmouthFunnelForma arrotondata e aperta
OUmouthPuckerLabbra strettamente arrotondate

Creazione di un Pose Asset personalizzato​

Segui questi passaggi per creare un pose asset personalizzato per il tuo personaggio che verrà utilizzato con il nodo Blend Runtime MetaHuman Lip Sync:

1. Individua la Skeletal Mesh del tuo personaggio​

Trova la skeletal mesh che contiene i morph target (blend shape) che vuoi utilizzare per l'animazione del lip sync. Potrebbe essere una mesh completa del corpo o solo una mesh del viso, a seconda del design del tuo personaggio.

2. Verifica i Morph Target e le Curve​

Prima di procedere, controlla che la tua skeletal mesh abbia morph target appropriati e curve corrispondenti per l'animazione del lip sync.

Controlla i Morph Target: Verifica che la tua skeletal mesh contenga morph target (blend shape) che possano essere utilizzati come visemi per l'animazione del lip sync. La maggior parte dei personaggi con supporto per l'animazione facciale dovrebbe avere alcuni morph target per fonemi/visemi.

Esempio di morph target in un personaggio

Importante: Verifica la Scheda Curve Questo passaggio è particolarmente cruciale per i personaggi esportati da Blender o altri software esterni:

  1. Apri la scheda Curve nell'editor della Skeletal Mesh
  2. Controlla se riesci a vedere curve corrispondenti ai tuoi morph target
  3. Se la scheda Curve è vuota ma esistono morph target, aggiungi manualmente nuove curve utilizzando esattamente gli stessi nomi dei tuoi morph target

Nota: Questo problema si verifica comunemente con le esportazioni da Blender dove i morph target vengono importati con successo ma le curve di animazione non vengono create automaticamente. Senza curve corrispondenti, l'animazione non verrà popolata correttamente dopo il baking su Control Rig.

Soluzione Alternativa: Per prevenire questo problema durante l'esportazione da Blender, prova ad abilitare Proprietà Personalizzate e Animazione nelle impostazioni di esportazione FBX, il che potrebbe aiutare a includere le curve di animazione insieme ai morph target.

3. Crea un'Animazione di Pose di Riferimento​

  1. Vai su Crea Asset -> Crea Animazione -> Pose di Riferimento
  2. Inserisci un nome descrittivo per la sequenza di animazione e salvala in una posizione appropriata
  3. La sequenza di animazione creata si aprirà automaticamente, mostrando un'animazione vuota in riproduzione a ciclo continuo

Creazione di un asset di pose di riferimento Assegnazione di un nome all'asset di pose di riferimento

  1. Clicca il pulsante Pausa per fermare la riproduzione dell'animazione per una modifica più semplice

Messa in pausa della riproduzione dell'animazione

4. Modifica la Sequenza di Animazione​

  1. Clicca su Modifica in Sequencer -> Modifica con FK Control Rig
  2. Nella finestra di dialogo Bake to Control Rig, clicca il pulsante Bake to Control Rig senza cambiare alcuna impostazione

Modifica con FK Control Rig Baking su Control Rig

  1. L'editor passerà alla Modalità Animazione con la scheda Sequencer aperta
  2. Imposta il Fine Intervallo di Visualizzazione a 0016 (che imposterà automaticamente anche Fine Intervallo di Lavoro a 0016)
  3. Trascina il bordo destro dello slider all'estremità destra della finestra del sequencer

5. Prepare the Animation Curves​

  1. Torna all'asset Animation Sequence e individua i morph target nella lista Curves (se non sono visibili, chiudi e riapri l'asset Animation Sequence)
  2. Rimuovi qualsiasi morph target che non sia correlato ai visemi o ai movimenti della bocca che desideri utilizzare per il lip sync

6. Plan your viseme mapping​

Crea un piano di mappatura per associare i visemi del tuo personaggio all'insieme richiesto dal plugin. Ad esempio:

Sil -> Sil
PP -> FV
FF -> FV
TH -> TH
DD -> TD
KK -> KG
CH -> CH
SS -> SZ
NN -> NL
RR -> RR
AA -> AA
E -> E
IH -> IH
OH -> O
OU -> U

Nota che è accettabile avere mappature ripetute quando il set di visemi del tuo personaggio non ha corrispondenze esatte per ogni visema richiesto.

7. Animate each viseme​

  1. Per ogni visema, anima le curve del morph target rilevanti da 0.0 a 1.0
  2. Inizia l'animazione di ogni visema su un fotogramma diverso
  3. Configura curve aggiuntive secondo necessità (apertura della mascella/bocca, posizione della lingua, ecc.) per creare forme di visemi dall'aspetto naturale

8. Create a Pose Asset​

  1. Vai su Create Asset -> Pose Asset -> Current Animation
  2. Inserisci un nome descrittivo per il Pose Asset e salvalo in una posizione appropriata
  3. Il Pose Asset creato si aprirà automaticamente, mostrando pose come Pose_0, Pose_1, ecc., ciascuna corrispondente a un visema
  4. Anteprima i pesi dei visemi per assicurarti che funzionino come previsto

Creazione di un pose asset Assegnazione del nome al pose asset Pose asset con visemi

9. Finalize the Pose Asset​

  1. Rinomina ogni pose per corrispondere ai nomi dei visemi della sezione Prerequisiti
  2. Elimina tutte le pose non utilizzate

Setting up audio handling and blending​

Una volta che il tuo asset di pose è pronto, devi configurare i nodi di gestione e blending dell'audio:

  1. Individua o crea l'Animation Blueprint del tuo personaggio
  2. Configura la gestione e il blending dell'audio seguendo gli stessi passaggi documentati nella guida di configurazione standard del plugin
  3. Nel nodo Blend Runtime MetaHuman Lip Sync, seleziona il tuo Pose Asset personalizzato invece dell'asset di pose MetaHuman predefinito

Selezione dell'asset di pose personalizzato

Combining with body animations​

Se desideri eseguire la sincronizzazione labiale insieme ad altre animazioni del corpo:

  1. Segui gli stessi passaggi documentati nella guida standard del plugin
  2. Assicurati di fornire i nomi corretti delle ossa per lo scheletro del collo del tuo personaggio invece di utilizzare i nomi delle ossa MetaHuman

Risultati​

Ecco alcuni esempi di personaggi personalizzati che utilizzano questa configurazione:

Esempio 1: Sincronizzazione labiale con personaggio personalizzato

Esempio 2: Sincronizzazione labiale con sistema di visemi diverso

Esempio 3: Sincronizzazione labiale con sistema di visemi diverso

La qualità della sincronizzazione labiale dipende in gran parte dal personaggio specifico e da quanto bene i suoi visemi sono configurati. Gli esempi sopra dimostrano il plugin che funziona con diversi tipi di personaggi personalizzati con sistemi di visemi distinti.