Pular para o conteúdo principal

Como usar o plugin com personagens personalizados

Este guia orienta você pelo processo de configuração do Runtime MetaHuman Lip Sync para personagens que não são MetaHuman. Este processo exige familiaridade com conceitos de animação e rigging. Se precisar de ajuda para implementar isso em seu personagem específico, você pode entrar em contato para obter suporte profissional em [email protected].

Nota importante sobre modelos de lip sync​

Compatibilidade com Personagens Personalizados

Personagens personalizados são suportados apenas com o modelo Padrão (Mais Rápido).

O modelo Realista (Maior Qualidade) é projetado para personagens MetaHuman e ARKit e não pode ser usado com outros personagens personalizados. Ao longo deste guia, você deve seguir as instruções do Modelo Padrão do guia de configuração principal quando referenciado.

Plugin de Extensão Necessário: Para usar o Modelo Padrão com personagens personalizados, você deve instalar o plugin de extensão Standard Lip Sync conforme descrito na seção de Pré-requisitos do guia de configuração principal.

Esta extensão é obrigatória para todas as implementações de personagens personalizados descritas neste guia.

Pré-requisitos​

Antes de começar, certifique-se de que seu personagem atenda a estes requisitos:

  • Possui um esqueleto válido
  • Contém alvos de morph (blend shapes) para expressões faciais
  • Idealmente possui 10+ alvos de morph definindo visemas (mais visemas = melhor qualidade de sincronização labial)

O plugin requer o mapeamento dos seus morph targets para os seguintes visemas padrão:

Sil -> Silence
PP -> Bilabial plosives (p, b, m)
FF -> Labiodental fricatives (f, v)
TH -> Dental fricatives (th)
DD -> Alveolar plosives (t, d)
KK -> Velar plosives (k, g)
CH -> Postalveolar affricates (ch, j)
SS -> Sibilants (s, z)
NN -> Nasal (n)
RR -> Approximant (r)
AA -> Open vowel (aa)
E -> Mid vowel (e)
IH -> Close front vowel (ih)
OH -> Close-mid back vowel (oh)
OU -> Close back vowel (ou)

Nota: Se seu personagem tiver um conjunto diferente de visemas (o que é provável), você não precisa de correspondências exatas para cada visema. Aproximações geralmente são suficientes — por exemplo, mapear o visema SH do seu personagem para o visema CH do plugin funcionaria de forma eficaz, já que são sons pós-alveolares intimamente relacionados.

Referência de mapeamento de visemas​

Aqui estão os mapeamentos entre sistemas comuns de visemas e os visemas exigidos pelo plugin:

O ARKit fornece um conjunto abrangente de blendshapes para animação facial, incluindo várias formas de boca. Veja como mapeá-los para os visemes do RuntimeMetaHumanLipSync:

Visema do RuntimeMetaHumanLipSyncEquivalente ao ARKitAnotações
SilmouthCloseA posição neutra/em repouso
PPmouthPressLeft + mouthPressRightPara sons bilabiais, use ambas as formas de pressão juntas.
FFlowerLipBiteLeft + lowerLipBiteRight (ou mouthRollLower)Lábio inferior toca os dentes superiores, como nos sons de "f" e "v".
THtongueOutO ARKit tem controle direto da língua.
DDjawOpen (mild) + tongueUp (if you have tongue rig)A língua toca a crista alveolar; leve queda da mandíbula.
KKmouthLeft or mouthRight (mild)Puxão sutil no canto da boca aproxima sons velares
CHjawOpen (mild) + mouthFunnel (mild)Combine para sons pós-alveolares
SSmouthFrownUse uma leve contração para sibilantes
NNjawOpen (very mild) + mouthCloseBoca quase fechada com leve abertura da mandíbula
RRmouthPucker (mild)Arredondamento sutil para sons de "r"
AAjawOpen + mouthStretchLeft + mouthStretchRight (ou jawOpen + mouthOpen)Boca bem aberta para o som "ah"
EjawOpen (mild) + mouthSmilePosição semiaberta com leve sorriso
IHmouthSmile (mild)Leve abertura dos lábios
OHmouthFunnelForma aberta arredondada
OUmouthPuckerLábios firmemente arredondados

Criando um Pose Asset personalizado​

Siga estas etapas para criar um ativo de pose personalizado para seu personagem, que será usado com o nó Blend Runtime MetaHuman Lip Sync:

1. Localize a Skeletal Mesh do seu personagem​

Encontre a malha esquelética que contém os alvos de morfagem (formas de mescla) que você deseja usar para a animação de sincronia labial. Pode ser uma malha de corpo inteiro ou apenas uma malha facial, dependendo do design do seu personagem.

2. Verifique os Morph Targets e as Curvas​

Antes de prosseguir, verifique se seu skeletal mesh possui morph targets adequados e curvas correspondentes para animação de lip sync.

Verifique os Morph Targets: Confirme se sua malha esquelética contém morph targets (blend shapes) que podem ser usados como visemas para animação de sincronia labial. A maioria dos personagens com suporte a animação facial deve ter alguns morph targets de fonemas/visemas.

Example of morph targets in a character

Importante: Verificar a Aba de Curvas Esta etapa é especialmente crucial para personagens exportados do Blender ou de outros softwares externos:

  1. Abra a guia Curvas no editor de Malha Esquelética
  2. Verifique se você consegue ver curvas correspondentes aos seus alvos de morfismo
  3. Se a guia Curvas estiver vazia, mas existirem alvos de morfismo, adicione manualmente novas curvas usando exatamente os mesmos nomes dos seus alvos de morfismo

Nota: Esse problema ocorre comumente em exportações do Blender, onde os alvos de morph são importados com sucesso, mas as curvas de animação não são criadas automaticamente. Sem curvas correspondentes, a animação não será preenchida corretamente após o bake para o Control Rig.

Solução Alternativa: Para evitar esse problema durante a exportação do Blender, tente ativar Propriedades Personalizadas e Animação nas configurações de exportação FBX, o que pode ajudar a incluir curvas de animação junto com os alvos de morfagem.

3. Crie uma Animação de Pose de Referência​

  1. Vá para Criar Ativo -> Criar Animação -> Pose de Referência
  2. Insira um nome descritivo para a sequência de animação e salve-a em um local apropriado
  3. A Sequência de Animação criada será aberta automaticamente, exibindo uma animação vazia sendo reproduzida em loop

Creating a reference pose asset Naming the reference pose asset

  1. Clique no botão Pause para interromper a reprodução da animação e facilitar a edição.

Pausing animation playback

4. Editar a Sequência de Animação​

  1. Clique em Edit in Sequencer -> Edit with FK Control Rig
  2. Na caixa de diálogo Bake to Control Rig, clique no botão Bake to Control Rig sem alterar nenhuma configuração

Editing with FK Control Rig Baking to Control Rig

  1. O editor mudará para o Modo de Animação com a aba Sequenciador aberta
  2. Defina o Tempo Final do Intervalo de Exibição para 0016 (o que definirá automaticamente o Fim do Intervalo de Trabalho também para 0016)
  3. Arraste a borda direita do controle deslizante para a extremidade direita da janela do sequenciador

5. Prepare as Curvas de Animação​

  1. Retorne ao ativo de Sequência de Animação e localize os alvos de morph na lista Curves (se não estiverem visíveis, feche e reabra o ativo de Sequência de Animação)
  2. Remova quaisquer alvos de morph que não estejam relacionados a visemas ou movimentos da boca que você deseja usar para sincronia labial

6. Planeje seu mapeamento de visemas​

Crie um plano de mapeamento para corresponder os visemas do seu personagem ao conjunto exigido pelo plugin. Por exemplo:

Sil -> Sil
PP -> FV
FF -> FV
TH -> TH
DD -> TD
KK -> KG
CH -> CH
SS -> SZ
NN -> NL
RR -> RR
AA -> AA
E -> E
IH -> IH
OH -> O
OU -> U

Observe que é aceitável ter mapeamentos repetidos quando o conjunto de visemas do seu personagem não tiver correspondências exatas para cada visema necessário.

7. Animar cada visema​

  1. Para cada visema, anime as curvas de morph target relevantes de 0,0 a 1,0
  2. Inicie cada animação de visema em um quadro diferente
  3. Configure curvas adicionais conforme necessário (abertura da mandíbula/boca, posição da língua, etc.) para criar formas de visema com aparência natural

8. Criar um Pose Asset​

  1. Vá em Create Asset -> Pose Asset -> Current Animation
  2. Insira um nome descritivo para o Pose Asset e salve-o em um local apropriado
  3. O Pose Asset criado será aberto automaticamente, mostrando poses como Pose_0, Pose_1, etc., cada uma correspondendo a um visema
  4. Visualize os pesos dos visemas para garantir que funcionem conforme o esperado

Creating a pose asset Naming the pose asset Pose asset with visemes

9. Finalize o Pose Asset​

  1. Renomeie cada pose para corresponder aos nomes dos visemas da seção Pré-requisitos
  2. Exclua quaisquer poses não utilizadas

Configurando o tratamento e a mistura de áudio​

Depois que seu pose asset estiver pronto, você precisa configurar os nós de manipulação de áudio e de mesclagem:

  1. Localize ou crie o Animation Blueprint do seu personagem
  2. Configure o tratamento e a mistura de áudio seguindo os mesmos passos documentados no guia de configuração padrão do plugin
  3. No nó Blend Runtime MetaHuman Lip Sync, selecione seu Pose Asset personalizado em vez do pose asset padrão do MetaHuman

Selecting the custom pose asset

Combinando com animações corporais​

Se você quiser realizar sincronia labial junto com outras animações corporais:

  1. Siga os mesmos passos documentados no guia padrão do plugin
  2. Certifique-se de fornecer os nomes corretos dos ossos para o esqueleto do pescoço do seu personagem, em vez de usar os nomes dos ossos do MetaHuman

Resultados​

Aqui estão exemplos de personagens personalizados usando esta configuração:

Example 1: Lip sync with custom character

Example 2: Lip sync with different viseme system

Example 3: Lip sync with different viseme system

A qualidade do lip sync depende em grande parte do personagem específico e de quão bem seus visemas estão configurados. Os exemplos acima demonstram o plugin funcionando com diferentes tipos de personagens personalizados com sistemas de visemas distintos.