Pular para o conteúdo principal

Como usar o plugin com personagens personalizados

Este guia orienta você pelo processo de configuração do Runtime MetaHuman Lip Sync para personagens que não são MetaHuman. Este processo requer familiaridade com conceitos de animação e rigging. Se precisar de assistência para implementar isso em seu personagem específico, você pode entrar em contato para obter suporte profissional em [email protected].

Nota importante sobre modelos de lip sync​

Compatibilidade com Personagens Personalizados

Este guia aborda personagens personalizados que não utilizam as convenções de nomenclatura de alvos de morph do MetaHuman ou ARKit.

O modelo Realista (Maior Qualidade) funciona com personagens cujos alvos de morfologia seguem o padrão de nomenclatura MetaHuman ou ARKit, configurável através de Seleção de Conjunto de Alvos de Morfologia. Se o seu personagem já utiliza (ou pode ser exportado/convertido para utilizar) nomes de blendshapes no padrão ARKit, você pode usar o modelo Realista sem seguir o processo de mapeamento manual deste guia.

Se o seu personagem usar um conjunto diferente de alvos de morph (ex.: Daz Genesis, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe ou um rig personalizado simplificado), o modelo Padrão (Mais Rápido) é a opção compatível, seguindo as etapas abaixo.

Plugin de Extensão Necessário: Para usar o Modelo Padrão com personagens personalizados, você deve instalar o plugin de Extensão de Sincronização Labial Padrão conforme descrito na seção de Pré-requisitos do guia de configuração principal.

Esta extensão é obrigatória para todas as implementações de personagens personalizados descritas neste guia.

Pré-requisitos​

Antes de começar, certifique-se de que seu personagem atenda a estes requisitos:

  • Possui um esqueleto válido
  • Contém alvos de morfose (formas de mesclagem) para expressões faciais
  • Idealmente possui 10 ou mais alvos de morfose definindo visemas (quanto mais visemas, melhor a qualidade da sincronização labial)

O plugin requer o mapeamento dos alvos de morfologia do seu personagem para os seguintes visemas padrão:

Sil -> Silence
PP -> Bilabial plosives (p, b, m)
FF -> Labiodental fricatives (f, v)
TH -> Dental fricatives (th)
DD -> Alveolar plosives (t, d)
KK -> Velar plosives (k, g)
CH -> Postalveolar affricates (ch, j)
SS -> Sibilants (s, z)
NN -> Nasal (n)
RR -> Approximant (r)
AA -> Open vowel (aa)
E -> Mid vowel (e)
IH -> Close front vowel (ih)
OH -> Close-mid back vowel (oh)
OU -> Close back vowel (ou)

Nota: Se seu personagem tiver um conjunto diferente de visemas (o que é provável), você não precisa de correspondências exatas para cada visema. Aproximações geralmente são suficientes — por exemplo, mapear o visema SH do seu personagem para o visema CH do plugin funcionaria de forma eficaz, já que são sons pós-alveolares intimamente relacionados.

Referência de mapeamento de visemas​

Aqui estão os mapeamentos entre sistemas comuns de visemas e os visemas exigidos pelo plugin:

O ARKit fornece um conjunto abrangente de blendshapes para animação facial, incluindo vários formatos de boca. Veja como mapeá-los para os visemes do RuntimeMetaHumanLipSync:

RuntimeMetaHumanLipSync VisemeEquivalente ao ARKitNotas
SilmouthCloseA posição neutra/em repouso
PPmouthPressLeft + mouthPressRightPara sons bilabiais, use ambas as formas de pressão juntas.
FFlowerLipBiteLeft + lowerLipBiteRight (ou mouthRollLower)Lábio inferior toca os dentes superiores, como nos sons de "f" e "v".
THtongueOutO ARKit tem controle direto da língua.
DDjawOpen (mild) + tongueUp (if you have tongue rig)Língua toca a crista alveolar; leve queda da mandíbula
KKmouthLeft or mouthRight (mild)Puxão sutil no canto da boca aproxima sons velares
CHjawOpen (mild) + mouthFunnel (mild)Combine para sons pós-alveolares
SSmouthFrownUse uma leve franzida para sibilantes
NNjawOpen (very mild) + mouthCloseBoca quase fechada com leve abertura de mandíbula
RRmouthPucker (mild)Arredondamento sutil para sons de "r"
AAjawOpen + mouthStretchLeft + mouthStretchRight (ou jawOpen + mouthOpen)Boca bem aberta para o som "ah"
EjawOpen (mild) + mouthSmilePosição semiaberta com leve sorriso
IHmouthSmile (mild)Leve abertura dos lábios
OHmouthFunnelForma aberta arredondada
OUmouthPuckerLábios bem arredondados

Criando um Pose Asset personalizado​

Siga estas etapas para criar um ativo de pose personalizado para seu personagem, que será usado com o nó Blend Runtime MetaHuman Lip Sync:

1. Localize a Malha Esquelética do seu personagem​

Encontre a malha esquelética que contém os alvos de morfagem (blend shapes) que você deseja usar para a animação de sincronia labial. Pode ser uma malha de corpo inteiro ou apenas uma malha facial, dependendo do design do seu personagem.

2. Verifique os Morph Targets e as Curvas​

Antes de prosseguir, verifique se seu skeletal mesh possui morph targets adequados e curvas correspondentes para a animação de lip sync.

Verifique os Morph Targets: Confirme que sua malha esquelética contém morph targets (blend shapes) que podem ser usados como visemas para animação de sincronia labial. A maioria dos personagens com suporte a animação facial deve ter alguns morph targets de fonemas/visemas.

Example of morph targets in a character

Importante: Verifique a Aba de Curvas Esta etapa é especialmente crucial para personagens exportados do Blender ou de outros softwares externos:

  1. Abra a guia Curvas no editor de Malha Esquelética
  2. Verifique se você consegue ver curvas correspondentes aos seus alvos de morfismo
  3. Se a guia Curvas estiver vazia, mas os alvos de morfismo existirem, adicione manualmente novas curvas usando exatamente os mesmos nomes dos seus alvos de morfismo

Nota: Esse problema ocorre comumente em exportações do Blender, onde os alvos de morph são importados com sucesso, mas as curvas de animação não são criadas automaticamente. Sem curvas correspondentes, a animação não será preenchida corretamente após o bake para o Control Rig.

Solução Alternativa: Para evitar esse problema durante a exportação do Blender, tente ativar Propriedades Personalizadas e Animação nas configurações de exportação FBX, o que pode ajudar a incluir curvas de animação junto com os alvos de morfismo.

3. Crie uma Animação de Pose de Referência​

  1. Vá para Criar Ativo -> Criar Animação -> Pose de Referência
  2. Insira um nome descritivo para a sequência de animação e salve-a em um local apropriado
  3. A Sequência de Animação criada será aberta automaticamente, exibindo uma animação vazia sendo reproduzida em loop

Creating a reference pose asset Naming the reference pose asset

  1. Clique no botão Pause para interromper a reprodução da animação e facilitar a edição.

Pausing animation playback

4. Edite a Sequência de Animação​

  1. Clique em Edit in Sequencer -> Edit with FK Control Rig
  2. Na janela Bake to Control Rig, clique no botão Bake to Control Rig sem alterar nenhuma configuração

Editing with FK Control Rig Baking to Control Rig

  1. O editor mudará para o Modo de Animação com a aba Sequenciador aberta
  2. Defina o Tempo Final do Intervalo de Exibição para 0016 (o que definirá automaticamente o Final do Intervalo de Trabalho para 0016 também)
  3. Arraste a borda direita do controle deslizante para a extremidade direita da janela do sequenciador

5. Prepare as Curvas de Animação​

  1. Volte ao ativo de Sequência de Animação e localize os alvos de morph na lista Curves (se não estiverem visíveis, feche e reabra o ativo de Sequência de Animação)
  2. Remova quaisquer alvos de morph que não estejam relacionados a visemas ou movimentos de boca que você deseja usar para sincronia labial

6. Planeje seu mapeamento de visemas​

Crie um plano de mapeamento para corresponder os visemas do seu personagem ao conjunto exigido pelo plugin. Por exemplo:

Sil -> Sil
PP -> FV
FF -> FV
TH -> TH
DD -> TD
KK -> KG
CH -> CH
SS -> SZ
NN -> NL
RR -> RR
AA -> AA
E -> E
IH -> IH
OH -> O
OU -> U

Observe que é aceitável ter mapeamentos repetidos quando o conjunto de visemas do seu personagem não tiver correspondências exatas para cada visema necessário.

7. Animar cada visema​

  1. Para cada visema, anime as curvas do morph target relevante de 0,0 a 1,0
  2. Inicie cada animação de visema em um quadro diferente
  3. Configure curvas adicionais conforme necessário (abertura da mandíbula/boca, posição da língua, etc.) para criar formas de visema com aparência natural

8. Crie um Pose Asset​

  1. Vá em Criar Ativo -> Ativo de Pose -> Animação Atual
  2. Insira um nome descritivo para o Ativo de Pose e salve-o em um local apropriado
  3. O Ativo de Pose criado será aberto automaticamente, exibindo poses como Pose_0, Pose_1, etc., cada uma correspondendo a um visema
  4. Visualize os pesos dos visemas para garantir que funcionem conforme o esperado

Creating a pose asset Naming the pose asset Pose asset with visemes

9. Finalize o Pose Asset​

  1. Renomeie cada pose para corresponder aos nomes dos visemas da seção Pré-requisitos
  2. Exclua quaisquer poses não utilizadas

Configurando o tratamento e a mistura de áudio​

Quando seu ativo de pose estiver pronto, você precisa configurar os nós de manipulação e mesclagem de áudio:

  1. Localize ou crie o Animation Blueprint do seu personagem
  2. Configure o tratamento e a mistura de áudio seguindo os mesmos passos documentados no guia de configuração padrão do plugin
  3. No nó Blend Runtime MetaHuman Lip Sync, selecione seu Pose Asset personalizado em vez do pose asset padrão do MetaHuman

Selecting the custom pose asset

Combinando com animações corporais​

Se você quiser realizar sincronização labial junto com outras animações corporais:

  1. Siga os mesmos passos documentados no guia padrão do plugin
  2. Certifique-se de fornecer os nomes corretos dos ossos para o esqueleto do pescoço do seu personagem, em vez de usar os nomes de ossos do MetaHuman

Resultados​

Aqui estão exemplos de personagens personalizados usando esta configuração:

Example 1: Lip sync with custom character

Example 2: Lip sync with different viseme system

Example 3: Lip sync with different viseme system

A qualidade da sincronização labial depende em grande parte do personagem específico e de quão bem seus visemas estão configurados. Os exemplos acima demonstram o plugin funcionando com diferentes tipos de personagens personalizados com sistemas de visemas distintos.