Pular para o conteúdo principal

Como usar o plugin com personagens personalizados

Este guia orienta você através do processo de configuração do Runtime MetaHuman Lip Sync para personagens não-MetaHuman. Este processo requer familiaridade com conceitos de animação e rigging. Se precisar de ajuda para implementar isso em seu personagem específico, você pode solicitar suporte profissional em [email protected].

Pré-requisitos​

Antes de começar, certifique-se de que seu personagem atenda a estes requisitos:

  • Possui um esqueleto válido
  • Contém morph targets (blend shapes) para expressões faciais
  • Idealmente possui 10+ morph targets definindo visemas (mais visemas = melhor qualidade de lip sync)

O plugin requer o mapeamento dos morph targets do seu personagem para os seguintes visemas padrão:

Sil -> Silence
PP -> Bilabial plosives (p, b, m)
FF -> Labiodental fricatives (f, v)
TH -> Dental fricatives (th)
DD -> Alveolar plosives (t, d)
KK -> Velar plosives (k, g)
CH -> Postalveolar affricates (ch, j)
SS -> Sibilants (s, z)
NN -> Nasal (n)
RR -> Approximant (r)
AA -> Open vowel (aa)
E -> Mid vowel (e)
IH -> Close front vowel (ih)
OH -> Close-mid back vowel (oh)
OU -> Close back vowel (ou)

Observação: Se o seu personagem tiver um conjunto diferente de visemas (o que é provável), você não precisa de correspondências exatas para cada visema. Aproximações geralmente são suficientes—por exemplo, mapear o visema SH do seu personagem para o visema CH do plugin funcionaria efetivamente, já que são sons postalveolares próximos.

Referência de mapeamento de visemas​

Aqui estão os mapeamentos entre sistemas comuns de visemas e os visemas exigidos pelo plugin:

O ARKit fornece um conjunto abrangente de blendshapes para animação facial, incluindo várias formas de boca. Veja como mapeá-los para os visemas do RuntimeMetaHumanLipSync:

Visema RuntimeMetaHumanLipSyncEquivalente ARKitObservações
SilmouthCloseA posição neutra/repouso
PPmouthPressLeft + mouthPressRightPara sons bilabiais, use ambas as formas de pressão juntas
FFlowerLipBiteLeft + lowerLipBiteRightEstes criam o contato lábio-dente para "f/v"
THtongueOutO ARKit tem controle direto da língua
DDjawOpen (leve) + tongueUpCombine abertura leve da mandíbula com posição da língua
KKmouthLeft ou mouthRight (leve)Puxão sutil no canto da boca aproxima sons velares
CHjawOpen (leve) + mouthFunnel (leve)Combine para sons postalveolares
SSmouthFrownUse um leve franzir para sibilantes
NNjawOpen (muito leve) + mouthCloseBoca quase fechada com abertura leve da mandíbula
RRmouthPucker (leve)Arredondamento sutil para sons de "r"
AAjawOpen + mouthOpenCombinado para sons vocálicos abertos
EjawOpen (leve) + mouthSmilePosição medianamente aberta com leve sorriso
IHmouthSmile (leve)Leve afastamento dos lábios
OHmouthFunnelForma arredondada aberta
OUmouthPuckerLábios firmemente arredondados

Criando um Pose Asset customizado​

Siga esses passos para criar um pose asset customizado para seu personagem que será usado com o nó Blend Runtime MetaHuman Lip Sync:

1. Localize o Skeletal Mesh do seu personagem​

Encontre o skeletal mesh que contém os morph targets (blend shapes) que você quer usar para animação de lip sync. Pode ser um mesh de corpo inteiro ou apenas de rosto, dependendo do design do seu personagem.

2. Verifique os Morph Targets disponíveis​

Certifique-se que seu skeletal mesh tem morph targets apropriados que podem ser usados como visemas para animação de lip sync. A maioria dos personagens com suporte a animação facial deve ter alguns morph targets de fonemas/visemas.

Exemplo de morph targets em um personagem

3. Crie uma Animation Sequence de Pose de Referência​

  1. Vá para Create Asset -> Create Animation -> Reference Pose
  2. Insira um nome descritivo para a sequência de animação e salve em um local apropriado
  3. A Animation Sequence criada abrirá automaticamente, mostrando uma animação vazia em loop

Criando um asset de pose de referência Nomeando o asset de pose de referência

  1. Clique no botão Pause para parar a reprodução da animação para facilitar a edição

Pausando a reprodução da animação

4. Edite a Animation Sequence​

  1. Clique em Edit in Sequencer -> Edit with FK Control Rig
  2. No diálogo Bake to Control Rig, clique no botão Bake to Control Rig sem alterar nenhuma configuração

Editando com FK Control Rig Assando para Control Rig

  1. O editor mudará para Animation Mode com a aba Sequencer aberta
  2. Defina o View Range End Time para 0016 (o que automaticamente definirá Working Range End para 0016 também)
  3. Arraste a borda direita do slider para o final da janela do sequenciador

5. Preparar as Curvas de Animação​

  1. Volte para o asset de Animation Sequence e localize os morph targets na lista Curves (se não estiverem visíveis, feche e reabra o asset de Animation Sequence)
  2. Remova quaisquer morph targets que não estejam relacionados a visemas ou movimentos da boca que você deseja usar para a sincronização labial (Lip Sync)

6. Planeje seu mapeamento de visemas​

Crie um plano de mapeamento para corresponder os visemas do seu personagem ao conjunto exigido pelo plugin. Por exemplo:

Sil -> Sil
PP -> FV
FF -> FV
TH -> TH
DD -> TD
KK -> KG
CH -> CH
SS -> SZ
NN -> NL
RR -> RR
AA -> AA
E -> E
IH -> IH
OH -> O
OU -> U

Observação: é aceitável ter mapeamentos repetidos quando o conjunto de visemas do seu personagem não tem correspondências exatas para todos os visemas necessários.

7. Animar cada visema​

  1. Para cada visema, anime as curvas de morph target relevantes de 0.0 a 1.0
  2. Inicie cada animação de visema em um frame diferente
  3. Configure curvas adicionais conforme necessário (abertura de mandíbula/boca, posição da língua, etc.) para criar formas de visemas naturais

8. Criar um Pose Asset​

  1. Vá para Create Asset -> Pose Asset -> Current Animation
  2. Insira um nome descritivo para o Pose Asset e salve-o em um local apropriado
  3. O Pose Asset criado será aberto automaticamente, mostrando poses como Pose_0, Pose_1, etc., cada uma correspondendo a um visema
  4. Visualize os pesos dos visemas para garantir que funcionem conforme o esperado

Criando um pose asset Nomeando o pose asset Pose asset com visemas

9. Finalizar o Pose Asset​

  1. Renomeie cada pose para corresponder aos nomes dos visemas da seção Prerequisites
  2. Exclua quaisquer poses não utilizadas

Configurando o tratamento de áudio e blending​

Quando seu Pose Asset estiver pronto, você precisa configurar os nós de tratamento de áudio e blending:

  1. Localize ou crie o Animation Blueprint do seu personagem
  2. Configure o tratamento de áudio e blending seguindo os mesmos passos documentados no guia de configuração padrão do plugin
  3. No nó Blend Runtime MetaHuman Lip Sync, selecione seu Pose Asset personalizado em vez do Pose Asset padrão do MetaHuman

Selecionando o pose asset personalizado

Combinando com animações corporais​

Se desejar executar lip sync junto com outras animações corporais:

  1. Siga os mesmos passos documentados no guia padrão do plugin
  2. Certifique-se de fornecer os nomes corretos dos ossos do pescoço do esqueleto do seu personagem, em vez de usar os nomes dos ossos do MetaHuman

Resultados​

Aqui estão exemplos de personagens personalizados usando esta configuração:

Exemplo 1: Lip sync com personagem personalizado

Exemplo 2: Lip sync com sistema de visemas diferente

Exemplo 3: Lip sync com sistema de visemas diferente

A qualidade do lip sync depende muito do personagem específico e de quão bem seus visemas estão configurados. Os exemplos acima demonstram o plugin funcionando com diferentes tipos de personagens personalizados com sistemas de visemas distintos.