Pular para o conteúdo principal

Como usar o plugin com personagens personalizados

Este guia orienta você pelo processo de configuração do Runtime MetaHuman Lip Sync para personagens não-MetaHuman. Este processo exige familiaridade com conceitos de animação e rigging. Se precisar de assistência para implementar isso no seu personagem específico, você pode entrar em contato para suporte profissional em [email protected].

Nota importante sobre modelos de sincronização labial​

Compatibilidade com Personagens Personalizados

Este guia aborda personagens personalizados que não usam as convenções de nomenclatura de alvos de morph do MetaHuman ou do ARKit.

O modelo Realistic (Qualidade Superior) funciona com personagens cujos morph targets seguem o padrão de nomenclatura MetaHuman ou ARKit, configurável por meio de Seleção de Conjunto de Morph Targets. Se o seu personagem já usa (ou pode ser exportado/convertido para usar) nomes de blendshapes no padrão ARKit, você pode usar o modelo Realistic sem seguir o processo de mapeamento manual deste guia. Consulte Convertendo Personagens para Blendshapes ARKit para personagens comuns como CC4/CC5 e Daz Genesis.

Se o seu personagem usa um conjunto de morph targets diferente (ex.: Daz Genesis, Reallusion CC3/CC4/CC5, Mixamo ou um rig personalizado simplificado), o modelo Standard (Faster) é a opção suportada, seguindo os passos abaixo.

Plugin de Extensão Necessário: Para usar o Standard Model com personagens personalizados, você deve instalar o plugin Standard Lip Sync Extension conforme descrito na seção Pré-requisitos do guia de configuração principal.

Esta extensão é necessária para todas as implementações de personagens personalizados descritas neste guia.

Pré-requisitos​

Antes de começar, certifique-se de que seu personagem atenda a estes requisitos:

  • Possui um esqueleto válido
  • Contém morph targets (blend shapes) para expressões faciais
  • Idealmente, possui 10+ morph targets definindo visemes (mais visemes = melhor qualidade de lip sync)

O plugin exige o mapeamento dos alvos de morph do seu personagem para os seguintes visemas padrão:

Sil -> Silence
PP -> Bilabial plosives (p, b, m)
FF -> Labiodental fricatives (f, v)
TH -> Dental fricatives (th)
DD -> Alveolar plosives (t, d)
KK -> Velar plosives (k, g)
CH -> Postalveolar affricates (ch, j)
SS -> Sibilants (s, z)
NN -> Nasal (n)
RR -> Approximant (r)
AA -> Open vowel (aa)
E -> Mid vowel (e)
IH -> Close front vowel (ih)
OH -> Close-mid back vowel (oh)
OU -> Close back vowel (ou)

Nota: Se o seu personagem tiver um conjunto diferente de visemas (o que é provável), você não precisa de correspondências exatas para cada visema. Aproximações geralmente são suficientes — por exemplo, mapear o visema SH do seu personagem para o visema CH do plugin funcionaria bem, pois são sons pós-alveolares intimamente relacionados.

Referência de mapeamento de visemas​

Aqui estão os mapeamentos entre os sistemas de visemas comuns e os visemas exigidos pelo plugin:

O ARKit fornece um conjunto abrangente de formas de mesclagem para animação facial, incluindo várias formas de boca. Veja como mapeá-las nos visemas do RuntimeMetaHumanLipSync:

RuntimeMetaHumanLipSync VisemaEquivalente ao ARKitNotas
SilmouthCloseA posição neutra/em repouso
PPmouthPressLeft + mouthPressRightPara sons bilabiais, use os dois formatos de pressão juntos.
FFlowerLipBiteLeft + lowerLipBiteRight (ou mouthRollLower)O lábio inferior toca os dentes superiores, como nos sons "f" e "v".
THtongueOutO ARKit possui controle direto da língua.
DDjawOpen (mild) + tongueUp (if you have tongue rig)A língua toca a crista alveolar; leve queda da mandíbula.
KKmouthLeft or mouthRight (mild)O sutil puxão no canto da boca aproxima os sons velares.
CHjawOpen (mild) + mouthFunnel (mild)Combine para sons pós-alveolares.
SSmouthFrownUse uma leve carranca para sibilantes.
NNjawOpen (very mild) + mouthCloseBoca quase fechada com leve abertura da mandíbula
RRmouthPucker (mild)Arredondamento sutil para sons de R
AAjawOpen + mouthStretchLeft + mouthStretchRight (or jawOpen + mouthOpen)Boca bem aberta para o som 'ah'
EjawOpen (mild) + mouthSmilePosição semiaberta com leve sorriso
IHmouthSmile (mild)Leve esticamento dos lábios
OHmouthFunnelForma aberta arredondada
OUmouthPuckerLábios firmemente arredondados

Criando um Pose Asset personalizado​

Siga estas etapas para criar um asset de pose personalizado para o seu personagem, que será usado com o nó Blend Runtime MetaHuman Lip Sync:

1. Localize a Malha Esquelética do seu personagem​

2. Verifique os Morph Targets e as Curvas.​

Antes de prosseguir, verifique se a sua malha esquelética possui morph targets apropriados e curvas correspondentes para a animação de lip sync.

Verifique os Morph Targets: Confirme se a sua malha esquelética contém morph targets (blend shapes) que podem ser usados como visemas para animação de lip sync. A maioria dos personagens com suporte a animação facial deve ter alguns morph targets de fonemas/visemas.

Example of morph targets in a character

Importante: Verificar a Aba de Curvas Esta etapa é especialmente crucial para personagens exportados do Blender ou de outro software externo:

  1. Abra a guia Curvas no editor de Skeletal Mesh
  2. Verifique se você consegue ver curvas correspondentes aos seus morph targets
  3. Se a guia Curvas estiver vazia mas houver morph targets, adicione manualmente novas curvas usando exatamente os mesmos nomes dos seus morph targets.

Nota: Este problema geralmente ocorre com exportações do Blender, em que os morph targets são importados com sucesso, mas as curvas de animação não são criadas automaticamente. Sem curvas correspondentes, a animação não será populada corretamente após o bake para o Control Rig.

Solução alternativa: Para evitar esse problema ao exportar do Blender, tente ativar Propriedades personalizadas e Animação nas configurações de exportação FBX, o que pode ajudar a incluir curvas de animação junto com os morph targets.

3. Crie uma animação de pose de referência​

  1. Vá para Criar Ativo -> Criar Animação -> Pose de Referência.
  2. Digite um nome descritivo para a sequência de animação e salve-a em um local apropriado.
  3. A sequência de animação criada será aberta automaticamente, mostrando uma animação vazia sendo reproduzida em loop.

Creating a reference pose asset Naming the reference pose asset

  1. Clique no botão Pause para interromper a reprodução da animação e facilitar a edição.

Pausing animation playback

4. Edite a Sequência de Animação​

  1. Clique em Edit in Sequencer -> Edit with FK Control Rig
  2. Na caixa de diálogo Bake to Control Rig, clique no botão Bake to Control Rig sem alterar nenhuma configuração.

Editing with FK Control Rig Baking to Control Rig

  1. O editor mudará para o Animation Mode com a aba Sequencer aberta
  2. Defina o View Range End Time para 0016 (o que também definirá automaticamente o Working Range End para 0016)
  3. Arraste a borda direita do controle deslizante até a extremidade direita da janela do Sequencer

5. Prepare as curvas de animação​

  1. Volte ao asset Animation Sequence e localize os morph targets na lista Curves (se eles não estiverem visíveis, feche e reabra o asset Animation Sequence)
  2. Remova todos os morph targets que não estejam relacionados a visemas ou movimentos da boca que você queira usar para lip sync.

6. Planeje seu mapeamento de visemas​

Crie um plano de mapeamento para corresponder aos visemas do seu personagem ao conjunto exigido pelo plugin. Por exemplo:

Sil -> Sil
PP -> FV
FF -> FV
TH -> TH
DD -> TD
KK -> KG
CH -> CH
SS -> SZ
NN -> NL
RR -> RR
AA -> AA
E -> E
IH -> IH
OH -> O
OU -> U

Note que é aceitável ter mapeamentos repetidos quando o conjunto de visemas do seu personagem não tiver correspondências exatas para cada visema necessário.

7. Anime cada visema​

  1. Para cada visema, anime as curvas de morph target relevantes de 0.0 a 1.0.
  2. Inicie cada animação de visema em um frame diferente.
  3. Configure curvas adicionais conforme necessário (abertura da mandíbula/boca, posição da língua, etc.) para criar formas de visema com aparência natural.

8. Crie um Pose Asset​

  2. Insira um nome descritivo para o Pose Asset e salve-o em um local apropriado.
  3. O Pose Asset criado abrirá automaticamente, mostrando poses como Pose_0, Pose_1, etc., cada uma correspondendo a um visema.
  4. Pré-visualize os pesos dos visemas para garantir que funcionem como esperado.

Creating a pose asset Naming the pose asset Pose asset with visemes

9. Finalize o Pose Asset​

  1. Renomeie cada pose para corresponder aos nomes dos visemas da seção Pré-requisitos
  2. Exclua quaisquer poses não utilizadas

Configurando o tratamento e a mixagem de áudio​

Assim que seu asset de pose estiver pronto, você precisará configurar os nós de tratamento de áudio e de mistura:

  1. Localize ou crie o Animation Blueprint do seu personagem
  2. Configure o tratamento de áudio e a mesclagem seguindo as mesmas etapas documentadas no guia de configuração padrão do plugin
  3. No nó Blend Runtime MetaHuman Lip Sync, selecione seu asset de pose personalizado em vez do asset de pose padrão do MetaHuman

Selecting the custom pose asset

Combinando com animações corporais​

Se você quiser realizar sincronização labial junto com outras animações corporais:

  1. Siga os mesmos passos documentados no guia padrão de plugin
  2. Certifique-se de fornecer os nomes corretos dos ossos para o esqueleto do pescoço do seu personagem, em vez de usar os nomes dos ossos do MetaHuman.

Resultados​

Aqui estão exemplos de personagens personalizados usando esta configuração:

Example 1: Lip sync with custom character

Example 2: Lip sync with different viseme system

Example 3: Lip sync with different viseme system

A qualidade da sincronização labial depende em grande parte do personagem específico e de quão bem seus visemas são configurados. Os exemplos acima demonstram o plugin funcionando com diferentes tipos de personagens personalizados com sistemas de visemas distintos.