Guia de Configuração

Este guia orienta você pelo processo básico de configuração do Runtime MetaHuman Lip Sync com seus personagens MetaHuman.

Nota: O Runtime MetaHuman Lip Sync funciona tanto com MetaHumans quanto com personagens personalizados. Para instruções detalhadas sobre como configurar personagens personalizados, consulte o Guia de Configuração de Personagem Personalizado.

Pré-requisitos

Antes de começar, certifique-se de que:

1. Requisitos do Plugin MetaHuman:

   • UE 5.5 e anteriores: Habilite o plugin MetaHuman em seu projeto
   • UE 5.6 e posteriores: Habilite o plugin MetaHuman Core Tech em seu projeto
   Plugins Adicionais do MetaHuman

   Dependendo de como você cria seus personagens MetaHuman, pode ser necessário plugins adicionais. Por exemplo, se você pretende criar um MetaHuman com o novo sistema MetaHuman Creator introduzido no UE 5.6, também precisará habilitar o plugin MetaHuman Creator. Para mais informações sobre este sistema, consulte a documentação do MetaHuman Creator.

2. Você tem pelo menos um personagem MetaHuman baixado e disponível em seu projeto

3. O plugin Runtime MetaHuman Lip Sync está instalado

Plugin de Extensão do Modelo Padrão

Se você planeja usar o Modelo Padrão, precisará instalar o plugin de extensão:

1. Baixe o Standard Lip Sync Extension plugin aqui
2. Extraia a pasta do arquivo baixado para a pasta Plugins do seu projeto (crie esta pasta se ela não existir)
3. Certifique-se de que seu projeto está configurado como um projeto C++ (mesmo que você não tenha nenhum código C++)
4. Recompile seu projeto

nota

• Esta extensão é necessária apenas se você quiser usar o Modelo Padrão. Se você só precisa dos Modelos Realistas, pode pular esta etapa.
• Para mais informações sobre como compilar plugins manualmente, consulte o tutorial Construindo Plugins

Plugins Adicionais

• Se você planeja usar captura de áudio (ex.: entrada de microfone), instale o plugin Runtime Audio Importer.
• Se você planeja usar funcionalidade de texto-para-voz:
  • Para TTS local (Modelo Padrão e Modelo Realista com Humor), instale o plugin Runtime Text To Speech.
  • Para provedores de TTS externos (ElevenLabs, OpenAI, Google Cloud, Azure), instale o plugin Runtime AI Chatbot Integrator.

Configuração do Animation Blueprint

Etapa 1: Localize e modifique o Blueprint de animação facial

UE 5.5 e Anteriores (ou MetaHumans Legados no UE 5.6+)

Você precisa modificar um Animation Blueprint que será usado para as animações faciais do seu personagem MetaHuman. O Animation Blueprint facial padrão do MetaHuman está localizado em:

Content/MetaHumans/Common/Face/Face_AnimBP

Você tem várias opções para implementar a funcionalidade de sincronização labial:

Editar Ativo Padrão (Opção Mais Simples)

Abra o Face_AnimBP padrão diretamente e faça suas modificações. Quaisquer alterações afetarão todos os personagens MetaHuman que usam este Animation Blueprint.

Nota: Esta abordagem é conveniente, mas afetará todos os personagens que usam o Animation Blueprint padrão.

Criar Duplicata

1. Duplique o Face_AnimBP e dê a ele um nome descritivo
2. Localize a classe Blueprint do seu personagem (por exemplo, para o personagem "Bryan", estaria em Content/MetaHumans/Bryan/BP_Bryan)
3. Abra o Blueprint do personagem e encontre o componente Face
4. Altere a propriedade Anim Class para o seu novo Animation Blueprint duplicado

Nota: Esta abordagem permite que você personalize a sincronização labial para personagens específicos, deixando os outros inalterados.

Usar Animation Blueprint Personalizado

Você pode implementar a mesclagem de sincronização labial em qualquer Animation Blueprint que tenha acesso aos ossos faciais necessários:

1. Crie ou use um Animation Blueprint personalizado existente
2. Certifique-se de que seu Animation Blueprint funcione com um esqueleto que contenha os mesmos ossos faciais do Face_Archetype_Skeleton padrão do MetaHuman

Nota: Esta abordagem oferece a máxima flexibilidade para integração com sistemas de animação personalizados.

Personagens do MetaHuman Creator UE 5.6+

A partir do UE 5.6, o novo sistema MetaHuman Creator foi introduzido. Para esses personagens, o plugin fornece um Animation Blueprint facial localizado em:

Content/LipSyncData/LipSync_Face_AnimBP

Importante

Este Animation Blueprint está localizado na pasta de conteúdo do plugin e será substituído a cada atualização do plugin. Para evitar perder suas personalizações:

1. Copie este ativo para a pasta Content do seu projeto (por exemplo, para YourProject/Content/MetaHumans/LipSync_Face_AnimBP)
2. Use sua versão copiada na configuração do seu personagem
3. Faça todas as suas modificações na versão copiada

Usando o Animation Blueprint de Rosto do Plugin:

1. Localize a classe Blueprint do seu personagem do MetaHuman Creator
2. Abra o Blueprint do personagem e encontre o componente Face
3. Altere a propriedade Anim Class para o LipSync_Face_AnimBP do plugin
4. Continue com os próximos passos para configurar a funcionalidade Runtime MetaHuman Lip Sync

Passo 2: Configuração do Event Graph

Abra seu Face Animation Blueprint e mude para o Event Graph. Você precisará criar um gerador que processará dados de áudio e gerará animação de sincronização labial.

Modelo Padrão

1. Adicione o nó Event Blueprint Begin Play se ele ainda não existir
2. Adicione o nó Create Runtime Viseme Generator e conecte-o ao evento Begin Play
3. Salve a saída como uma variável (ex: "VisemeGenerator") para uso em outras partes do grafo

Para opções de configuração detalhadas, consulte a seção Configuração do Modelo Padrão.

Modelo Realista

1. Adicione o nó Event Blueprint Begin Play se ele ainda não existir
2. Adicione o nó Create Realistic MetaHuman Lip Sync Generator e conecte-o ao evento Begin Play
3. Salve a saída como uma variável (ex: "RealisticMetaHumanLipSyncGenerator") para uso em outras partes do grafo
4. (Opcional) Configure as definições do gerador usando o parâmetro Configuration

Para opções de configuração detalhadas incluindo tipos de modelo, configurações de desempenho e parâmetros de processamento, consulte a seção Configuração do Modelo Realista.

Modelo Realista com Humor

1. Adicione o nó Event Blueprint Begin Play se ele ainda não existir
2. Adicione o nó Create Realistic MetaHuman Lip Sync With Mood Generator e conecte-o ao evento Begin Play
3. Salve a saída como uma variável (ex: "MoodMetaHumanLipSyncGenerator") para uso em outras partes do grafo
4. (Opcional) Configure as definições do gerador usando o parâmetro Configuration

Para configuração detalhada de humor incluindo tipos de humor, configurações de intensidade, temporização de antecipação e seleção de tipo de saída, consulte a seção Configuração do Modelo com Humor.

Passo 3: Configuração do Anim Graph

Após configurar o Event Graph, mude para o Anim Graph para conectar o gerador à animação do personagem:

Modelo Padrão

1. Localize a pose que contém o rosto do MetaHuman (tipicamente de Use cached pose 'Body Pose')
2. Adicione o nó Blend Runtime MetaHuman Lip Sync
3. Conecte a pose ao Source Pose do nó Blend Runtime MetaHuman Lip Sync
4. Conecte sua variável VisemeGenerator ao pino Viseme Generator
5. Conecte a saída do nó Blend Runtime MetaHuman Lip Sync ao pino Result do Output Pose

Modelo Realista

1. Localize a pose que contém o rosto do MetaHuman (tipicamente de Use cached pose 'Body Pose')
2. Adicione o nó Blend Realistic MetaHuman Lip Sync
3. Conecte a pose ao Source Pose do nó Blend Realistic MetaHuman Lip Sync
4. Conecte sua variável RealisticMetaHumanLipSyncGenerator ao pino Lip Sync Generator
5. Conecte a saída do nó Blend Realistic MetaHuman Lip Sync ao pino Result do Output Pose

Modelo Realista com Humor

1. Localize a pose que contém o rosto do MetaHuman (tipicamente de Use cached pose 'Body Pose')
2. Adicione o nó Blend Realistic MetaHuman Lip Sync (mesmo nó do modelo realista regular)
3. Conecte a pose ao Source Pose do nó Blend Realistic MetaHuman Lip Sync
4. Conecte sua variável MoodMetaHumanLipSyncGenerator ao pino Lip Sync Generator
5. Conecte a saída do nó Blend Realistic MetaHuman Lip Sync ao pino Result do Output Pose

Nota: O modelo com humor usa o mesmo nó de Animation Blueprint que o modelo realista regular. A funcionalidade de humor é tratada internamente pelo gerador.

Próximos Passos

Agora que você completou a configuração básica do Animation Blueprint, precisará configurar o processamento de entrada de áudio para alimentar dados de áudio ao seu gerador de sincronização labial.

Continue para o Guia de Processamento de Áudio para aprender como configurar diferentes métodos de entrada de áudio incluindo captura de microfone, texto-para-fala e processamento de arquivos de áudio.

Para opções de configuração avançada e ajustes finos, consulte o Guia de Configuração.