Guia de Configuração

Este guia orienta você através do processo básico de configuração do Runtime MetaHuman Lip Sync com seus personagens MetaHuman.

Nota: O Runtime MetaHuman Lip Sync funciona tanto com MetaHuman quanto com personagens personalizados. Para instruções detalhadas sobre como configurar personagens personalizados, consulte o Guia de Configuração de Personagem Personalizado.

Pré-requisitos

Antes de começar, certifique-se de:

1. Requisitos do Plugin MetaHuman:

   • UE 5.5 e anteriores: Habilite o plugin MetaHuman em seu projeto
   • UE 5.6 e posteriores: Habilite o plugin MetaHuman Core Tech em seu projeto
   Plugins MetaHuman Adicionais

   Dependendo de como você cria seus personagens MetaHuman, você pode precisar de plugins adicionais. Por exemplo, se você pretende criar um MetaHuman com o novo sistema MetaHuman Creator introduzido no UE 5.6, você também precisará habilitar o plugin MetaHuman Creator. Para mais informações sobre este sistema, consulte a documentação do MetaHuman Creator.

2. Você tem pelo menos um personagem MetaHuman baixado e disponível em seu projeto

3. O plugin Runtime MetaHuman Lip Sync está instalado

Plugin de Extensão do Modelo Padrão

Se você planeja usar o Modelo Padrão, você precisará instalar o plugin de extensão:

1. Baixe o Standard Lip Sync Extension plugin do Google Drive
2. Extraia a pasta do arquivo baixado para a pasta Plugins do seu projeto (crie esta pasta se ela não existir)
3. Certifique-se de que seu projeto está configurado como um projeto C++ (mesmo que você não tenha nenhum código C++)
4. Recompile seu projeto

nota

• Esta extensão é necessária apenas se você quiser usar o Modelo Padrão. Se você só precisa dos Modelos Realistas, você pode pular esta etapa.
• Para mais informações sobre como compilar plugins manualmente, consulte o tutorial Construindo Plugins

Plugins Adicionais

• Se você planeja usar captura de áudio (ex.: entrada de microfone), instale o plugin Runtime Audio Importer.
• Se você planeja usar a funcionalidade de texto para fala:
  • Para TTS local (Modelo Padrão e Modelo Realista com Humor), instale o plugin Runtime Text To Speech.
  • Para provedores de TTS externos (ElevenLabs, OpenAI, Google Cloud, Azure), instale o plugin Runtime AI Chatbot Integrator.

Configuração do Animation Blueprint

Passo 1: Localize e modifique o Blueprint de animação facial

UE 5.5 e Anteriores (ou MetaHumans Legado no UE 5.6+)

Você precisa modificar um Animation Blueprint que será usado para as animações faciais do seu personagem MetaHuman. O Animation Blueprint facial padrão do MetaHuman está localizado em:

Content/MetaHumans/Common/Face/Face_AnimBP

Você tem várias opções para implementar a funcionalidade de sincronização labial:

Editar Ativo Padrão (Opção Mais Simples)

Abra o Face_AnimBP padrão diretamente e faça suas modificações. Quaisquer alterações afetarão todos os personagens MetaHuman usando este Animation Blueprint.

Observação: Esta abordagem é conveniente, mas impactará todos os personagens usando o Animation Blueprint padrão.

Criar Duplicata

1. Duplique o Face_AnimBP e dê um nome descritivo
2. Localize a classe Blueprint do seu personagem (por exemplo, para o personagem "Bryan", estaria em Content/MetaHumans/Bryan/BP_Bryan)
3. Abra o Blueprint do personagem e encontre o componente Face
4. Altere a propriedade Anim Class para seu Animation Blueprint recém-duplicado

Observação: Esta abordagem permite personalizar a sincronização labial para personagens específicos enquanto deixa outros inalterados.

Usar Animation Blueprint Personalizado

Você pode implementar a mesclagem de sincronização labial em qualquer Animation Blueprint que tenha acesso aos ossos faciais necessários:

1. Crie ou use um Animation Blueprint personalizado existente
2. Certifique-se de que seu Animation Blueprint funciona com um esqueleto que contém os mesmos ossos faciais do Face_Archetype_Skeleton padrão do MetaHuman

Observação: Esta abordagem oferece máxima flexibilidade para integração com sistemas de animação personalizados.

Personagens MetaHuman Creator UE 5.6+

A partir do UE 5.6, o novo sistema MetaHuman Creator foi introduzido. Para estes personagens, o plugin fornece um Animation Blueprint facial localizado em:

Content/LipSyncData/LipSync_Face_AnimBP

Importante

Este Animation Blueprint está localizado na pasta de conteúdo do plugin e será substituído a cada atualização do plugin. Para evitar perder suas personalizações:

1. Copie este ativo para a pasta Content do seu projeto (por exemplo, para YourProject/Content/MetaHumans/LipSync_Face_AnimBP)
2. Use sua versão copiada na configuração do seu personagem
3. Faça todas as suas modificações na versão copiada

Usando o Face Animation Blueprint do Plugin:

1. Localize a classe Blueprint do seu personagem do MetaHuman Creator
2. Abra o Blueprint do personagem e encontre o componente Face
3. Altere a propriedade Anim Class para o LipSync_Face_AnimBP do plugin
4. Continue com os próximos passos para configurar a funcionalidade Runtime MetaHuman Lip Sync

Passo 2: Configuração do Event Graph

Abra seu Face Animation Blueprint e mude para o Event Graph. Você precisará criar um gerador que processará dados de áudio e gerará animação de sincronização labial.

Modelo Padrão

1. Adicione o nó Event Blueprint Begin Play se ele não existir ainda
2. Adicione o nó Create Runtime Viseme Generator e conecte-o ao evento Begin Play
3. Salve a saída como uma variável (ex: "VisemeGenerator") para uso em outras partes do grafo

Para opções de configuração detalhadas, consulte a seção Configuração do Modelo Padrão.

Modelo Realista

1. Adicione o nó Event Blueprint Begin Play se ele não existir ainda
2. Adicione o nó Create Realistic MetaHuman Lip Sync Generator e conecte-o ao evento Begin Play
3. Salve a saída como uma variável (ex: "RealisticMetaHumanLipSyncGenerator") para uso em outras partes do grafo
4. (Opcional) Configure as definições do gerador usando o parâmetro Configuration

Para opções de configuração detalhadas incluindo tipos de modelo, configurações de desempenho e parâmetros de processamento, consulte a seção Configuração do Modelo Realista.

Modelo Realista com Humor

1. Adicione o nó Event Blueprint Begin Play se ele não existir ainda
2. Adicione o nó Create Realistic MetaHuman Lip Sync With Mood Generator e conecte-o ao evento Begin Play
3. Salve a saída como uma variável (ex: "MoodMetaHumanLipSyncGenerator") para uso em outras partes do grafo
4. (Opcional) Configure as definições do gerador usando o parâmetro Configuration

Para configuração de humor detalhada incluindo tipos de humor, configurações de intensidade, temporização de antecipação e seleção de tipo de saída, consulte a seção Configuração do Modelo Habilitado para Humor.

Etapa 3: Configuração do Anim Graph

Após configurar o Event Graph, mude para o Anim Graph para conectar o gerador à animação do personagem:

Modelo Padrão

1. Localize a pose que contém o rosto do MetaHuman (normalmente de Use cached pose 'Body Pose')
2. Adicione o nó Blend Runtime MetaHuman Lip Sync
3. Conecte a pose ao Source Pose do nó Blend Runtime MetaHuman Lip Sync
4. Conecte sua variável VisemeGenerator ao pino Viseme Generator
5. Conecte a saída do nó Blend Runtime MetaHuman Lip Sync ao pino Result do Output Pose

Modelo Realista

1. Localize a pose que contém o rosto do MetaHuman (normalmente de Use cached pose 'Body Pose')
2. Adicione o nó Blend Realistic MetaHuman Lip Sync
3. Conecte a pose ao Source Pose do nó Blend Realistic MetaHuman Lip Sync
4. Conecte sua variável RealisticMetaHumanLipSyncGenerator ao pino Lip Sync Generator
5. Conecte a saída do nó Blend Realistic MetaHuman Lip Sync ao pino Result do Output Pose

Modelo Realista Habilitado para Humor

1. Localize a pose que contém o rosto do MetaHuman (normalmente de Use cached pose 'Body Pose')
2. Adicione o nó Blend Realistic MetaHuman Lip Sync (mesmo nó do modelo realista regular)
3. Conecte a pose ao Source Pose do nó Blend Realistic MetaHuman Lip Sync
4. Conecte sua variável MoodMetaHumanLipSyncGenerator ao pino Lip Sync Generator
5. Conecte a saída do nó Blend Realistic MetaHuman Lip Sync ao pino Result do Output Pose

Observação: O modelo habilitado para humor usa o mesmo nó de Animation Blueprint do modelo realista regular. A funcionalidade de humor é tratada internamente pelo gerador.

Próximos Passos

Agora que você concluiu a configuração básica do Animation Blueprint, será necessário configurar o processamento de entrada de áudio para alimentar os dados de áudio no seu gerador de sincronização labial.

Continue para o Guia de Processamento de Áudio para aprender como configurar diferentes métodos de entrada de áudio, incluindo captura de microfone, texto-para-voz e processamento de arquivos de áudio. Para opções avançadas de configuração e ajustes finos, consulte o Guia de Configuração.