Guia de Configuração

Este guia orienta você pelo processo de configuração básica do Runtime MetaHuman Lip Sync com seus personagens MetaHuman.

Nota: O Runtime MetaHuman Lip Sync funciona tanto com MetaHuman quanto com personagens personalizados. Para instruções detalhadas sobre como configurar personagens personalizados, consulte o Guia de Configuração de Personagens Personalizados.

Pré-requisitos

Antes de começar, certifique-se de que:

1. Requisitos do Plugin MetaHuman:

   • UE 5.5 e anteriores: Ative o plugin MetaHuman no seu projeto
   • UE 5.6 e posteriores: Ative o plugin MetaHuman Core Tech no seu projeto
   Plugins Adicionais para MetaHuman

Dependendo de como você cria seus personagens MetaHuman, pode ser necessário plugins adicionais. Por exemplo, se você pretende criar um MetaHuman com o novo sistema MetaHuman Creator introduzido na UE 5.6, também precisará ativar o plugin MetaHuman Creator. Para mais informações sobre este sistema, consulte a documentação do MetaHuman Creator. :::

2. Você tem pelo menos um personagem MetaHuman baixado e disponível no seu projeto
3. O plugin Runtime MetaHuman Lip Sync está instalado

Plugin de Extensão para Modelo Padrão

Se você planeja usar o Modelo Padrão, precisará instalar o plugin de extensão:

1. Baixe o plugin Standard Lip Sync Extension de aqui
2. Extraia a pasta do arquivo baixado para a pasta Plugins do seu projeto (crie esta pasta se ela não existir)
3. Certifique-se de que seu projeto está configurado como um projeto C++ (mesmo que você não tenha nenhum código C++)
4. Recompile seu projeto

nota

• Esta extensão é necessária apenas se você quiser usar o Modelo Padrão. Se você precisar apenas dos Modelos Realistas, pode pular esta etapa.
• Para mais informações sobre como compilar plugins manualmente, consulte o Tutorial de Compilação de Plugins

Plugins Adicionais

• Se você planeja usar captura de áudio (ex.: entrada de microfone), instale o plugin Runtime Audio Importer.
• Se você planeja usar a funcionalidade de texto-para-fala:
  • Para TTS local (Modelo Padrão e Modelo Realista com Controle de Humor), instale o plugin Runtime Text To Speech.
  • Para provedores de TTS externos (ElevenLabs, OpenAI, Google Cloud, Azure), instale o plugin Runtime AI Chatbot Integrator.

Configuração do Animation Blueprint

Passo 1: Localize e modifique o Blueprint de animação facial

UE 5.5 e Anteriores (ou MetaHumans Legados no UE 5.6+)

Você precisa modificar um Animation Blueprint que será usado para as animações faciais do seu personagem MetaHuman. O Animation Blueprint facial padrão do MetaHuman está localizado em:

Content/MetaHumans/Common/Face/Face_AnimBP

Você tem várias opções para implementar a funcionalidade de sincronização labial:

Editar Ativo Padrão (Opção Mais Simples)

Abra o Face_AnimBP padrão diretamente e faça suas modificações. Quaisquer alterações afetarão todos os personagens MetaHuman que usarem este Animation Blueprint.

Nota: Esta abordagem é conveniente, mas afetará todos os personagens que utilizam o Animation Blueprint padrão.

Criar Duplicata

1. Duplique Face_AnimBP e dê a ele um nome descritivo
2. Localize a classe Blueprint do seu personagem (por exemplo, para o personagem "Bryan", estará em Content/MetaHumans/Bryan/BP_Bryan)
3. Abra o Blueprint do personagem e encontre o componente Face
4. Altere a propriedade Anim Class para o seu Animation Blueprint recém-duplicado

Nota: Esta abordagem permite personalizar a sincronização labial para personagens específicos, deixando os outros inalterados.

Use Custom Animation Blueprint

Você pode implementar a mesclagem de sincronia labial em qualquer Animation Blueprint que tenha acesso aos ossos faciais necessários:

1. Crie ou use um Animation Blueprint personalizado existente
2. Certifique-se de que seu Animation Blueprint funcione com um esqueleto que contenha os mesmos ossos faciais que o Face_Archetype_Skeleton do MetaHuman padrão

Nota: Esta abordagem oferece máxima flexibilidade para integração com sistemas de animação personalizados.

Personagens do MetaHuman Creator para UE 5.6+

A partir da UE 5.6, o novo sistema MetaHuman Creator foi introduzido. Para esses personagens, o plugin fornece um Animation Blueprint facial localizado em:

Content/LipSyncData/LipSync_Face_AnimBP

Importante

Este Animation Blueprint está localizado na pasta de conteúdo do plugin e será substituído a cada atualização do plugin. Para evitar perder suas personalizações:

1. Copie este ativo para a pasta Content do seu projeto (por exemplo, para YourProject/Content/MetaHumans/LipSync_Face_AnimBP)
2. Use a versão copiada na configuração do seu personagem
3. Faça todas as suas modificações na versão copiada

Usando o Blueprint de Animação Facial do Plugin:

1. Localize a classe Blueprint do seu personagem no MetaHuman Creator
2. Abra o Blueprint do personagem e encontre o componente Face
3. Altere a propriedade Anim Class para o LipSync_Face_AnimBP do plugin
4. Continue com as próximas etapas para configurar a funcionalidade de Runtime MetaHuman Lip Sync

Etapa 2: Configuração do Event Graph

Abra seu Blueprint de Animação Facial e mude para o Event Graph. Você precisará criar um gerador que processará dados de áudio e gerará animação de sincronia labial.

Modelo Padrão

1. Adicione o nó Event Blueprint Begin Play se ele ainda não existir
2. Adicione o nó Create Runtime Viseme Generator e conecte-o ao evento Begin Play
3. Salve a saída como uma variável (ex.: "VisemeGenerator") para uso em outras partes do grafo

Para opções de configuração detalhadas, consulte a seção Configuração do Modelo Padrão.

Modelo Realista

1. Adicione o nó Event Blueprint Begin Play se ele ainda não existir
2. Adicione o nó Create Realistic MetaHuman Lip Sync Generator e conecte-o ao evento Begin Play
3. Salve a saída como uma variável (ex.: "RealisticMetaHumanLipSyncGenerator") para uso em outras partes do grafo
4. (Opcional) Configure as configurações do gerador usando o parâmetro Configuration

Para opções detalhadas de configuração, incluindo tipos de modelo, configurações de desempenho e parâmetros de processamento, consulte a seção Configuração do Modelo Realista.

Modelo Realista com Suporte a Humor

1. Adicione o nó Event Blueprint Begin Play se ele ainda não existir
2. Adicione o nó Create Realistic MetaHuman Lip Sync With Mood Generator e conecte-o ao evento Begin Play
3. Salve a saída como uma variável (ex.: "MoodMetaHumanLipSyncGenerator") para uso em outras partes do grafo
4. (Opcional) Configure as configurações do gerador usando o parâmetro Configuration

Para configuração detalhada de humor, incluindo tipos de humor, configurações de intensidade, tempo de antecipação e seleção de tipo de saída, consulte a seção Configuração de Modelo com Suporte a Humor.

Etapa 3: Configuração do Anim Graph

Após configurar o Event Graph, mude para o Anim Graph para conectar o gerador à animação do personagem:

Modelo Padrão

1. Localize a pose que contém o rosto do MetaHuman (normalmente a partir de Use cached pose 'Body Pose')
2. Adicione o nó Blend Runtime MetaHuman Lip Sync
3. Conecte a pose à entrada Source Pose do nó Blend Runtime MetaHuman Lip Sync
4. Conecte sua variável VisemeGenerator ao pino Viseme Generator
5. Conecte a saída do nó Blend Runtime MetaHuman Lip Sync ao pino Result da Output Pose

Modelo Realista

1. Localize a pose que contém o rosto do MetaHuman (normalmente a partir de Usar pose em cache 'Pose do Corpo')
2. Adicione o nó Combinar Sincronização Labial Realista do MetaHuman
3. Conecte a pose à entrada Pose de Origem do nó Combinar Sincronização Labial Realista do MetaHuman
4. Conecte sua variável RealisticMetaHumanLipSyncGenerator ao pino Gerador de Sincronização Labial
5. Conecte a saída do nó Combinar Sincronização Labial Realista do MetaHuman ao pino Resultado da Pose de Saída

Modelo Realista com Suporte a Humor

1. Localize a pose que contém o rosto do MetaHuman (normalmente a partir de Use cached pose 'Body Pose')
2. Adicione o nó Blend Realistic MetaHuman Lip Sync (mesmo nó do modelo realista comum)
3. Conecte a pose à entrada Source Pose do nó Blend Realistic MetaHuman Lip Sync
4. Conecte sua variável MoodMetaHumanLipSyncGenerator ao pino Lip Sync Generator
5. Conecte a saída do nó Blend Realistic MetaHuman Lip Sync ao pino Result do Output Pose

Nota: O modelo habilitado para humor usa o mesmo nó de Animation Blueprint que o modelo realista comum. A funcionalidade de humor é tratada internamente pelo gerador.

Próximos Passos

Agora que você concluiu a configuração básica do Animation Blueprint, será necessário configurar o processamento de entrada de áudio para alimentar os dados de áudio ao seu gerador de sincronização labial.

Continue para o Guia de Processamento de Áudio para aprender como configurar diferentes métodos de entrada de áudio, incluindo captura por microfone, conversão de texto em fala e processamento de arquivos de áudio.

Para opções de configuração avançadas e ajustes finos, consulte o Guia de Configuração.