Guia de Configuração

Este guia orienta você através do processo básico de configuração do Runtime MetaHuman Lip Sync com seus personagens MetaHuman.

Nota: O Runtime MetaHuman Lip Sync funciona tanto com MetaHuman quanto com personagens personalizados. Para instruções detalhadas sobre como configurar personagens personalizados, consulte o Guia de Configuração de Personagem Personalizado.

Pré-requisitos

Antes de começar, certifique-se de:

1. O plugin MetaHuman está habilitado em seu projeto (Nota: A partir do UE 5.6, esta etapa não é mais necessária, pois a funcionalidade MetaHuman está integrada diretamente na engine)
2. Você tem pelo menos um personagem MetaHuman baixado e disponível em seu projeto
3. O plugin Runtime MetaHuman Lip Sync está instalado

Plugin de Extensão do Modelo Padrão

Se você planeja usar o Modelo Padrão, será necessário instalar o plugin de extensão:

1. Baixe o plugin Standard Lip Sync Extension no Google Drive
2. Extraia a pasta do arquivo baixado para a pasta Plugins do seu projeto (crie esta pasta se ela não existir)
3. Certifique-se de que seu projeto está configurado como um projeto C++ (mesmo que você não tenha nenhum código C++)
4. Recompile seu projeto

nota

• Esta extensão é necessária apenas se você quiser usar o Modelo Padrão. Se você só precisa dos Modelos Realistas, pode pular esta etapa.
• Para mais informações sobre como compilar plugins manualmente, consulte o tutorial Building Plugins

Plugins Adicionais

• Se você planeja usar captura de áudio (ex.: entrada de microfone), instale o plugin Runtime Audio Importer.
• Se você planeja usar a funcionalidade text-to-speech:
  • Para TTS local (apenas Modelo Padrão), instale o plugin Runtime Text To Speech.
  • Para provedores de TTS externos (ElevenLabs, OpenAI), instale o plugin Runtime AI Chatbot Integrator.

Configuração do Animation Blueprint

Passo 1: Localize e modifique o Animation Blueprint do rosto

UE 5.5 e Anteriores (ou MetaHumans Legados no UE 5.6+)

Você precisa modificar um Animation Blueprint que será usado para as animações faciais do seu personagem MetaHuman. O Animation Blueprint facial padrão do MetaHuman está localizado em:

Content/MetaHumans/Common/Face/Face_AnimBP

Você tem várias opções para implementar a funcionalidade de lip sync:

Editar Ativo Padrão (Opção Mais Simples)

Abra diretamente o Face_AnimBP padrão e faça suas modificações. Quaisquer alterações afetarão todos os personagens MetaHuman que usam este Animation Blueprint.

Observação: Esta abordagem é conveniente, mas impactará todos os personagens que usam o Animation Blueprint padrão.

Criar Duplicata

1. Duplique o Face_AnimBP e dê um nome descritivo
2. Localize a classe Blueprint do seu personagem (por exemplo, para o personagem "Bryan", estaria em Content/MetaHumans/Bryan/BP_Bryan)
3. Abra o Blueprint do personagem e encontre o componente Face
4. Altere a propriedade Anim Class para o seu Animation Blueprint recém-duplicado

Observação: Esta abordagem permite personalizar o lip sync para personagens específicos enquanto deixa outros inalterados.

Usar Animation Blueprint Personalizado

Você pode implementar a mesclagem de lip sync em qualquer Animation Blueprint que tenha acesso aos ossos faciais necessários:

1. Crie ou use um Animation Blueprint personalizado existente
2. Certifique-se de que seu Animation Blueprint funcione com um esqueleto que contenha os mesmos ossos faciais do Face_Archetype_Skeleton padrão do MetaHuman

Observação: Esta abordagem oferece máxima flexibilidade para integração com sistemas de animação personalizados.

Personagens do MetaHuman Creator UE 5.6+

A partir do UE 5.6, o novo sistema MetaHuman Creator foi introduzido. Para esses personagens, o plugin fornece um Animation Blueprint facial localizado em:

Content/LipSyncData/LipSync_Face_AnimBP

Importante

Este Animation Blueprint está localizado na pasta de conteúdo do plugin e será substituído a cada atualização do plugin. Para evitar perder suas personalizações:

1. Copie este ativo para a pasta Content do seu projeto (por exemplo, para YourProject/Content/MetaHumans/LipSync_Face_AnimBP)
2. Use sua versão copiada na configuração do seu personagem
3. Faça todas as suas modificações na versão copiada

Usando o Face Animation Blueprint do Plugin:

1. Localize a classe Blueprint do seu personagem do MetaHuman Creator
2. Abra o Blueprint do personagem e encontre o componente Face
3. Altere a propriedade Anim Class para o LipSync_Face_AnimBP do plugin
4. Continue com os próximos passos para configurar a funcionalidade Runtime MetaHuman Lip Sync

Passo 2: Configuração do Event Graph

Abra seu Face Animation Blueprint e mude para o Event Graph. Você precisará criar um gerador que processará dados de áudio e gerará animação de lip sync.

Standard Model

1. Adicione o nó Event Blueprint Begin Play se ele não existir ainda
2. Adicione o nó Create Runtime Viseme Generator e conecte-o ao evento Begin Play
3. Salve a saída como uma variável (ex: "VisemeGenerator") para uso em outras partes do grafo

Para opções de configuração detalhadas, veja a seção Configuração do Standard Model.

Realistic Model

1. Adicione o nó Event Blueprint Begin Play se ele não existir ainda
2. Adicione o nó Create Realistic MetaHuman Lip Sync Generator e conecte-o ao evento Begin Play
3. Salve a saída como uma variável (ex: "RealisticMetaHumanLipSyncGenerator") para uso em outras partes do grafo
4. (Opcional) Configure as definições do gerador usando o parâmetro Configuration

Para opções de configuração detalhadas incluindo tipos de modelo, configurações de performance e parâmetros de processamento, veja a seção Configuração do Realistic Model.

Mood-Enabled Realistic Model

1. Adicione o nó Event Blueprint Begin Play se ele não existir ainda
2. Adicione o nó Create Realistic MetaHuman Lip Sync With Mood Generator e conecte-o ao evento Begin Play
3. Salve a saída como uma variável (ex: "MoodMetaHumanLipSyncGenerator") para uso em outras partes do grafo
4. (Opcional) Configure as definições do gerador usando o parâmetro Configuration

Para configuração de humor detalhada incluindo tipos de humor, configurações de intensidade, temporização de antecipação e seleção de tipo de saída, consulte a seção Configuração de Modelo Habilitado para Humor.

Etapa 3: Configuração do Anim Graph

Após configurar o Event Graph, mude para o Anim Graph para conectar o gerador à animação do personagem:

Modelo Padrão

1. Localize a pose que contém o rosto do MetaHuman (normalmente de Use cached pose 'Body Pose')
2. Adicione o nó Blend Runtime MetaHuman Lip Sync
3. Conecte a pose ao Source Pose do nó Blend Runtime MetaHuman Lip Sync
4. Conecte sua variável VisemeGenerator ao pino Viseme Generator
5. Conecte a saída do nó Blend Runtime MetaHuman Lip Sync ao pino Result do Output Pose

Modelo Realista

1. Localize a pose que contém o rosto do MetaHuman (normalmente de Use cached pose 'Body Pose')
2. Adicione o nó Blend Realistic MetaHuman Lip Sync
3. Conecte a pose ao Source Pose do nó Blend Realistic MetaHuman Lip Sync
4. Conecte sua variável RealisticMetaHumanLipSyncGenerator ao pino Lip Sync Generator
5. Conecte a saída do nó Blend Realistic MetaHuman Lip Sync ao pino Result do Output Pose

Modelo Realista Habilitado para Humor

1. Localize a pose que contém o rosto do MetaHuman (normalmente de Use cached pose 'Body Pose')
2. Adicione o nó Blend Realistic MetaHuman Lip Sync (mesmo nó do modelo realista regular)
3. Conecte a pose ao Source Pose do nó Blend Realistic MetaHuman Lip Sync
4. Conecte sua variável MoodMetaHumanLipSyncGenerator ao pino Lip Sync Generator
5. Conecte a saída do nó Blend Realistic MetaHuman Lip Sync ao pino Result do Output Pose

Observação: O modelo habilitado para humor usa o mesmo nó de Animation Blueprint do modelo realista regular. A funcionalidade de humor é tratada internamente pelo gerador.

Próximos Passos

Agora que você concluiu a configuração básica do Animation Blueprint, será necessário configurar o processamento de entrada de áudio para alimentar os dados de áudio no seu gerador de lip sync.

Continue para o Guia de Processamento de Áudio para aprender como configurar diferentes métodos de entrada de áudio, incluindo captura de microfone, texto-para-voz e processamento de arquivos de áudio. Para opções avançadas de configuração e ajustes finos, consulte o Guia de Configuração.