Pular para o conteúdo principal

Visão Geral

Documentação do Runtime MetaHuman Lip Sync

Runtime MetaHuman Lip Sync é um plugin que permite sincronização labial em tempo real, offline e multiplataforma tanto para MetaHumans quanto para personagens personalizados. Ele permite animar os lábios de um personagem em resposta a entrada de áudio de várias fontes, incluindo:

O plugin internamente gera visemas (representações visuais de fonemas) baseados na entrada de áudio e executa a animação de sincronização labial usando um asset de pose pré-definido.

Compatibilidade de Personagens​

Apesar do nome, o Runtime MetaHuman Lip Sync funciona com uma ampla variedade de personagens além dos MetaHumans:

Sistemas de Personagens Comerciais Populares​

  • Personagens Daz Genesis 8/9
  • Personagens Reallusion Character Creator 3/4 (CC3/CC4)
  • Personagens Mixamo
  • Avatares ReadyPlayerMe

Suporte a Padrões de Animação​

  • Sistemas de blendshapes baseados em FACS
  • Padrão de blendshapes Apple ARKit
  • Conjuntos de fonemas Preston Blair
  • Sistemas de fonemas 3ds Max
  • Qualquer personagem com morph targets personalizados para expressões faciais

Para instruções detalhadas sobre como usar o plugin com personagens não-MetaHuman, consulte o Guia de Configuração para Personagens Personalizados.

Prévia de Animação​

Confira estas animações curtas para ver a qualidade da sincronização labial produzida pelo plugin em diferentes tipos de personagens e modelos:

Realistic Lip Sync Example
Modelo realista com personagem MetaHuman
Standard Lip Sync Example
Modelo padrão com personagem MetaHuman
Custom Character Lip Sync Example
Modelo padrão com personagem personalizado
Custom Character Lip Sync Example
Modelo padrão com personagem personalizado

Principais Recursos​

  • Sincronização labial em tempo real a partir de entrada de microfone
  • Suporte a processamento de áudio offline
  • Compatibilidade multiplataforma: Windows, Android, Meta Quest
  • Suporte a múltiplos sistemas de personagens e padrões de animação
  • Mapeamento flexível de visemas para personagens personalizados

Modelos de Sincronização Labial​

O plugin oferece dois modelos de sincronização labial para atender diferentes necessidades de projeto:

O modelo padrão de sincronização labial oferece desempenho eficiente e multiplataforma com ampla compatibilidade de personagens:

  • Funciona com MetaHumans e todos os tipos de personagens personalizados
  • Otimizado para desempenho em tempo real em todas as plataformas
  • Requisitos de recursos mais baixos
  • Compatibilidade total com TTS local (plugin Runtime Text To Speech)
  • Adequado para aplicativos móveis e de VR/AR

Você pode escolher o modelo apropriado com base nos requisitos do seu projeto para desempenho, compatibilidade de personagens e qualidade visual.

Nota sobre Compatibilidade com TTS

Embora ambos os modelos suportem vários métodos de entrada de áudio, o modelo Realista tem compatibilidade limitada com TTS local devido a conflitos no runtime ONNX. Para funcionalidade de text-to-speech com o modelo Realista, serviços externos de TTS (OpenAI, ElevenLabs) são recomendados.

Como Funciona​

O plugin processa a entrada de áudio da seguinte maneira:

  1. Os dados de áudio são recebidos no formato PCM como float com canais e taxa de amostragem especificados
  2. O plugin processa o áudio para gerar visemas (fonemas)
  3. Esses visemas controlam a animação de sincronização labial usando o asset de pose do personagem
  4. A animação é aplicada ao personagem em tempo real

Início Rápido​

Aqui está uma configuração básica para ativar a sincronização labial no seu personagem:

  1. Para personagens MetaHuman, siga o Guia de Configuração MetaHuman
  2. Para personagens personalizados, siga o Guia de Configuração para Personagens Personalizados
  3. Configure o processamento de entrada de áudio (como no Event Graph)
  4. Conecte o nó Blend Runtime MetaHuman Lip Sync no Anim Graph
  5. Reproduza áudio e veja seu personagem falar!

Recursos Adicionais​

📦 Downloads & Links​

🎥 Tutoriais em Vídeo​

Demonstração em Destaque:​

Tutoriais do Modelo Realista (Alta Qualidade):​

Tutoriais do Modelo Padrão:​

Configuração Geral:​

💬 Suporte​