Pular para o conteúdo principal

Visão Geral

Documentação do Runtime MetaHuman Lip Sync

Runtime MetaHuman Lip Sync é um plugin que permite sincronização labial em tempo real, offline e multiplataforma tanto para MetaHumans quanto para personagens personalizados. Ele permite animar os lábios de um personagem em resposta a entrada de áudio de várias fontes, incluindo:

O plugin internamente gera visemas (representações visuais de fonemas) baseados na entrada de áudio. Como trabalha diretamente com dados de áudio em vez de texto, o plugin suporta entrada multilíngue incluindo mas não limitado a Inglês, Espanhol, Francês, Alemão, Japonês, Chinês, Coreano, Russo, Italiano, Português, Árabe e Hindi. Literalmente qualquer idioma é suportado já que a sincronização labial é gerada a partir de fonemas de áudio em vez de processamento de texto específico de idioma.

O Modelo Padrão produz 14 visemas e executa animação de sincronização labial usando um asset de pose pré-definido. Em contraste, o Modelo Realista (exclusivo para personagens MetaHuman) gera 250 alterações de morph target sem depender de um asset de pose pré-definido, resultando em animações faciais significativamente mais realistas.

Compatibilidade de Personagens​

Apesar do nome, Runtime MetaHuman Lip Sync funciona com uma ampla gama de personagens além dos MetaHumans:

Sistemas de Personagens Comerciais Populares​

  • Personagens Daz Genesis 8/9
  • Personagens Reallusion Character Creator 3/4 (CC3/CC4)
  • Personagens Mixamo
  • Avatares ReadyPlayerMe

Suporte a Padrões de Animação​

  • Sistemas de blendshapes baseados em FACS
  • Padrão de blendshapes Apple ARKit
  • Conjuntos de fonemas Preston Blair
  • Sistemas de fonemas 3ds Max
  • Qualquer personagem com morph targets personalizados para expressões faciais

Para instruções detalhadas sobre como usar o plugin com personagens não-MetaHuman, consulte o Guia de Configuração de Personagens Personalizados.

Prévia de Animação​

Confira estas animações curtas para ver a qualidade da animação de sincronização labial produzida pelo plugin em diferentes tipos de personagens e modelos:

Realistic Lip Sync Example
Modelo realista com personagem MetaHuman
Standard Lip Sync Example
Modelo padrão com personagem MetaHuman
Custom Character Lip Sync Example
Modelo padrão com personagem personalizado
Custom Character Lip Sync Example
Modelo padrão com personagem personalizado

Principais Recursos​

  • Sincronização labial em tempo real a partir de entrada de microfone
  • Suporte a processamento de áudio offline
  • Compatibilidade multiplataforma: Windows, Android, Meta Quest
  • Suporte a múltiplos sistemas de personagens e padrões de animação
  • Mapeamento flexível de visemas para personagens personalizados
  • Suporte universal a idiomas - funciona com qualquer língua falada através de análise de áudio

Modelos de Sincronização Labial​

O plugin oferece dois modelos de sincronização labial para atender diferentes necessidades de projeto:

O modelo padrão de sincronização labial oferece desempenho eficiente e multiplataforma com ampla compatibilidade de personagens:

  • Funciona com MetaHumans e todos os tipos de personagens personalizados
  • Otimizado para desempenho em tempo real em todas as plataformas
  • Requisitos de recursos mais baixos
  • Compatibilidade total com TTS local (plugin Runtime Text To Speech)
  • Adequado para aplicativos móveis e de VR/AR
Extensão Necessária

Para usar o Modelo Padrão (Mais Rápido), você precisa instalar um plugin de extensão adicional. Consulte a seção de Pré-requisitos para instruções de instalação.

Você pode escolher o modelo apropriado com base nos requisitos de seu projeto para desempenho, compatibilidade de personagens e qualidade visual.

Nota sobre Compatibilidade com TTS

Embora ambos os modelos suportem vários métodos de entrada de áudio, o modelo Realista tem compatibilidade limitada com TTS local devido a conflitos com o runtime ONNX. Para funcionalidade de text-to-speech com o modelo Realista, serviços externos de TTS (OpenAI, ElevenLabs) são recomendados.

Como Funciona​

O plugin processa a entrada de áudio da seguinte maneira:

  1. Os dados de áudio são recebidos no formato PCM como float com canais e taxa de amostragem especificados
  2. O plugin processa o áudio para gerar visemas (fonemas)
  3. Esses visemas controlam a animação de sincronização labial usando o asset de pose do personagem
  4. A animação é aplicada ao personagem em tempo real

Início Rápido​

Aqui está uma configuração básica para ativar a sincronização labial em seu personagem:

  1. Para personagens MetaHuman, siga o Guia de Configuração do MetaHuman
  2. Para personagens personalizados, siga o Guia de Configuração de Personagens Personalizados
  3. Configure o processamento de entrada de áudio (como no Event Graph)
  4. Conecte o nó Blend Runtime MetaHuman Lip Sync no Anim Graph
  5. Reproduza o áudio e veja seu personagem falar!

Recursos Adicionais​

📦 Downloads & Links​

🎥 Tutoriais em Vídeo​

Demonstração em Destaque:​

Tutoriais de Modelo Realista (Alta Qualidade):​

Tutoriais de Modelo Padrão:​

Configuração Geral:​

💬 Suporte​