Visão Geral
Runtime MetaHuman Lip Sync é um plugin que permite sincronização labial em tempo real, offline e multiplataforma tanto para MetaHumans quanto para personagens personalizados. Ele permite animar os lábios de um personagem em resposta a áudio de várias fontes, incluindo:
- Entrada de microfone via Runtime Audio Importer's capturable sound wave
- Fala sintetizada do Runtime Text To Speech ou Runtime AI Chatbot Integrator
- Qualquer dado de áudio em formato PCM float (um array de amostras em ponto flutuante)
O plugin internamente gera visemas (representações visuais de fonemas) baseados no áudio de entrada e executa a animação de sincronização labial usando um asset de pose pré-definido.
Compatibilidade de Personagens
Apesar do nome, o Runtime MetaHuman Lip Sync funciona com uma ampla variedade de personagens além dos MetaHumans:
Sistemas de Personagens Comerciais Populares
- Personagens Daz Genesis 8/9
- Personagens Reallusion Character Creator 3/4 (CC3/CC4)
- Personagens Mixamo
- Avatares ReadyPlayerMe
Suporte a Padrões de Animação
- Sistemas de blendshape baseados em FACS
- Padrão de blendshape Apple ARKit
- Conjuntos de fonemas Preston Blair
- Sistemas de fonemas 3ds Max
- Qualquer personagem com morph targets personalizados para expressões faciais
Para instruções detalhadas sobre como usar o plugin com personagens não-MetaHuman, consulte o Guia de Configuração para Personagens Personalizados.
Prévia de Animação
Confira estas animações curtas para ver a qualidade da animação de sincronização labial em tempo real produzida pelo plugin. A animação pode ser aplicada a qualquer personagem suportado, seja MetaHuman ou um personagem personalizado de qualquer um dos sistemas suportados.
Principais Recursos
- Sincronização labial em tempo real a partir de entrada de microfone
- Suporte a processamento de áudio offline
- Compatibilidade multiplataforma: Windows, Android, Meta Quest
- Suporte a múltiplos sistemas de personagens e padrões de animação
- Mapeamento flexível de visemas para personagens personalizados
Como Funciona
O plugin processa a entrada de áudio da seguinte forma:
- Os dados de áudio são recebidos no formato PCM como float com canais e taxa de amostragem especificados
- O plugin processa o áudio para gerar visemas (fonemas)
- Esses visemas controlam a animação de sincronização labial usando o asset de pose do personagem
- A animação é aplicada ao personagem em tempo real
Guia Rápido
Aqui está uma configuração básica para ativar a sincronização labial no seu personagem:
- Para personagens MetaHuman, siga o Guia de Configuração MetaHuman
- Para personagens personalizados, siga o Guia de Configuração de Personagens Personalizados
- Configure o processamento de entrada de áudio (como no Event Graph)
- Conecte o nó Blend Runtime MetaHuman Lip Sync no Anim Graph
- Reproduza o áudio e veja seu personagem falar!
Recursos Adicionais
- Obtenha no Fab
- Site do produto
- Baixar Demo (Windows)
- Baixar arquivos fonte da Demo (UE 5.5)
- Servidor de suporte no Discord
- Tutorial em vídeo
- Desenvolvimento Personalizado: [email protected] (soluções sob medida para equipes e organizações)