Pular para o conteúdo principal

Visão geral

Runtime MetaHuman Lip Sync Documentation

Runtime MetaHuman Lip Sync é um plugin que possibilita lip sync em tempo real, offline e multiplataforma tanto para MetaHuman quanto para personagens personalizados. Ele permite animar os lábios de um personagem em resposta à entrada de áudio de diversas fontes, incluindo:

O plugin gera internamente visemes (representações visuais de fonemas) com base na entrada de áudio. Como ele trabalha diretamente com os dados de áudio em vez de texto, o plugin oferece suporte a entrada multilíngue, incluindo, mas não se limitando a, inglês, espanhol, francês, alemão, japonês, chinês, coreano, russo, italiano, português, árabe e hindi. Praticamente qualquer idioma é suportado, pois o lip sync é gerado a partir dos fonemas do áudio, e não de processamento de texto específico de cada idioma.

O Modelo Padrão produz 14 visemas e executa a animação de lip sync usando um pose asset predefinido. Em contraste, os Modelos Realistas (exclusivos para personagens baseados em MetaHuman e ARKit) geram 81 alterações de controle facial sem depender de um pose asset predefinido, resultando em animações faciais significativamente mais realistas.

Compatibilidade de Personagens​

Apesar do nome, o Runtime MetaHuman Lip Sync funciona com uma ampla variedade de personagens além dos MetaHumans:

  • Personagens Daz Genesis 8/9
  • Personagens Reallusion Character Creator 3/4/5 (CC3/CC4/CC5)
  • Personagens Mixamo

Suporte a Padrões de Animação​

  • Sistemas de blendshape baseados em FACS
  • Padrão de blendshape ARKit da Apple
  • Conjuntos de fonemas de Preston Blair
  • Sistemas de fonemas do 3ds Max
  • Qualquer personagem com morph targets personalizados para expressões faciais

Muitos sistemas populares, incluindo Reallusion CC4/CC5 e Daz Genesis 8.1/9, também podem ser convertidos para usar os nomes de blendshape padrão do ARKit. Isso permite que você use o Realistic Model para esses personagens, com sua animação facial de qualidade superior, como alternativa ao mapeamento manual de visemes do Standard Model. Consulte Convertendo Personagens para ARKit Blendshapes para mais detalhes.

Para personagens não-MetaHuman usando o Standard Model, consulte o Guia de Configuração de Personagem Personalizado. Para personagens baseados em ARKit usando os Realistic Models, consulte Seleção de Conjunto de Morph Targets.

Pré-visualização de animação​

Confira estas animações curtas para ver a qualidade da animação de lip sync produzida pelo plugin em diferentes tipos de personagens e modelos:

Modelo realista com personagem MetaHuman
Modelo padrão com personagem MetaHuman
Modelo padrão com personagem personalizado
Modelo padrão com personagem personalizado

Principais Recursos​

Modelos de Lip Sync​

O plugin oferece vários modelos de lip sync para atender a diferentes necessidades de projeto:

O modelo padrão de lip sync oferece desempenho eficiente e multiplataforma, com ampla compatibilidade de personagens:

  • Funciona com MetaHumans e todos os tipos de personagens personalizados
  • Otimizado para desempenho em tempo real
  • Requisitos de recursos menores
  • Suporte a plataformas: Windows, Android, plataformas baseadas em Android (incluindo Meta Quest)
Plugin de Extensão Necessário

Para usar o Standard Model, você precisa instalar um plugin de extensão adicional. Consulte a seção de Pré-requisitos para instruções de instalação.

Você pode escolher o modelo apropriado com base nos requisitos do seu projeto quanto a desempenho, compatibilidade de personagem, qualidade visual, plataforma de destino e necessidades de recursos.

Como Funciona​

O plugin processa a entrada de áudio da seguinte forma:

  1. Os dados de áudio são recebidos como formato PCM float com canais e taxa de amostragem especificados
  2. O plugin processa o áudio para gerar dados de controle facial ou visemas, dependendo do modelo
  3. Para modelos com suporte a humor, o contexto emocional é aplicado à animação facial
  4. Os dados de animação impulsionam os movimentos faciais do personagem em tempo real

Arquitetura de Desempenho​

O Runtime MetaHuman Lip Sync usa inferência somente em CPU para entregar resultados de lip sync consistentes e de baixa latência, adequados para aplicações em tempo real. Por padrão, o plugin realiza o processamento de lip sync a cada 10 milissegundos (ajustável - consulte Configuração do Plugin para todas as configurações disponíveis, incluindo Tamanho do Bloco de Processamento, número de threads e outros parâmetros de desempenho).

Visão Geral da Arquitetura do Modelo​

Os modelos de lip sync usam uma rede neural compacta baseada em transformer que processa o áudio por meio de análise de mel-espectrograma. Essa arquitetura leve é projetada especificamente para desempenho em tempo real, com inferência eficiente na CPU e uso mínimo de memória.

Por que Inferência por CPU?​

Para operações de inferência pequenas e frequentes, como lip sync em tempo real, o processamento na CPU oferece melhores características de latência do que na GPU. Com batch size 1 e intervalos de inferência de 10-100ms, o overhead da GPU com transferências PCIe e lançamentos de kernel frequentemente excede o tempo real de computação. Além disso, em engines de jogos a GPU já está saturada com renderização, shaders e física, criando contenção de recursos que introduz picos de latência imprevisíveis.

Compatibilidade de Hardware​

O plugin funciona de forma eficiente na maioria das CPUs de médio porte e superiores, sem exigir hardware gráfico dedicado, proporcionando desempenho em tempo real em plataformas desktop, mobile e VR. Para hardwares mais fracos, você pode ajustar o Tipo de Modelo para Semi-Optimized ou Highly Optimized, ou aumentar o Tamanho do Bloco de Processamento para manter o desempenho em tempo real com responsividade ligeiramente reduzida.

Início Rápido​

Aqui está uma configuração básica para habilitar o lip sync no seu personagem:

  1. Para personagens MetaHuman, siga o Guia de Configuração
  2. Para personagens personalizados, siga o Guia de Configuração de Personagem Personalizado
  3. Escolha e configure seu modelo de lip sync preferido
  4. Configure o processamento de entrada de áudio no seu Blueprint
  5. Conecte o nó de lip sync apropriado no Animation Blueprint
  6. Reproduza o áudio e veja seu personagem animar em sincronia

Animação Ocular Opcional​

O plugin também inclui auxiliares opcionais para piscar automático e rastreamento de olhar em MetaHumans. Eles são independentes do lip sync e podem ser usados de forma autônoma ou sobrepostos a ele. Consulte Auxiliares de Animação dos Olhos.

Recursos Adicionais​

📦 Downloads e Links​

Projetos de Demonstração:

Dois projetos de demonstração prontos para uso estão disponíveis - consulte a página dedicada Projetos de Demonstração para detalhes completos, downloads e tutoriais:

Ambas as demos são multiplataforma (Windows, Mac, Linux, iOS, Android, Meta Quest) e são distribuídas como builds empacotados e projetos de código-fonte completos para UE 5.6+.

🎥 Tutoriais em Vídeo​

Demos em Destaque:​

Tutoriais do Modelo Realista (Alta Qualidade):​

Tutoriais do Modelo Padrão:​

Configuração Geral:​

💬 Suporte​

  • Desenvolvimento Personalizado: [email protected] (soluções sob medida para equipes e organizações)
Join our Discord
online · support