Przejdź do głównej zawartości

Przegląd

Dokumentacja Runtime MetaHuman Lip Sync

Runtime MetaHuman Lip Sync to wtyczka umożliwiająca synchronizację ust w czasie rzeczywistym, offline i międzyplatformową dla zarówno MetaHuman, jak i niestandardowych postaci. Pozwala animować usta postaci w odpowiedzi na wejście audio z różnych źródeł, w tym:

Wtyczka wewnętrznie generuje wizemy (wizualne reprezentacje fonemów) na podstawie wejścia audio. Ponieważ działa bezpośrednio z danymi audio, a nie z tekstem, wtyczka obsługuje wielojęzyczne wejście, w tym, ale nie ograniczając się do: angielskiego, hiszpańskiego, francuskiego, niemieckiego, japońskiego, chińskiego, koreańskiego, rosyjskiego, włoskiego, portugalskiego, arabskiego i hindi. Dosłownie każdy język jest obsługiwany, ponieważ synchronizacja ust jest generowana z fonemów audio, a nie z przetwarzania tekstu specyficznego dla języka.

Model Standardowy produkuje 14 wizemów i wykonuje animację synchronizacji ust przy użyciu predefiniowanego zasobu pozy. Natomiast Model Realistyczny (wyłącznie dla postaci MetaHuman) generuje 250 zmian morph targetów bez polegania na predefiniowanym zasobie pozy, co skutkuje znacznie bardziej realistycznymi animacjami twarzy.

Kompatybilność z Postaciami​

Pomimo swojej nazwy, Runtime MetaHuman Lip Sync działa z szerokim zakresem postaci poza samymi MetaHumanami:

Popularne Komercyjne Systemy Postaci​

  • Postacie Daz Genesis 8/9
  • Postacie Reallusion Character Creator 3/4 (CC3/CC4)
  • Postacie Mixamo
  • Awatary ReadyPlayerMe

Obsługa Standardów Animacji​

  • Systemy blendshape oparte na FACS
  • Standard blendshape Apple ARKit
  • Zestawy fonemów Preston Blair
  • Systemy fonemów 3ds Max
  • Dowolna postać z niestandardowymi morph targetami dla wyrazów twarzy

Aby uzyskać szczegółowe instrukcje dotyczące używania wtyczki z postaciami innymi niż MetaHuman, zobacz Przewodnik konfiguracji niestandardowych postaci.

Podgląd Animacji​

Sprawdź te krótkie animacje, aby zobaczyć jakość animacji synchronizacji ust produkowanej przez wtyczkę w różnych typach postaci i modelach:

Realistic Lip Sync Example
Realistyczny model z postacią MetaHuman
Standard Lip Sync Example
Standardowy model z postacią MetaHuman
Custom Character Lip Sync Example
Model standard cu personaj personalizat
Custom Character Lip Sync Example
Model standardowy z niestandardową postacią

Kluczowe funkcje​

  • Synchronizacja ust w czasie rzeczywistym z wejścia mikrofonowego
  • Obsługa przetwarzania audio offline
  • Kompatybilność wieloplatformowa: Windows, Android, Meta Quest
  • Obsługa wielu systemów postaci i standardów animacji
  • Elastyczne mapowanie wizemów dla niestandardowych postaci
  • Uniwersalne wsparcie języków - działa z dowolnym językiem mówionym poprzez analizę audio

Modele synchronizacji ust​

Wtyczka oferuje dwa modele synchronizacji ust, aby dopasować się do różnych potrzeb projektu:

Standardowy model synchronizacji ust zapewnia wydajną, wieloplatformową wydajność z szeroką kompatybilnością postaci:

  • Działa z MetaHumans i wszystkimi typami niestandardowych postaci
  • Zoptymalizowany pod kątem wydajności w czasie rzeczywistym na wszystkich platformach
  • Niższe wymagania zasobów
  • Pełna kompatybilność z lokalnym TTS (wtyczka Runtime Text To Speech)
  • Odpowiedni dla aplikacji mobilnych i VR/AR
Wymagana wtyczka rozszerzająca

Aby używać Modelu Standardowego (Szybszego), musisz zainstalować dodatkową wtyczkę rozszerzającą. Zobacz sekcję Wymagania wstępne w celu uzyskania instrukcji instalacji.

Możesz wybrać odpowiedni model na podstawie wymagań twojego projektu dotyczących wydajności, kompatybilności postaci i jakości wizualnej.

Uwaga dotycząca kompatybilności TTS

Chociaż oba modele obsługują różne metody wejścia audio, model Realistyczny ma ograniczoną kompatybilność z lokalnym TTS z powodu konfliktów środowiska wykonawczego ONNX. Dla funkcjonalności zamiany tekstu na mowę z modelem Realistycznym zalecane są zewnętrzne usługi TTS (OpenAI, ElevenLabs).

Jak to działa​

Wtyczka przetwarza wejście audio w następujący sposób:

  1. Dane audio są odbierane w formacie PCM typu float z określonymi kanałami i częstotliwością próbkowania
  2. Wtyczka przetwarza audio w celu wygenerowania wizemów (fonemów)
  3. Te wizemy napędzają animację synchronizacji ust przy użyciu zasobu pozy postaci
  4. Animacja jest stosowana do postaci w czasie rzeczywistym

Szybki start​

Oto podstawowa konfiguracja do włączenia synchronizacji ust na twojej postaci:

  1. Dla postaci MetaHuman, postępuj zgodnie z Przewodnikiem konfiguracji MetaHuman
  2. Dla niestandardowych postaci, postępuj zgodnie z Przewodnikiem konfiguracji niestandardowych postaci
  3. Skonfiguruj przetwarzanie wejścia audio (na przykład w Event Graph)
  4. Połącz węzeł Blend Runtime MetaHuman Lip Sync w Anim Graph
  5. Odtwórz audio i zobacz, jak twoja postać mówi!

Dodatkowe zasoby​

📦 Pobieranie i linki​

🎥 Tutoriale wideo​

Polecane demo:​

Tutoriale realistycznego modelu (wysoka jakość):​

Tutoriale standardowego modelu:​

Konfiguracja ogólna:​

💬 Wsparcie​