Ana içeriğe geç

Genel Bakış

Runtime MetaHuman Lip Sync Dokümantasyonu

Runtime MetaHuman Lip Sync, hem MetaHuman hem de özel karakterler için gerçek zamanlı, çevrimdışı ve çapraz platform dudak senkronizasyonu sağlayan bir eklentidir. Bir karakterin dudaklarını, aşağıdakiler dahil çeşitli kaynaklardan gelen ses girdisine yanıt olarak canlandırmanıza olanak tanır:

Eklenti, ses girdisine dayalı olarak dahili olarak visemleri (fonemlerin görsel temsilleri) oluşturur. Metin yerine doğrudan ses verisiyle çalıştığı için, eklenti İngilizce, İspanyolca, Fransızca, Almanca, Japonca, Çince, Korece, Rusça, İtalyanca, Portekizce, Arapça ve Hintçe dahil olmak üzere ancak bunlarla sınırlı olmamak üzere çok dilli girdiyi destekler. Kelimenin tam anlamıyla her dil desteklenir, çünkü dudak senkronizasyonu dil özel metin işleme yerine ses fonemlerinden üretilir.

Standart Model, 14 visem üretir ve önceden tanımlanmış bir poz varlığı kullanarak dudak senkronizasyonu animasyonu gerçekleştirir. Buna karşılık, Gerçekçi Model (yalnızca MetaHuman karakterleri için) önceden tanımlanmış bir poz varlığına güvenmeden 250 morf hedef değişikliği oluşturur, bu da önemli ölçüde daha gerçekçi yüz animasyonlarıyla sonuçlanır.

Karakter Uyumluluğu​

Adına rağmen, Runtime MetaHuman Lip Sync yalnızca MetaHuman'ların ötesinde geniş bir karakter yelpazesiyle çalışır:

Popüler Ticari Karakter Sistemleri​

  • Daz Genesis 8/9 karakterleri
  • Reallusion Character Creator 3/4 (CC3/CC4) karakterleri
  • Mixamo karakterleri
  • ReadyPlayerMe avatar'ları

Animasyon Standartları Desteği​

  • FACS tabanlı blendshape sistemleri
  • Apple ARKit blendshape standardı
  • Preston Blair fonem setleri
  • 3ds Max fonem sistemleri
  • Yüz ifadeleri için özel morf hedefleri olan herhangi bir karakter

MetaHuman olmayan karakterlerle eklentiyi kullanma hakkında ayrıntılı talimatlar için Özel Karakter Kurulum Kılavuzu'na bakın.

Animasyon Önizlemesi​

Eklenti tarafından üretilen dudak senkronizasyonu animasyonunun kalitesini farklı karakter türleri ve modeller arasında görmek için şu kısa animasyonlara göz atın:

Realistic Lip Sync Example
MetaHuman karakteriyle gerçekçi model
Standard Lip Sync Example
MetaHuman karakter ile standart model
Custom Character Lip Sync Example
Özel karakterli standart model
Custom Character Lip Sync Example
Özel karakter ile standart model

Temel Özellikler​

  • Mikrofon girişinden gerçek zamanlı dudak senkronizasyonu
  • Çevrimdışı ses işleme desteği
  • Çapraz platform uyumluluğu: Windows, Android, Meta Quest
  • Birden fazla karakter sistemi ve animasyon standardı desteği
  • Özel karakterler için esnek visem eşleme
  • Evrensel dil desteği - ses analizi yoluyla herhangi bir konuşma diliyle çalışır

Dudak Senkronizasyon Modelleri​

Eklenti, farklı proje ihtiyaçlarına uygun iki dudak senkronizasyon modeli sunar:

Standart dudak senkronizasyon modeli, geniş karakter uyumluluğu ile verimli, çapraz platform performansı sağlar:

  • MetaHumans ve tüm özel karakter türleriyle çalışır
  • Tüm platformlarda gerçek zamanlı performans için optimize edilmiştir
  • Daha düşük kaynak gereksinimi
  • Yerel TTS (Runtime Text To Speech eklentisi) ile tam uyumluluk
  • Mobil ve VR/AR uygulamaları için uygundur
Eklenti Uzantısı Gerekli

Standart (Daha Hızlı) Modeli kullanmak için ek bir uzantı eklentisi kurmanız gerekir. Kurulum talimatları için Önkoşullar bölümüne bakın.

Projenizin performans, karakter uyumluluğu ve görsel kalite gereksinimlerine göre uygun modeli seçebilirsiniz.

TTS Uyumluluk Notu

Her iki model de çeşitli ses giriş yöntemlerini desteklerken, Gerçekçi model ONNX çalışma zamanı çakışmaları nedeniyle yerel TTS ile sınırlı uyumluluğa sahiptir. Gerçekçi model için metin okuma işlevselliğinde harici TTS servisleri (OpenAI, ElevenLabs) önerilir.

Nasıl Çalışır​

Eklenti, ses girişini aşağıdaki şekilde işler:

  1. Ses verisi, belirtilen kanallar ve örnekleme oranı ile float PCM formatında alınır
  2. Eklenti, visemler (fonemler) oluşturmak için sesi işler
  3. Bu visemler, karakterin poz varlığını kullanarak dudak senkronizasyon animasyonunu yönlendirir
  4. Animasyon karaktere gerçek zamanlı olarak uygulanır

Hızlı Başlangıç​

Karakterinizde dudak senkronizasyonunu etkinleştirmek için temel bir kurulum:

  1. MetaHuman karakterleri için MetaHuman Kurulum Kılavuzu'nu takip edin
  2. Özel karakterler için Özel Karakter Kurulum Kılavuzu'nu takip edin
  3. Ses giriş işleme ayarlarını yapın (Event Graph gibi)
  4. Anim Graph içinde Blend Runtime MetaHuman Lip Sync düğümünü bağlayın
  5. Sesi çalın ve karakterinizin konuştuğunu görün!

Ek Kaynaklar​

📦 İndirmeler ve Bağlantılar​

🎥 Video Eğitimler​

Öne Çıkan Demo:​

Gerçekçi Model (Yüksek Kalite) Eğitimleri:​

Standart Model Eğitimleri:​

Genel Kurulum:​

💬 Destek​