Ana içeriğe geç

Genel Bakış

Runtime MetaHuman Lip Sync Dokümantasyonu

Runtime MetaHuman Lip Sync, hem MetaHuman hem de özel karakterler için gerçek zamanlı, çevrimdışı ve çapraz platform dudak senkronizasyonu sağlayan bir eklentidir. Bir karakterin dudaklarını, çeşitli kaynaklardan gelen ses girişine yanıt olarak canlandırmanıza olanak tanır. Bu kaynaklar şunları içerir:

Eklenti, ses girişine dayalı olarak dahili olarak visemler (fonemlerin görsel temsilleri) üretir. Metin yerine doğrudan ses verisiyle çalıştığı için, eklenti İngilizce, İspanyolca, Fransızca, Almanca, Japonca, Çince, Korece, Rusça, İtalyanca, Portekizce, Arapça ve Hintçe dahil olmak üzere çok dilli girişi destekler. Kelimenin tam anlamıyla her dil desteklenir, çünkü dudak senkronizasyonu dil özel metin işleme yerine ses fonemlerinden üretilir.

Standart Model, 14 visem üretir ve önceden tanımlanmış bir poz varlığı kullanarak dudak senkronizasyonu animasyonu gerçekleştirir. Buna karşılık, Gerçekçi Modeller (yalnızca MetaHuman ve ARKit tabanlı karakterler için) önceden tanımlanmış bir poz varlığına güvenmeden 81 yüz kontrol değişikliği üreterek önemli ölçüde daha gerçekçi yüz animasyonları sağlar.

Karakter Uyumluluğu​

Adına rağmen, Runtime MetaHuman Lip Sync yalnızca MetaHuman'ların ötesinde geniş bir karakter yelpazesiyle çalışır:

Popüler Ticari Karakter Sistemleri​

  • Daz Genesis 8/9 karakterleri
  • Reallusion Character Creator 3/4 (CC3/CC4) karakterleri
  • Mixamo karakterleri
  • ReadyPlayerMe avatar'ları

Desteklenen Animasyon Standartları​

  • FACS tabanlı blendshape sistemleri
  • Apple ARKit blendshape standardı
  • Preston Blair fonem setleri
  • 3ds Max fonem sistemleri
  • Yüz ifadeleri için özel morf hedefleri olan herhangi bir karakter

MetaHuman olmayan karakterlerle eklentiyi kullanma hakkında ayrıntılı talimatlar için Özel Karakter Kurulum Kılavuzu'na bakın.

Animasyon Önizlemesi​

Eklenti tarafından üretilen dudak senkronizasyonu animasyonunun kalitesini, farklı karakter türleri ve modelleri arasında görmek için bu kısa animasyonları kontrol edin:

MetaHuman karakteriyle gerçekçi model
MetaHuman karakteri ile standart model
Özel karakterli standart model
Özel karakter ile standart model

Temel Özellikler​

  • Mikrofon girişinden gerçek zamanlı dudak senkronizasyonu
  • Çevrimdışı ses işleme desteği
  • Model özel platform desteği ile çapraz platform uyumluluğu
  • Birden fazla karakter sistemi ve animasyon standardı desteği
  • Özel karakterler için esnek visem haritalama
  • Evrensel dil desteği - ses analizi yoluyla herhangi bir konuşulan dilde çalışır
  • Gelişmiş ifade gücü için ruh hali farkında yüz animasyonu
  • Yapılandırılabilir çıktı türleri (tüm yüz veya sadece ağız kontrolleri)

Dudak Senkronizasyon Modelleri​

Eklenti, farklı proje ihtiyaçlarına uygun birden fazla dudak senkronizasyon modeli sunar:

Standart dudak senkronizasyon modeli, geniş karakter uyumluluğu ile verimli, çapraz platform performansı sağlar:

  • MetaHumans ve tüm özel karakter türleri ile çalışır
  • Gerçek zamanlı performans için optimize edilmiştir
  • Daha düşük kaynak gereksinimleri
  • Platform Desteği: Windows, Android, Android tabanlı platformlar (Meta Quest dahil)
Eklenti Uzantısı Gerekli

Standard Model'i kullanmak için ek bir uzantı eklentisi yüklemeniz gerekir. Kurulum talimatları için Önkoşullar bölümüne bakın.

Performans, karakter uyumluluğu, görsel kalite, hedef platform ve özellik ihtiyaçlarınıza göre uygun modeli seçebilirsiniz.

Nasıl Çalışır​

Eklenti, ses girişini aşağıdaki şekilde işler:

  1. Ses verisi, belirtilen kanallar ve örnekleme hızı ile PCM formatında float olarak alınır
  2. Eklenti, modele bağlı olarak yüz kontrol verisi veya visemler oluşturmak için sesi işler
  3. Ruh hali etkin modeller için, duygusal bağlam yüz animasyonuna uygulanır
  4. Animasyon verisi, karakterin yüz hareketlerini gerçek zamanlı olarak yönlendirir

Performans Mimarisi​

Runtime MetaHuman Lip Sync, gerçek zamanlı uygulamalara uygun tutarlı, düşük gecikmeli dudak senkronizasyonu sonuçları sunmak için yalnızca CPU çıkarımı kullanır. Varsayılan olarak, eklenti dudak senkronizasyonu işlemini her 10 milisaniyede bir gerçekleştirir (ayarlanabilir - tüm mevcut ayarlar için Eklenti Yapılandırması bölümüne bakın, İşleme Parça Boyutu, iş parçacığı sayısı ve diğer performans parametreleri dahil).

Model Mimarisi Genel Bakış​

Dudak senkronizasyonu modelleri, sesi mel-spektrogram analizi yoluyla işleyen kompakt bir transformer tabanlı sinir ağı kullanır. Bu hafif mimari, özellikle verimli CPU çıkarımı ve minimum bellek ayak izi ile gerçek zamanlı performans için tasarlanmıştır.

Neden CPU Çıkarımı?​

Gerçek zamanlı dudak senkronizasyonu gibi küçük, sık çıkarım işlemleri için, CPU işleme GPU'dan daha iyi gecikme özellikleri sunar. 10-100ms çıkarım aralıklarıyla toplu iş boyutu 1'de, PCIe transferlerinden ve çekirdek başlatmalarından kaynaklanan GPU ek yükü genellikle gerçek hesaplama süresini aşar. Ayrıca, oyun motorlarında GPU zaten render, gölgelendirici ve fizik ile doymuş durumdadır, bu da öngörülemeyen gecikme artışlarına neden olan kaynak çekişmesi yaratır.

Donanım Uyumluluğu​

Eklenti, özel grafik donanımı gerektirmeden çoğu orta ve üst seviye CPU'da verimli çalışır ve masaüstü, mobil ve VR platformları arasında gerçek zamanlı performans sağlar. Daha zayıf donanımlar için, Model Türü Yarı Optimize veya Yüksek Optimize olarak ayarlanabilir veya İşleme Parça Boyutu biraz azaltılmış yanıt hızı ile gerçek zamanlı performansı korumak için artırılabilir.

Hızlı Başlangıç​

Karakterinizde dudak senkronizasyonunu etkinleştirmek için temel bir kurulum:

  1. MetaHuman karakterleri için Kurulum Kılavuzu'nu izleyin
  2. Özel karakterler için Özel Karakter Kurulum Kılavuzu'nu izleyin
  3. Tercih ettiğiniz dudak senkronizasyon modelini seçin ve yapılandırın
  4. Blueprint'inizde ses girişi işlemeyi kurun
  5. Animation Blueprint'te uygun dudak senkronizasyon düğümünü bağlayın
  6. Ses çalın ve karakterinizin duyguyla konuştuğunu görün!

Ek Kaynaklar​

📦 İndirmeler ve Bağlantılar​

Demo Projeleri:

🎥 Video Eğitimleri​

Öne Çıkan Demolar:​

Realistic Model (Yüksek Kalite) Eğitimleri:​

Standard Model Eğitimleri:​

Genel Kurulum:​

💬 Destek​

  • Özel Geliştirme: [email protected] (takımlar ve organizasyonlar için özel çözümler)
Join our Discord
online · support