Ana içeriğe geç

Genel Bakış

Runtime MetaHuman Lip Sync Documentation

Runtime MetaHuman Lip Sync, hem MetaHuman hem de özel karakterler için gerçek zamanlı, çevrimdışı ve platformlar arası dudak senkronizasyonu sağlayan bir eklentidir. Aşağıdakiler dahil olmak üzere çeşitli kaynaklardan gelen ses girişine yanıt olarak bir karakterin dudaklarını canlandırmanıza olanak tanır:

Eklenti, ses girişine dayalı olarak dahili olarak viseme'ler (fonemlerin görsel temsilleri) üretir. Metin yerine doğrudan ses verisiyle çalıştığı için, eklenti İngilizce, İspanyolca, Fransızca, Almanca, Japonca, Çince, Korece, Rusça, İtalyanca, Portekizce, Arapça ve Hintçe dahil ancak bunlarla sınırlı olmamak üzere çok dilli girişi destekler. Kelimenin tam anlamıyla her dil desteklenir, çünkü lip sync, dile özgü metin işleme yerine ses fonemlerinden üretilir.

Standart Model, 14 viseme üretir ve önceden tanımlanmış bir poz varlığı kullanarak dudak senkronizasyonu animasyonu gerçekleştirir. Buna karşılık, Gerçekçi Modeller (yalnızca MetaHuman ve ARKit tabanlı karakterlere özel) önceden tanımlanmış bir poz varlığına dayanmadan 81 yüz kontrol değişikliği oluşturur ve bu da çok daha gerçekçi yüz animasyonlarıyla sonuçlanır.

Karakter Uyumluluğu​

Adına rağmen, Runtime MetaHuman Lip Sync yalnızca MetaHuman'larla değil, çok çeşitli karakterlerle çalışır:

  • Daz Genesis 8/9 karakterleri
  • Reallusion Character Creator 3/4/5 (CC3/CC4/CC5) karakterleri
  • Mixamo karakterleri

Animasyon Standartları Desteği​

  • FACS tabanlı blendshape sistemleri
  • Apple ARKit blendshape standardı
  • Preston Blair fonem setleri
  • 3ds Max fonem sistemleri
  • Yüz ifadeleri için özel morph target'ları olan herhangi bir karakter

Reallusion CC4/CC5 ve Daz Genesis 8.1/9 dahil olmak üzere birçok popüler sistem de ARKit standardındaki blendshape adlarını kullanacak şekilde dönüştürülebilir. Bu, bu karakterler için Realistic Model'i, daha yüksek kaliteli yüz animasyonuyla birlikte, Standard Model'in manuel viseme eşlemesine alternatif olarak kullanmanıza olanak tanır. Ayrıntılar için Karakterleri ARKit Blendshape'lerine Dönüştürme bölümüne bakın.

Standart Model kullanan MetaHuman olmayan karakterler için Özel Karakter Kurulum Kılavuzu sayfasına bakın. Realistic Models kullanan ARKit tabanlı karakterler için Morph Target Seti Seçimi sayfasına bakın.

Animasyon Önizlemesi​

Farklı karakter türleri ve modelleri arasında eklenti tarafından üretilen lip sync animasyonunun kalitesini görmek için bu kısa animasyonlara göz atın:

MetaHuman karakterli gerçekçi model
MetaHuman karakterli standart model
Özel karakterli standart model
Özel karakterli standart model

Temel Özellikler​

Lip Sync Modelleri​

Eklenti, farklı proje ihtiyaçlarına uygun olması için birden fazla lip sync modeli sunar:

Standart lip sync modeli, geniş karakter uyumluluğuyla verimli, platformlar arası performans sunar:

  • MetaHuman'lar ve tüm özel karakter türleriyle çalışır
  • Gerçek zamanlı performans için optimize edilmiştir
  • Daha düşük kaynak gereksinimleri
  • Platform Desteği: Windows, Android, Android tabanlı platformlar (Meta Quest dahil)
Gerekli Uzantı Eklentisi

Standart Model'i kullanmak için ek bir uzantı eklentisi yüklemeniz gerekir. Kurulum talimatları için Ön Koşullar bölümüne bakın.

Projenizin gereksinimlerine göre performans, karakter uyumluluğu, görsel kalite, hedef platform ve özellik ihtiyaçları doğrultusunda uygun modeli seçebilirsiniz.

Nasıl Çalışır​

Eklenti, ses girişini aşağıdaki şekilde işler:

  1. Ses verisi, belirtilen kanallar ve örnekleme hızı ile float PCM formatında alınır
  2. Eklenti, modele bağlı olarak yüz kontrol verisi veya viseme üretmek için sesi işler
  3. Ruh hali etkinleştirilmiş modeller için yüz animasyonuna duygusal bağlam uygulanır
  4. Animasyon verisi, karakterin yüz hareketlerini gerçek zamanlı olarak sürer

Performans Mimarisi​

Runtime MetaHuman Lip Sync yalnızca CPU üzerinde çıkarım kullanır ve gerçek zamanlı uygulamalar için uygun, tutarlı ve düşük gecikmeli lip sync sonuçları sunar. Varsayılan olarak eklenti, lip sync işlemini her 10 milisaniyede bir gerçekleştirir (ayarlanabilir - Processing Chunk Size, thread count ve diğer performans parametreleri dahil tüm mevcut ayarlar için Plugin Configuration sayfasına bakın).

Model Mimarisi Genel Bakış​

Lip sync modelleri, sesi mel-spektrogram analizi yoluyla işleyen kompakt bir transformer tabanlı sinir ağı kullanır. Bu hafif mimari, verimli CPU çıkarımı ve minimum bellek kullanımıyla gerçek zamanlı performans için özel olarak tasarlanmıştır.

Neden CPU Çıkarımı?​

Gerçek zamanlı lip sync gibi küçük, sık yapılan çıkarım işlemleri için CPU işleme, GPU'dan daha iyi gecikme özellikleri sunar. Batch size 1 ile 10-100ms çıkarım aralıklarında, PCIe transferleri ve kernel başlatmalarından kaynaklanan GPU ek yükü genellikle gerçek hesaplama süresini aşar. Ayrıca oyun motorlarında GPU zaten rendering, shader'lar ve fizik ile doygun durumdadır ve bu da öngörülemeyen gecikme sıçramalarına yol açan kaynak çekişmesi yaratır.

Donanım Uyumluluğu​

Eklenti, özel grafik donanımı gerektirmeden çoğu orta ve üst seviye CPU'da verimli çalışır ve masaüstü, mobil ve VR platformlarında gerçek zamanlı performans sunar. Daha zayıf donanımlar için, Model Türü ayarını Yarı Optimize veya Yüksek Optimize olarak değiştirebilir ya da İşleme Parça Boyutu değerini artırarak, biraz azalmış tepkisellikle gerçek zamanlı performansı koruyabilirsiniz.

Hızlı Başlangıç​

İşte karakterinizde lip sync'i etkinleştirmek için temel bir kurulum:

  1. MetaHuman karakterleri için Kurulum Kılavuzu adımlarını izleyin
  2. Özel karakterler için Özel Karakter Kurulum Kılavuzu adımlarını izleyin
  3. Tercih ettiğiniz lip sync modelini seçin ve yapılandırın
  4. Blueprint'inizde ses girişi işlemeyi ayarlayın
  5. Animation Blueprint'te uygun lip sync düğümünü bağlayın
  6. Sesi oynatın ve karakterinizin senkronize şekilde canlandığını görün

İsteğe Bağlı Göz Animasyonu​

Eklenti ayrıca MetaHuman'larda otomatik göz kırpma ve bakış takibi için isteğe bağlı yardımcılar içerir. Bunlar lip sync'ten bağımsızdır ve tek başına veya onun üzerine katmanlanarak kullanılabilir. Bkz. Göz Animasyonu Yardımcıları.

Ek Kaynaklar​

📦 İndirmeler ve Bağlantılar​

Demo Projeleri:

Kullanıma hazır iki demo projesi mevcut - tam ayrıntılar, indirmeler ve adım adım kılavuzlar için özel Demo Projeleri sayfasına bakın:

Her iki demo da platformlar arasıdır (Windows, Mac, Linux, iOS, Android, Meta Quest) ve paketlenmiş derlemeler ile tam UE 5.6+ kaynak projeleri olarak sunulur.

🎥 Video Eğitimleri​

Öne Çıkan Demolar:​

Gerçekçi Model (Yüksek Kaliteli) Eğitimleri:​

Standart Model Eğitimleri:​

Genel Kurulum:​

💬 Destek​

Join our Discord
online · support