Ana içeriğe geç

Genel Bakış

Runtime MetaHuman Lip Sync Documentation

Runtime MetaHuman Lip Sync, MetaHuman ve özel karakterler için gerçek zamanlı, çevrimdışı ve platformlar arası dudak senkronizasyonu sağlayan bir eklentidir. Bir karakterin dudaklarını, aşağıdakiler de dahil olmak üzere çeşitli kaynaklardan gelen ses girdisine tepki olarak canlandırmanızı sağlar:

Eklenti, ses girişine dayanarak dahili olarak visemler (fonemlerin görsel temsilleri) üretir. Metin yerine doğrudan ses verisiyle çalıştığından, eklenti; İngilizce, İspanyolca, Fransızca, Almanca, Japonca, Çince, Korece, Rusça, İtalyanca, Portekizce, Arapça ve Hintçe dahil ancak bunlarla sınırlı olmamak üzere çok dilli girdiyi destekler. Kelimenin tam anlamıyla her dil desteklenir, çünkü dudak senkronizasyonu, dile özgü metin işleme yerine sesteki fonemlerden üretilir.

Standard Model, önceden tanımlı bir pose asset kullanarak 14 viseme üretir ve dudak senkronizasyonu animasyonu gerçekleştirir. Buna karşılık, Realistic Models (MetaHuman ve ARKit tabanlı karakterlere özgü), önceden tanımlı bir pose asset'e dayanmadan 81 yüz kontrol değişikliği üretir; bu da önemli ölçüde daha gerçekçi yüz animasyonları sağlar.

Karakter Uyumluluğu​

Adına rağmen, Runtime MetaHuman Lip Sync yalnızca MetaHuman'larla değil, çok geniş bir karakter yelpazesiyle de çalışır:

  • Daz Genesis 8/9 karakterler
  • Reallusion Character Creator 3/4/5 (CC3/CC4/CC5) karakterler
  • Mixamo karakterler

Animasyon Standartları Desteği​

  • FACS tabanlı blendshape sistemleri
  • Apple ARKit blendshape standardı
  • Preston Blair fonem setleri
  • 3ds Max fonem sistemleri
  • Yüz ifadeleri için özel morph hedeflerine sahip herhangi bir karakter

Animasyon Önizlemesi​

Farklı karakter türleri ve modellerde eklentinin ürettiği dudak senkronizasyonu animasyonunun kalitesini görmek için bu kısa animasyonlara göz atın:

MetaHuman karakteri ile gerçekçi model
Standart model ile MetaHuman karakteri
Özel karakterli standart model
Özel karakterli standart model

Ana Özellikler​

Lip Sync Modelleri​

Eklenti, farklı proje ihtiyaçlarına uygun birden fazla lip sync modeli sunar:

Standart lip sync modeli, verimli, platformlar arası performans ve geniş karakter uyumluluğu sağlar:

  • MetaHuman'lar ve tüm özel karakter türleriyle çalışır
  • Gerçek zamanlı performans için optimize edilmiştir
  • Daha düşük kaynak gereksinimleri
  • Platform Desteği: Windows, Android, Android tabanlı platformlar (Meta Quest dahil)
Uzantı Eklentisi Gerekli

Standart Model'i kullanmak için ek bir eklenti kurmanız gerekir. Kurulum talimatları için Ön Koşullar bölümüne bakın.

Proje gereksinimlerinize bağlı olarak performans, karakter uyumluluğu, görsel kalite, hedef platform ve özellik ihtiyaçlarına göre uygun modeli seçebilirsiniz.

Nasıl Çalışır​

Eklenti, ses girişini şu şekilde işler:

  1. Ses verileri, belirtilen kanallar ve örnekleme hızı ile float PCM formatında alınır.
  2. Eklenti, modele bağlı olarak yüz kontrol verileri veya visemler üretmek için sesi işler.
  3. Duygu durumu destekli modellerde duygusal bağlam yüz animasyonuna uygulanır.
  4. Animasyon verileri, karakterin yüz hareketlerini gerçek zamanlı olarak yönlendirir.

Performans Mimarisi​

Model Mimarisi Genel Bakış​

Dudak senkronizasyonu modelleri, sesi mel-spektrogram analiziyle işleyen kompakt bir transformer tabanlı sinir ağı kullanır. Bu hafif mimari, verimli CPU çıkarımı ve minimum bellek ayak izi ile gerçek zamanlı performans için özel olarak tasarlanmıştır.

Neden CPU Çıkarımı?​

Küçük ve sık çıkarım işlemleri için, örneğin gerçek zamanlı lip sync, CPU işleme GPU'dan daha iyi gecikme özellikleri sunar. Batch boyutu 1 ve 10-100ms çıkarım aralıklarında, PCIe aktarımları ve kernel başlatımlarından kaynaklanan GPU ek yükü çoğu zaman gerçek hesaplama süresini aşar. Ayrıca, oyun motorlarında GPU zaten render, shader ve fizik ile doymuş durumdadır; bu da öngörülemeyen gecikme artışlarına yol açan kaynak çekişmesi yaratır.

Donanım Uyumluluğu​

Eklenti, özel bir grafik donanımı gerektirmeden çoğu orta ve üst seviye CPU'da verimli şekilde çalışır ve masaüstü, mobil ve VR platformlarında gerçek zamanlı performans sağlar. Daha zayıf donanımlar için Model Türü ayarını Semi-Optimized veya Highly Optimized olarak değiştirebilir ya da İşleme Parça Boyutu ayarını artırarak, tepki hızı biraz azalmış olsa da gerçek zamanlı performansı koruyabilirsiniz.

Hızlı Başlangıç​

İşte karakterinizde dudak senkronizasyonunu etkinleştirmek için temel bir kurulum:

  1. MetaHuman karakterleri için Kurulum Rehberi'ni izleyin.
  2. Özel karakterler için Özel Karakter Kurulum Rehberi'ni izleyin.
  3. Tercih ettiğiniz lip sync modelini seçin ve yapılandırın.
  4. Blueprint'inizde ses girişi işlemeyi yapılandırın.
  5. Animation Blueprint'teki uygun lip sync düğümünü bağlayın.
  6. Sesi oynatın ve karakterinizin senkronize şekilde canlandığını görün.

İsteğe Bağlı Göz Animasyonu​

Eklenti ayrıca MetaHuman'larda otomatik göz kırpma ve bakış takibi için isteğe bağlı yardımcılar içerir. Bunlar dudak senkronizasyonundan bağımsızdır ve tek başına veya onun üzerine eklenerek kullanılabilir. Bkz. Göz Animasyonu Yardımcıları.

Ek Kaynaklar​

📦 İndirmeler ve Bağlantılar​

Demo Projeler:

Kullanıma hazır iki demo projesi mevcuttur - tüm ayrıntılar, indirmeler ve adım adım anlatımlar için özel Demo Projeleri sayfasına bakın:

Her iki demo da platformlar arasıdır (Windows, Mac, Linux, iOS, Android, Meta Quest) ve paketlenmiş derlemeler ve tam UE 5.6+ kaynak projeleri olarak sunulur.

🎥 Video Eğitimleri​

Öne Çıkan Demolar:​

Gerçekçi Model (Yüksek Kaliteli) Eğitimler:​

Standart Model Eğitimleri:​

Genel Kurulum:​

💬 Destek​

Join our Discord
online · support