Ana içeriğe geç

Genel Bakış

Runtime MetaHuman Lip Sync Documentation

Runtime MetaHuman Lip Sync, hem MetaHuman hem de özel karakterler için gerçek zamanlı, çevrimdışı ve platformlar arası dudak senkronizasyonu sağlayan bir eklentidir. Çeşitli kaynaklardan gelen ses girdilerine yanıt olarak bir karakterin dudaklarını canlandırmanıza olanak tanır; bu kaynaklar şunları içerir:

Eklenti, ses girişine dayalı olarak dahili olarak vizemler (fonemlerin görsel temsilleri) oluşturur. Metin yerine doğrudan ses verileriyle çalıştığı için eklenti, İngilizce, İspanyolca, Fransızca, Almanca, Japonca, Çince, Korece, Rusça, İtalyanca, Portekizce, Arapça ve Hintçe dahil ancak bunlarla sınırlı olmamak üzere çok dilli girdiyi destekler. Kelimenin tam anlamıyla her dil desteklenir, çünkü dudak senkronizasyonu, dile özgü metin işleme yerine ses fonemlerinden oluşturulur.

Standart Model, önceden tanımlanmış bir poz varlığı kullanarak 14 visem üretir ve dudak senkronizasyonu animasyonu gerçekleştirir. Buna karşılık, Gerçekçi Modeller (yalnızca MetaHuman ve ARKit tabanlı karakterlere özgüdür), önceden tanımlanmış bir poz varlığına dayanmadan 81 yüz kontrol değişikliği oluşturur ve bu da önemli ölçüde daha gerçekçi yüz animasyonları sağlar.

Karakter Uyumluluğu​

Adına rağmen, Runtime MetaHuman Lip Sync yalnızca MetaHuman'ların ötesinde geniş bir karakter yelpazesiyle çalışır:

  • Daz Genesis 8/9 karakterleri
  • Reallusion Character Creator 3/4 (CC3/CC4) karakterleri
  • Mixamo karakterleri
  • ReadyPlayerMe avatarları

Animasyon Standartları Desteği​

  • FACS tabanlı karışım şekil sistemleri
  • Apple ARKit karışım şekil standardı
  • Preston Blair fonem setleri
  • 3ds Max fonem sistemleri
  • Yüz ifadeleri için özel morf hedeflerine sahip herhangi bir karakter

MetaHuman olmayan karakterler için Standart Model kullanıyorsanız, Özel Karakter Kurulum Kılavuzu sayfasına bakın. ARKit tabanlı karakterler için Gerçekçi Modeller kullanıyorsanız, Morf Hedefi Seti Seçimi sayfasına bakın.

Animasyon Önizlemesi​

Farklı karakter türleri ve modellerde eklenti tarafından üretilen dudak senkronizasyonu animasyonunun kalitesini görmek için bu kısa animasyonlara göz atın:

MetaHuman karakteri ile gerçekçi model
MetaHuman karakteri ile standart model
Standart model, özel karakter ile
Standart model, özel karakter ile

Temel Özellikler​

Dudak Senkronizasyonu Modelleri​

Eklenti, farklı proje ihtiyaçlarına uygun birden fazla dudak senkronizasyonu modeli sunar:

Standart dudak senkronizasyon modeli, geniş karakter uyumluluğu ile verimli ve platformlar arası performans sunar:

  • MetaHuman'lar ve tüm özel karakter türleriyle çalışır
  • Gerçek zamanlı performans için optimize edilmiştir
  • Daha düşük kaynak gereksinimleri
  • Platform Desteği: Windows, Android, Android tabanlı platformlar (Meta Quest dahil)
Eklenti Eklentisi Gerekli

Standart Model'i kullanmak için ek bir eklenti kurmanız gerekir. Kurulum talimatları için Ön Koşullar bölümüne bakın.

Projenizin gereksinimlerine bağlı olarak performans, karakter uyumluluğu, görsel kalite, hedef platform ve özellik ihtiyaçlarına göre uygun modeli seçebilirsiniz.

Nasıl Çalışır​

Eklenti, ses girişini aşağıdaki şekilde işler:

  1. Ses verisi, belirtilen kanallar ve örnekleme hızı ile float PCM formatında alınır
  2. Eklenti, sesi işleyerek modele bağlı olarak yüz kontrol verisi veya visemeler üretir
  3. Ruh hali destekli modellerde, yüz animasyonuna duygusal bağlam uygulanır
  4. Animasyon verisi, karakterin yüz hareketlerini gerçek zamanlı olarak yönlendirir

Performans Mimarisi​

Runtime MetaHuman Lip Sync, yalnızca CPU çıkarımı kullanarak gerçek zamanlı uygulamalar için uygun, tutarlı ve düşük gecikmeli dudak senkronizasyonu sonuçları sunar. Varsayılan olarak eklenti, dudak senkronizasyonu işlemini her 10 milisaniyede bir gerçekleştirir (ayarlanabilir - tüm mevcut ayarlar için Eklenti Yapılandırması bölümüne bakın; İşleme Parça Boyutu, iş parçacığı sayısı ve diğer performans parametreleri dahil).

Model Mimarisi Genel Bakış​

Dudak senkronizasyon modelleri, sesi mel-spektrogram analizi yoluyla işleyen kompakt bir transformatör tabanlı sinir ağı kullanır. Bu hafif mimari, verimli CPU çıkarımı ve minimum bellek ayak izi ile gerçek zamanlı performans için özel olarak tasarlanmıştır.

Neden CPU Çıkarımı?​

Gerçek zamanlı dudak senkronizasyonu gibi küçük, sık çıkarım işlemleri için CPU işleme, GPU'ya kıyasla daha iyi gecikme özellikleri sunar. 1'lik parti boyutunda ve 10-100ms'lik çıkarım aralıklarında, PCIe aktarımları ve çekirdek başlatmalarından kaynaklanan GPU yükü, genellikle gerçek hesaplama süresini aşar. Ayrıca, oyun motorlarında GPU zaten render, gölgelendiriciler ve fizik ile doymuş durumdadır; bu da kaynak rekabeti yaratarak öngörülemeyen gecikme artışlarına neden olur.

Donanım Uyumluluğu​

Eklenti, özel bir grafik donanımı gerektirmeden çoğu orta ve üst seviye CPU'da verimli bir şekilde çalışır ve masaüstü, mobil ile VR platformlarında gerçek zamanlı performans sağlar. Daha zayıf donanımlar için, Model Türü ayarını Yarı Optimize veya Yüksek Düzeyde Optimize olarak değiştirebilir veya İşleme Parça Boyutunu artırarak biraz azalan tepki süresiyle gerçek zamanlı performansı koruyabilirsiniz.

Hızlı Başlangıç​

İşte karakterinizde dudak senkronizasyonunu etkinleştirmek için temel bir kurulum:

  1. MetaHuman karakterleri için Kurulum Kılavuzu'nu takip edin
  2. Özel karakterler için Özel Karakter Kurulum Kılavuzu'nu takip edin
  3. Tercih ettiğiniz dudak senkronizasyonu modelini seçin ve yapılandırın
  4. Blueprint'inizde ses giriş işlemeyi ayarlayın
  5. Animation Blueprint'te uygun dudak senkronizasyonu düğümünü bağlayın
  6. Sesi oynatın ve karakterinizin senkronize şekilde hareket ettiğini görün

Opsiyonel Göz Animasyonu​

Eklenti ayrıca MetaHuman'lar için otomatik göz kırpma ve bakış takibi için isteğe bağlı yardımcılar içerir. Bunlar dudak senkronizasyonundan bağımsızdır ve tek başına veya üzerine katmanlanarak kullanılabilir. Bkz. Göz Animasyonu Yardımcıları.

Ek Kaynaklar​

📦 İndirmeler ve Bağlantılar​

Demo Projeleri:

İki adet kullanıma hazır demo projesi mevcuttur - ayrıntılı bilgi, indirme ve anlatımlar için özel Demo Projeleri sayfasına bakın:

Her iki demo da çapraz platformdur (Windows, Mac, Linux, iOS, Android, Meta Quest) ve paketlenmiş yapılar ile tam UE 5.6+ kaynak projeleri olarak sunulur.

🎥 Video Eğitimleri​

Öne Çıkan Demolar:​

Gerçekçi Model (Yüksek Kalite) Eğitimleri:​

Standart Model Eğitimleri:​

Genel Kurulum:​

💬 Destek​

  • Özel Geliştirme: [email protected] (ekipler ve kuruluşlar için özelleştirilmiş çözümler)
Join our Discord
online · support