Genel Bakış
Runtime MetaHuman Lip Sync, hem MetaHuman hem de özel karakterler için gerçek zamanlı, çevrimdışı ve çapraz platform dudak senkronizasyonu sağlayan bir eklentidir. Bir karakterin dudaklarını, aşağıdakiler de dahil olmak üzere çeşitli kaynaklardan gelen ses girdisine yanıt olarak canlandırmanıza olanak tanır:
- Runtime Audio Importer'ın yakalanabilir ses dalgası aracılığıyla mikrofon girdisi
- Runtime Text To Speech veya Runtime AI Chatbot Integrator'dan sentezlenen konuşma
- Float PCM formatındaki herhangi bir ses verisi (kayan noktalı örneklerden oluşan bir dizi)
Eklenti dahili olarak, ses girdisine dayalı olarak visemleri (fonemlerin görsel temsilleri) oluşturur. Metin yerine doğrudan ses verisiyle çalıştığı için, eklenti İngilizce, İspanyolca, Fransızca, Almanca, Japonca, Çince, Korece, Rusça, İtalyanca, Portekizce, Arapça ve Hintçe ile sınırlı olmamak üzere çok dilli girdiyi destekler. Kelimenin tam anlamıyla her dil desteklenir çünkü dudak senkronizasyonu, dile özgü metin işleme yerine ses fonemlerinden üretilir.
Standart Model, 14 visem üretir ve önceden tanımlanmış bir poz varlığı kullanarak dudak senkronizasyonu animasyonu gerçekleştirir. Buna karşılık, Gerçekçi Modeller (yalnızca MetaHuman karakterleri için) önceden tanımlanmış bir poz varlığına güvenmeden 81 yüz kontrol değişikliği oluşturur ve önemli ölçüde daha gerçekçi yüz animasyonlarıyla sonuçlanır.
Karakter Uyumluluğu
Adına rağmen, Runtime MetaHuman Lip Sync sadece MetaHuman'ların ötesinde geniş bir karakter yelpazesiyle çalışır:
Popüler Ticari Karakter Sistemleri
- Daz Genesis 8/9 karakterleri
- Reallusion Character Creator 3/4 (CC3/CC4) karakterleri
- Mixamo karakterleri
- ReadyPlayerMe avatar'ları
Animasyon Standartları Desteği
- FACS tabanlı blendshape sistemleri
- Apple ARKit blendshape standardı
- Preston Blair fonem setleri
- 3ds Max fonem sistemleri
- Yüz ifadeleri için özel morf hedefleri olan herhangi bir karakter
MetaHuman olmayan karakterlerle eklentiyi kullanma hakkında ayrıntılı talimatlar için Özel Karakter Kurulum Kılavuzu'na bakın.
Animasyon Önizleme
Eklenti tarafından üretilen dudak senkronizasyonu animasyonunun kalitesini, farklı karakter türleri ve modelleri arasında görmek için bu kısa animasyonları kontrol edin:




Temel Özellikler
- Mikrofon girişinden gerçek zamanlı dudak senkronizasyonu
- Çevrimdışı ses işleme desteği
- Model-özgü platform desteği ile çapraz platform uyumluluğu
- Birden fazla karakter sistemi ve animasyon standardı desteği
- Özel karakterler için esnek viseme eşleme
- Evrensel dil desteği - ses analizi yoluyla herhangi bir konuşulan dil ile çalışır
- Geliştirilmiş ifade gücü için ruh haline duyarlı yüz animasyonu
- Yapılandırılabilir çıktı türleri (tam yüz veya sadece ağız kontrolleri)
Dudak Senkronizasyon Modelleri
Eklenti, farklı proje ihtiyaçlarına uygun birden fazla dudak senkronizasyon modeli sunar:
- Standart Model
- Gerçekçi Model
- Ruh Haline Duyarlı Gerçekçi Model
Standart dudak senkronizasyon modeli, geniş karakter uyumluluğu ile verimli, çapraz platform performansı sağlar:
- MetaHumans ve tüm özel karakter türleri ile çalışır
- Gerçek zamanlı performans için optimize edilmiştir
- Daha düşük kaynak gereksinimleri
- Yerel TTS (Runtime Text To Speech eklentisi) ile tam uyumluluk
- Platform Desteği: Windows, Android, Android tabanlı platformlar (Meta Quest dahil)
- Üç optimizasyon seviyesi: Orijinal, Yarı-Optimize ve Yüksek Optimize
Standart Model'i kullanmak için ek bir uzantı eklentisi yüklemeniz gerekir. Kurulum talimatları için Önkoşullar bölümüne bakın.
Gerçekçi dudak senkronizasyon modeli, özellikle MetaHuman karakterleri için geliştirilmiş görsel kalite sunar:
- MetaHuman-özel gelişmiş yüz animasyonu (81 yüz kontrolü)
- Daha doğal ağız hareketleri ile daha yüksek görsel kalite
- Biraz daha yüksek performans gereksinimleri
- Sınırlı yerel TTS desteği (harici TTS servisleri önerilir)
- Sinematik deneyimler ve yakın plan karakter etkileşimleri için ideal
- Platform Desteği: Windows, Mac, iOS, Linux
- Üç optimizasyon seviyesi: Orijinal, Yarı-Optimize ve Yüksek Optimize
Gerçekçi Model ana eklentiye dahildir ve kullanmak için herhangi bir ek uzantı gerektirmez.
Ruh haline duyarlı gerçekçi model, MetaHuman karakterleri için duygu-farkındalıklı yüz animasyonu sağlar:
- MetaHuman-özel ruh haline duyarlı yüz animasyonu
- 12 farklı ruh hali türü (Nötr, Mutlu, Üzgün, Kendinden Emin, vb.)
- Yapılandırılabilir ruh hali yoğunluğu (0.0 ile 1.0 arası)
- Geliştirilmiş senkronizasyon için ayarlanabilir öngörü zamanlaması (20ms ile 200ms arası)
- Seçilebilir çıktı türleri: Tam Yüz veya Sadece Ağız kontrolleri
- Gerçek zamanlı uygulamalar için akış ses işleme
- Platform Desteği: Windows, Mac, iOS, Linux
Duygu Etkin Model* yapılandırılabilir öngörü zamanlaması ve seçici kontrol çıktısı gibi gelişmiş özellikler içerir ve bu da onu duygusal ifade kontrolü gerektiren uygulamalar için ideal kılar.
Projenizin performans, karakter uyumluluğu, görsel kalite, hedef platform ve özellik ihtiyaçlarına göre uygun modeli seçebilirsiniz.
Tüm modeller çeşitli ses giriş yöntemlerini desteklese de, normal Gerçekçi model, ONNX çalışma zamanı çakışmaları nedeniyle yerel TTS ile sınırlı uyumluluğa sahiptir. Ancak, Duygu Etkin Gerçekçi model, yerel TTS ile tamamen uyumludur. Metinden sese işlevselliği için:
- Standart Model: Tüm TTS seçenekleriyle (yerel ve harici) uyumlu
- Gerçekçi Model: Harici TTS servisleri önerilir (OpenAI, ElevenLabs)
- Duygu Etkin Gerçekçi Model: Tüm TTS seçenekleriyle (yerel ve harici) uyumlu
Nasıl Çalışır
Eklenti, ses girişini aşağıdaki şekilde işler:
- Ses verisi, belirtilen kanallar ve örnekleme hızı ile float PCM formatında alınır
- Eklenti, modele bağlı olarak yüz kontrol verisi veya visemler üretmek için sesi işler
- Duygu etkin modeller için, duygusal bağlam yüz animasyonuna uygulanır
- Animasyon verisi, karakterin yüz hareketlerini gerçek zamanlı olarak yönlendirir
Hızlı Başlangıç
Karakterinizde dudak senkronizasyonunu etkinleştirmek için temel bir kurulum:
- MetaHuman karakterler için, Kurulum Kılavuzu'nu izleyin
- Özel karakterler için, Özel Karakter Kurulum Kılavuzu'nu izleyin
- Tercih ettiğiniz dudak senkronizasyon modelini seçin ve yapılandırın
- Blueprint'inizde ses giriş işleme ayarlarını yapın
- Animation Blueprint'te uygun dudak senkronizasyon düğümünü bağlayın
- Sesi oynatın ve karakterinizin duyguyla konuştuğunu görün!
Ek Kaynaklar
📦 İndirmeler & Bağlantılar
- Fab'tan edinin
- Ürün websitesi
- Demo'yu İndir (Windows)
- Demo kaynak dosyalarını indir (UE 5.6) – Bu eklenti + Runtime Audio Importer gerektirir, isteğe bağlı: Text To Speech / AI Chatbot. Standart model küçük bir uzantı eklentisi gerektirir (bkz. burada)
🎥 Video Eğitimleri
Öne Çıkan Demo:
Gerçekçi Model (Yüksek Kalite) Eğitimleri:
- Ruh Hali Kontrolü & Yerel TTS ile Yüksek Kalite Lip Sync ⭐ YENİ
- ElevenLabs & OpenAI TTS ile Yüksek Kalite Lip Sync
- Yüksek Kalite Canlı Mikrofon Lip Sync
Standart Model Eğitimleri:
- Standart Canlı Mikrofon Lip Sync
- Yerel Metinden Sese ile Standart Lip Sync
- ElevenLabs & OpenAI TTS ile Standart Lip Sync
Genel Kurulum:
💬 Destek
- Discord destek sunucusu
- Özel Geliştirme: [email protected] (takımlar ve kuruluşlar için özel çözümler)