Demo Projeleri

Runtime MetaHuman Lip Sync ile hızlıca başlamanıza yardımcı olmak için kullanıma hazır iki demo projesi mevcuttur. Her ikisi de Unreal Engine 5.6+ ile oluşturulmuştur, yalnızca Blueprint tabanlıdır ve Windows, Mac, Linux, iOS, Android ile Android tabanlı platformlarda (Meta Quest dahil) platformlar arası çalışır.

Mevcut Demo Projeleri

AI Konuşmalı NPC / Etkileşimli Avatar

Konuşma tanıma, bir AI sohbet botu (LLM), metinden konuşmaya ve gerçek zamanlı dudak senkronizasyonu ile ses oynatmayı birleştiren ve tümü tek bir projede birlikte çalışan tam bir AI sohbet avatarı iş akışı. Oyunlar, etkileşimli kiosklar, sanal prodüksiyon, müze enstalasyonları, dijital asistanlar ve eğitim simülasyonları dahil çok çeşitli kullanım senaryoları için uygundur.

İşlem Hattına Genel Bakış

🎤 Microphone → Speech Recognition → 💬 LLM Chatbot → 🔊 Text-to-Speech → 👄 Lip Sync + Playback

LLM Streaming moduna ayarlandığında, gecikmeyi en aza indirmek için tam yanıtın beklenmesi yerine, çıktısı cümle cümle bölünür ve her cümle tamamlandığında TTS'ye gönderilir.

Videolar

Hızlı Önizleme (~30 sn)

Demoyu çalışırken kısa bir gösterimi.

Tam Rehber

Kurulumu, yapılandırmayı ve tüm konuşma hattını kapsayan ayrıntılı bir adım adım kılavuz.

İndirilenler

• Paketlenmiş demo indir (Windows)
• Kaynak dosyaları indir (UE 5.6+)

Gerekli ve İsteğe Bağlı Eklentiler

Demo projesi modülerdir - yalnızca kullanmak istediğiniz sağlayıcılar için eklentilere ihtiyacınız vardır.

Eklenti	Amaç	Gerekli mi?
Runtime MetaHuman Lip Sync	Dudak senkronizasyonu animasyonu	✅ Her zaman
Runtime Audio Importer	Ses yakalama ve işleme	✅ Her zaman
Runtime Speech Recognizer	Çevrimdışı konuşma tanıma (whisper.cpp)	✅ Her zaman
Runtime AI Chatbot Integrator	Harici LLM'ler (OpenAI, Claude, DeepSeek, Gemini, Grok, Ollama) ve/veya Harici TTS (OpenAI, ElevenLabs)	🔶 İsteğe bağlı
Runtime Local LLM	Yerel LLM çıkarımı, llama.cpp aracılığıyla (Llama, Mistral, Gemma, vb. GGUF modelleri)	🔶 İsteğe bağlı
Runtime Metinden Konuşma	Piper ve Kokoro Aracılığıyla Yerel TTS	🔶 İsteğe bağlı

İsteğe bağlı eklentiler - sağlayıcı gereksinimleri

Yukarıdaki eklentilerin her biri ayrı ayrı isteğe bağlı olsa da, demoyu çalıştırmak için en az bir LLM sağlayıcısı ve en az bir TTS sağlayıcısı gerekir. Serbestçe karıştırıp eşleştirebilirsiniz (ör. yerel LLM + ElevenLabs TTS veya OpenAI LLM + yerel TTS).

Modüler Mimari

Content klasöründe, üç alt klasör içeren bir Modules klasörü bulacaksınız:

Content/
└── Modules/
    ├── RuntimeAIChatbotIntegrator/   ← External LLMs and/or external TTS
    ├── RuntimeLocalLLM/              ← Local LLM via llama.cpp
    └── RuntimeTextToSpeech/          ← Local TTS via Piper/Kokoro

Eğer isteğe bağlı eklentilerden birini (veya birkaçını) edinmediyseniz, ilgili klasör(leri) silmeniz yeterlidir. Demo projesinin temel varlıkları (Game Instance, widget'lar vb.) bu modüllere doğrudan referans vermez; bu yüzden silmek varlık referans hatalarına yol açmaz. Yapılandırma arayüzü, klasörü eksik olan herhangi bir sağlayıcıyı otomatik olarak gizler.

not

Bu modülerlik yalnızca LLM ve TTS sağlayıcıları için geçerlidir. Konuşma Tanıma (Runtime Speech Recognizer) ve Dudak Senkronizasyonu (Runtime MetaHuman Lip Sync) temel demo projesinin parçasıdır ve her zaman gereklidir.

uyarı

İlk başlatmada Unreal, eksik isteğe bağlı eklentileri devre dışı bırakmak isteyip istemediğinizi sorabilir - Evet'e tıklayın. İlgili Content/Modules/ klasörünü de sildiğinizden emin olun (yukarıya bakın).

Birlikte Gelen Uzantı Eklentileri

Silero VAD, WebRTC AEC3 ve Standart Lip Sync uzantıları (genişletmek için tıklayın)

Demo'nun kaynak sürümü, Plugins/ klasöründe önceden paketlenmiş üç ücretsiz eklentiyle birlikte gelir: RuntimeAudioImporterSileroVAD (nöral VAD), RuntimeAudioImporterWebRTCAEC3 (yankı giderme) ve RuntimeMetaHumanLipSync_Standard (Standart dudak senkronizasyonu modeli).

Birlikte gelen ikili dosyalar UE 5.6 için önceden derlenmiştir. UE 5.7 / 5.8 için, bunları kaynaktan derleyebilir (her eklentinin belgelerine bakın) ya da önceden derlenmiş ikili dosyaları kullanabilirsiniz: UE 5.7 · UE 5.8. Kurulum için: Plugins/ içindeki mevcut üç klasörü silin ve ardından arşivin içeriğini bunların yerine Plugins/ klasörüne çıkarın.

Üçü de isteğe bağlıdır - eğer bunlara ihtiyacınız yoksa, başlatmadan önce Plugins/ içindeki klasörlerini silmeniz yeterlidir.

Demo Proje Düzeni

UI gösterim amaçlıdır.

Aşağıda gösterilen kullanıcı arayüzü tamamen UMG (Unreal Motion Graphics) ile oluşturulmuştur ve yalnızca pipeline'ı göstermek içindir - konuşma tanıma → LLM → TTS → dudak senkronizasyonu. Projenizin görsel tasarımına, kontrol şemanıza veya platformunuza (VR/AR, mobil, konsol, kiosk vb.) uyacak şekilde yeniden biçimlendirebilir veya değiştirebilirsiniz. Belirli widget'lar kullanım senaryonuzda gerekmiyorsa, onları kolayca gizleyebilirsiniz (ör. görünürlüklerini Collapsed veya Hidden olarak ayarlayın).

Area	Orada ne var?
Ortala	MetaHuman karakteri.
Sol taraf	Aşağıda ayrıntılı olarak açıklanan dört yapılandırma butonu (Konuşma Tanıma, AI Sohbet Botu, Metinden Konuşmaya, Animasyonlar).
Alt orta	Bir Kaydı Başlat düğmesi. Sesli bir konuşma başlatmak için tıklayın: mikrofonunuz yakalanır, metne dönüştürülür, LLM'e gönderilir, yanıt TTS ile sentezlenir ve dudak senkronizasyonu ile tamamen eller serbest şekilde oynatılır.
Sağ orta	Sohbet geçmişi bileşeni, siz ve AI arasındaki tüm karşılıklı mesajlaşmayı (hem kullanıcı hem de asistan mesajları) gösterir. Ayrıca bir metin giriş alanı içerir; böylece konuşma tanıma kullanmadan doğrudan mesaj yazabilirsiniz; bu, test etmek, erişilebilirlik için veya mikrofonun bulunmadığı durumlarda kullanışlıdır.

ipucu

Aynı oturumda her iki giriş modunu serbestçe karıştırabilirsiniz - bazı mesajları sesli söyleyin, bazılarını yazın.

ipucu

Dudak senkronizasyonu test ettikçe sesin daha da gerisinde kalıyorsa (sabit bir gecikme değilse), aşağıdaki Animasyonları Yapılandır bölümündeki İşleme Parça Boyutu'na bakın.

Yapılandırma Düğmeleri

Soldaki dört yapılandırma düğmesi, işlem hattının her bir bölümü için özel paneller açar:

1. Konuşma Tanımayı Yapılandırın

Kullanıcının sesinin nasıl yakalanacağını ve yazıya döküleceğini yapılandırın:

• Dil seç
• Konuşma tanıma parametrelerini ayarla (Whisper modeli ayarları)
• AEC'yi yapılandır (Akustik Yankı Giderme)
• VAD'i yapılandır (Ses Etkinliği Algılama)

2. AI Sohbet Robotunu Yapılandır

LLM sağlayıcınızı seçin ve yapılandırın:

• Sağlayıcı seçin (Runtime AI Chatbot Integrator veya Runtime Local LLM)
• Mod seçin: Normal veya Akış (sağlayıcıya bağlıdır, Akış, cümle cümle TTS aktarımını etkinleştirir, bkz. İşlem Hattı Genel Bakış)
• Harici sağlayıcılar için: kimlik doğrulama belirteci, model adı, vb.
• Yerel LLM için: bir GGUF modeli seçin, bağlam boyutunu ve diğer çıkarım parametrelerini ayarlayın. Ayrıca demo üzerinden doğrudan kendi GGUF modelinizi çalışma zamanında indirebilir (ör. URL ile) ve projeyi yeniden derlemeden hemen kullanabilirsiniz.

ipucu

Sağlayıcı açılır kutusu yalnızca, eklenti modülü klasörü Content/Modules/ içinde bulunan sağlayıcıları gösterir.

3. Metin Okumayı Yapılandırın

TTS sağlayıcınızı seçin ve sesleri/modelleri yapılandırın:

• Sağlayıcı seçin (OpenAI/ElevenLabs için Runtime AI Chatbot Integrator veya yerel Piper/Kokoro için Runtime Text To Speech)
• Mod seçin: Normal veya Akış (sesin tamamının bir kerede mi yoksa sentezlendikçe mi döndürüleceğini kontrol eder)
• Ses/model seçin
• Sağlayıcıya özel parametreleri ayarlayın

4. Animasyonları Yapılandır

AI avatarınızın görsellerini kontrol edin:

• 3 önceden indirilmiş MetaHuman karakteri arasından seçim yapın (Aera, Ada, Orlando)
• Dudak senkronizasyon modeli seçin (Standart veya Gerçekçi)
• Dudak senkronizasyon model türünü seçin - Yüksek Düzeyde Optimize Edilmiş, Yarı Optimize Edilmiş veya Orijinal (bkz. Model Türü)
• İşleme Parça Boyutunu ayarlayın - dudak senkronizasyonu çıkarımının ne sıklıkla çalıştığını kontrol eder (bkz. İşleme Parça Boyutu)
  • Dudak senkronizasyonu CPU yükü altında zamanla sesin daha da gerisinde kalıyorsa, bunu 480 veya 640'a yükseltin.
• Konuşma sırasında MetaHuman'da oynatılacak bir bekleme animasyonu seçin.

Editörde Demo'yu Ön Yapılandırma

kaynak sürümü ile çalışırken, varsayılanları doğrudan düzenleyicide önceden doldurabilirsiniz, böylece değerlerin her çalıştırmada yeniden girilmesi gerekmez:

What	Nerede
Genel ayarlar (dudak senkronizasyonu modeli, bekleme animasyonu, karakter sınıfı, konuşma tanıma, vb.)	Content/LipSyncSTSGameInstance
Harici LLM / Harici TTS ayarları (Runtime AI Chatbot Integrator)	Content/Modules/RuntimeAIChatbotIntegrator/RuntimeAIChatbotIntegrator_Provider
Yerel LLM ayarları (Runtime Local LLM)	Content/Modules/RuntimeLocalLLM/RuntimeLocalLLM_Provider
Yerel TTS ayarları (Runtime Metin Okuma)	Content/Modules/RuntimeTextToSpeech/RuntimeTextToSpeech_Provider

Platformlar Arası Notlar

Demo tarafından kullanılan tüm eklentiler Windows, Mac, Linux, iOS, Android ve Android tabanlı platformları (Meta Quest dahil) destekler, bu nedenle demo projesi de bunların tümünde çalışır. Bu, onu oyunlardan masaüstü kiosklarına, mobil uygulamalara, bağımsız VR başlıklarına ve setteki sanal prodüksiyon kurulumlarına kadar çok çeşitli ortamlarda dağıtım için uygun hale getirir.

Daha zayıf cihazlar için (mobil, bağımsız VR), şunları yapmak isteyebilirsiniz:

• Gerçekçi yerine Standart lip sync modelini kullanın - bkz. Model karşılaştırması
• Yüksek Düzeyde Optimize Edilmiş model türüne geçin
• CPU yükünü azaltmak için İşleme Parça Boyutunu artırın
• Daha küçük LLM / TTS modelleri seçin

Android, iOS, Mac ve Linux'ta ek kurulum adımları için Platforma Özel Yapılandırma bölümüne bakın.

Pixel Streaming Desteği

Demoyu Pixel Streaming üzerinde dağıtma (genişletmek için tıklayın)

AI Konuşmalı demo projesi ayrıca bir Pixel Streaming ortamında da çalışır; MetaHuman avatarını uzak bir istemciye (örn. bir web tarayıcısı) akışla aktarırken, kullanıcının mikrofon sesini istemci tarafından yakalamanıza olanak tanır. Demo için yalnızca tek bir değişiklik gerekir.

1. Runtime Audio Importer için Pixel Streaming eklentisini kurun.

Runtime Audio Importer eklentisi, bir Pixel Streaming istemcisinden ses yakalamayı sağlayan bir ücretsiz genişletme eklentisi sunar. Kullandığınız Pixel Streaming altyapı sürümüne bağlı olarak, şunlardan birini kurun:

• Pixel Streaming uzantısı (orijinal Pixel Streaming eklentisi), veya
• Pixel Streaming 2 uzantısı (daha yeni Pixel Streaming 2 eklentisi)

2. LipSyncSTSGameInstance içindeki yakalanabilir ses dalgası düğümünü değiştirin.

Genişletme eklentisi kurulduktan sonra:

1. Content Browser'da /All/Game yoluna gidin ve LipSyncSTSGameInstance asset'ini açın.
2. Event Graph'a geçin.
3. Event Init'i bulun ve şu düğüm çiftini bulana kadar yürütme akışını takip edin: Create Capturable Sound Wave → Set Capturable Sound Wave.
4. Create Capturable Sound Wave çağrısını, hedeflediğiniz Pixel Streaming altyapı sürümüne bağlı olarak Create Pixel Streaming Capturable Sound Wave veya Create Pixel Streaming 2 Capturable Sound Wave ile değiştirin.
5. Çıktısını aynı Set Capturable Sound Wave düğümüne bağlayın.

Bundan sonra, proje Pixel Streaming üzerinde yayınlanmaya hazırdır - konuşma tanıma, LLM, TTS ve dudak senkronizasyonu eskisi gibi çalışacak, ancak ses yerel bir mikrofon yerine uzak istemciden yakalanacaktır.

Kendi Karakterinizi Getirme

Demo projesi üç örnek MetaHuman karakteriyle (Aera, Ada, Orlando) birlikte gelir, ancak kendi MetaHuman'ınızı içe aktarıp demo'da kullanabilirsiniz.

📺 Video eğitimi: Demo Projesine Özel MetaHuman Karakteri Ekleme

not

Runtime MetaHuman Lip Sync eklentisinin kendisi, MetaHuman'ların ötesinde birçok başka karakter sistemini destekler (ARKit tabanlı karakterler, Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe vb. - bkz. Özel Karakter Kurulum Kılavuzu). İster bir oyun NPC'si, ister bir sanal sunumcu, ister bir kiosk görevlisi, ister sanal prodüksiyon için bir dijital insan inşa ediyor olun, eklenti karakter işlem hattınıza uyum sağlar.

Temel Lip Sync Demo

Daha basit bir demo projesi, tam AI sohbet iş akışı olmadan yalnızca lip sync özelliğine odaklanır. Lip sync'i çeşitli ses kaynaklarıyla çalışırken görmek istiyorsanız uygundur.

Öne Çıkan Video

İndirilenler

• Paketlenmiş demo (Windows) indir
• Kaynak dosyalarını indir (UE 5.6+)

Neler Dahil?

Bu demo temel lip sync iş akışlarını sergiliyor:

• Mikrofon girişi - canlı sesten gerçek zamanlı dudak senkronizasyonu
• Ses dosyası çalma - içe aktarılan ses dosyalarından dudak senkronizasyonu
• Metinden Konuşma - sentezlenmiş konuşmayla sürülen dudak senkronizasyonu

Gerekli ve İsteğe Bağlı Eklentiler

Eklenti	Amaç	Gerekli mi?
Runtime MetaHuman Lip Sync	Dudak senkronizasyonu animasyonu	✅ Zorunlu
Runtime Audio Importer	Ses içe aktarma ve yakalama	✅ Gerekli
Runtime Metin Okuma	TTS demo sahnesi için Yerel TTS	🔶 İsteğe bağlı
Runtime AI Chatbot Integrator	Harici TTS sağlayıcıları (OpenAI, ElevenLabs)	🔶 İsteğe bağlı

Birlikte Gelen Genişletme Eklentileri

Standart Dudak Senkronizasyonu uzantısı (genişletmek için tıklayın)

Kaynak sürümü, Plugins/ içinde önceden paketlenmiş RuntimeMetaHumanLipSync_Standard eklentisiyle birlikte gelir ve bu eklenti Standard lip sync modeli için destek ekler. İkili dosyalar UE 5.6 için önceden derlenmiştir; UE 5.7 / 5.8 için önceden derlenmiş arşivleri (UE 5.7 · UE 5.8) kullanın veya kaynak koddan derleyin. Kurulum için, Plugins/ içindeki mevcut klasörü silin ve arşivin içeriğini onun yerine çıkarın. Standard modeline ihtiyacınız yoksa klasörü değiştirmeden silin.

Yardıma mı ihtiyacınız var?

Eğer demo projelerini kurarken veya çalıştırırken herhangi bir sorunla karşılaşırsanız, bize ulaşmaktan çekinmeyin:

Join our Discord

online · support

Özel geliştirme talepleri için (örn. demoyu kendi mantığınızla genişletmek, belirli bir platform veya karakter pipeline'ına uyarlamak), [email protected] adresine başvurun.