Demo Projeleri

Runtime MetaHuman Lip Sync ile hızlıca başlamanıza yardımcı olmak için, kullanıma hazır iki demo projesi mevcuttur. Her ikisi de Unreal Engine 5.6+ ile oluşturulmuş olup, yalnızca Blueprint tabanlıdır ve Windows, Mac, Linux, iOS, Android ile Android tabanlı platformlarda (Meta Quest dahil) çapraz platform olarak çalışır.

Mevcut Demo Projeleri

Yapay Zeka Konuşmalı NPC / Etkileşimli Avatar

Tam bir yapay zeka konuşmalı avatar iş akışı; konuşma tanıma, bir yapay zeka sohbet robotu (LLM), metin-konuşma ve gerçek zamanlı dudak senkronizasyonu ile ses oynatmayı birleştirir - tümü tek bir projede birlikte çalışır. Oyunlar, etkileşimli kiosklar, sanal prodüksiyon, müze enstalasyonları, dijital asistanlar ve eğitim simülasyonları dahil olmak üzere çok çeşitli kullanım senaryolarına uygundur.

İşlem Hattına Genel Bakış

🎤 Microphone → Speech Recognition → 💬 LLM Chatbot → 🔊 Text-to-Speech → 👄 Lip Sync + Playback

Videolar

Hızlı Önizleme (~30 sn)

Demo'nun çalışır haldeki kısa bir tanıtımı.

Tam Kapsamlı Anlatım

Kurulum, yapılandırma ve tam konuşma hattını kapsayan ayrıntılı bir kılavuz.

İndirmeler

• Paketlenmiş demoyu indir (Windows)
• Kaynak dosyalarını indir (UE 5.6+)

Gerekli ve İsteğe Bağlı Eklentiler

Demo projesi modülerdir - yalnızca kullanmak istediğiniz sağlayıcıların eklentilerine ihtiyacınız vardır.

Eklenti	Amaç	Gerekli mi?
Runtime MetaHuman Lip Sync	Dudak senkronizasyonu animasyonu	✅ Her zaman
Runtime Audio Importer	Ses yakalama ve işleme	✅ Her zaman
Runtime Speech Recognizer	Çevrimdışı konuşma tanıma (whisper.cpp)	✅ Her zaman
Runtime AI Chatbot Integrator	Harici LLM'ler (OpenAI, Claude, DeepSeek, Gemini, Grok, Ollama) ve/veya Harici TTS (OpenAI, ElevenLabs)	🔶 İsteğe Bağlı
Runtime Local LLM	llama.cpp (Llama, Mistral, Gemma, vb. GGUF modelleri) aracılığıyla yerel LLM çıkarımı	🔶 İsteğe Bağlı
Runtime Text To Speech	Piper ve Kokoro ile Yerel TTS	🔶 İsteğe Bağlı

İsteğe bağlı eklentiler - sağlayıcı gereksinimleri

Yukarıdaki eklentilerin her biri ayrı ayrı isteğe bağlı olsa da, demoyu çalıştırmak için en az bir LLM sağlayıcısına ve en az bir TTS sağlayıcısına ihtiyacınız vardır. İstediğiniz gibi karıştırıp eşleştirebilirsiniz (örneğin yerel LLM + ElevenLabs TTS veya OpenAI LLM + yerel TTS).

Modüler Mimari

Content klasörünün içinde, üç alt klasör içeren bir Modules klasörü bulacaksınız:

Content/
└── Modules/
    ├── RuntimeAIChatbotIntegrator/   ← External LLMs and/or external TTS
    ├── RuntimeLocalLLM/              ← Local LLM via llama.cpp
    └── RuntimeTextToSpeech/          ← Local TTS via Piper/Kokoro

Eğer isteğe bağlı eklentilerden birini (veya birkaçını) edinmediyseniz, ilgili klasör(ler)i silmeniz yeterlidir. Demo projesinin temel varlıkları (oyun örneği, widget'lar vb.) bu modüllere doğrudan referans vermediğinden, bunları silmek varlık referans hatalarına yol açmaz. Yapılandırma arayüzü, klasörü eksik olan herhangi bir sağlayıcıyı otomatik olarak gizleyecektir.

not

Bu modülerlik yalnızca LLM ve TTS sağlayıcıları için geçerlidir. Konuşma Tanıma (Runtime Speech Recognizer) ve Dudak Senkronizasyonu (Runtime MetaHuman Lip Sync) temel demo projesinin bir parçasıdır ve her zaman gereklidir.

uyarı

İlk başlatmada Unreal, eksik isteğe bağlı eklentileri devre dışı bırakıp bırakmayacağınızı sorabilir - Evet'e tıklayın. Ayrıca ilgili Content/Modules/ klasörünü de sildiğinizden emin olun (yukarıya bakın).

Demo Projesi Düzeni

UI, gösterim amaçlıdır.

Aşağıda gösterilen kullanıcı arayüzü tamamen UMG (Unreal Motion Graphics) ile oluşturulmuştur ve yalnızca şu işlem hattını göstermek amacıyla tasarlanmıştır: konuşma tanıma → LLM → TTS → dudak senkronizasyonu. Projenizin görsel tasarımına, kontrol şemasına veya platformuna (VR/AR, mobil, konsol, kiosk vb.) uyacak şekilde yeniden biçimlendirebilir veya değiştirebilirsiniz. Kullanım durumunuzda belirli widget'lar gerekmiyorsa, bunları basitçe gizleyebilirsiniz (örneğin, görünürlüklerini Daraltılmış veya Gizli olarak ayarlayarak).

Area	Ne var?
Ortala	MetaHuman karakteri.
Sol taraf	Dört adet yapılandırma düğmesi (Konuşma Tanıma, Yapay Zeka Sohbet Robotu, Metinden Konuşmaya, Animasyonlar), aşağıda ayrıntılı olarak açıklanmıştır.
Alt orta	Bir Kaydı Başlat düğmesi. Sesli bir konuşma başlatmak için tıklayın: mikrofonunuz yakalanır, yazıya dökülür, LLM'ye gönderilir, yanıt TTS aracılığıyla sentezlenir ve dudak senkronizasyonu ile tamamen eller serbest şekilde oynatılır.
Sağ orta	Bir konuşma geçmişi bileşeni, sizinle yapay zeka arasındaki tüm karşılıklı konuşmayı (hem kullanıcı hem de asistan mesajları) gösterir. Ayrıca bir metin giriş alanı içerir, böylece ses tanıma kullanmadan doğrudan mesaj yazabilirsiniz; bu, test etmek, erişilebilirlik için veya mikrofonun bulunmadığı durumlarda kullanışlıdır.

ipucu

Aynı oturumda her iki giriş modunu da özgürce karıştırabilirsiniz; bazı mesajları konuşarak, bazılarını yazarak iletebilirsiniz.

Yapılandırma Düğmeleri

Soldaki dört yapılandırma düğmesi, hattın her bir bölümü için özel paneller açar:

1. Konuşma Tanımayı Yapılandırın

Kullanıcının sesinin nasıl yakalanacağını ve yazıya döküleceğini yapılandırın:

• Dil seçin
• Konuşma tanıma parametrelerini ayarlayın (Whisper model ayarları)
• AEC (Akustik Yankı İptali) yapılandırın
• VAD (Ses Etkinliği Algılama) yapılandırın

2. AI Sohbet Robotunu Yapılandırın

LLM sağlayıcınızı seçin ve yapılandırın:

• Sağlayıcıyı seçin (Runtime AI Chatbot Entegratörü veya Runtime Yerel LLM)
• Harici sağlayıcılar için: kimlik doğrulama tokeni, model adı, vb.
• Yerel LLM için: bir GGUF modeli seçin, bağlam boyutunu ve diğer çıkarım parametrelerini ayarlayın. Ayrıca, kendi GGUF modelinizi çalışma zamanında doğrudan demodan (örneğin URL ile) indirebilir ve projeyi yeniden derlemeden hemen kullanabilirsiniz.

ipucu

Sağlayıcı birleşik giriş kutusu, yalnızca eklenti modül klasörü Content/Modules/ içinde bulunan sağlayıcıları gösterir.

3. Metin Sesten Sese Yapılandırma

TTS sağlayıcınızı seçin ve sesleri/modelleri yapılandırın:

• Sağlayıcıyı seçin (OpenAI/ElevenLabs için Runtime AI Chatbot Entegratörü veya yerel Piper/Kokoro için Runtime Metin Konuşma)
• Ses/model seçin
• Sağlayıcıya özel parametreleri ayarlayın

4. Animasyonları Yapılandırın

AI avatarınızın görsellerini kontrol edin:

• 3 önceden indirilmiş MetaHuman karakteri arasından seçim yapın (Aera, Ada, Orlando)
• Dudak senkronizasyonu modeli seçin (Standart veya Gerçekçi)
• Dudak senkronizasyonu model türü seçin - Yüksek Düzeyde Optimize Edilmiş, Yarı Optimize Edilmiş veya Orijinal (bkz. Model Türü)
• İşleme Parça Boyutunu ayarlayın - dudak senkronizasyonu çıkarımının ne sıklıkta çalıştığını kontrol eder (bkz. İşleme Parça Boyutu)
• Konuşma sırasında MetaHuman üzerinde oynatılacak bir boşta kalma animasyonu seçin

Demo'yu Editörde Ön Yapılandırma

Kaynak sürüm ile çalışırken, değerlerin her çalıştırmada yeniden girilmesi gerekmesin diye varsayılanları doğrudan düzenleyicide önceden doldurabilirsiniz:

What	Nerede
Genel ayarlar (dudak senkronizasyonu modeli, boşta bekleme animasyonu, karakter sınıfı, konuşma tanıma vb.)	Content/LipSyncSTSGameInstance
Harici LLM / Harici TTS ayarları (Runtime AI Sohbet Botu Entegratörü)	Content/Modules/RuntimeAIChatbotIntegrator/RuntimeAIChatbotIntegrator_Provider
Yerel LLM ayarları (Runtime Local LLM)	Content/Modules/RuntimeLocalLLM/RuntimeLocalLLM_Provider
Yerel TTS ayarları (Runtime Metin Sesi)	Content/Modules/RuntimeTextToSpeech/RuntimeTextToSpeech_Provider

Platformlar Arası Notlar

Demo tarafından kullanılan tüm eklentiler Windows, Mac, Linux, iOS, Android ve Android tabanlı platformları (Meta Quest dahil) destekler, bu nedenle demo projesi de bunların tümünde çalışır. Bu sayede oyunlardan masaüstü kiosklara, mobil uygulamalardan bağımsız VR başlıklarına ve set üstü sanal prodüksiyon kurulumlarına kadar çok çeşitli ortamlarda dağıtıma uygun hale gelir.

Daha zayıf cihazlar (mobil, bağımsız VR) için şunları yapmak isteyebilirsiniz:

• Standart dudak senkronizasyon modeli yerine Gerçekçi modeli kullanın - Model karşılaştırması bölümüne bakın
• Yüksek Düzeyde Optimize Edilmiş model türüne geçin
• CPU yükünü azaltmak için İşlem Parça Boyutunu artırın
• Daha küçük LLM / TTS modelleri seçin

Bkz. Platforma Özel Yapılandırma Android, iOS, Mac ve Linux için ek kurulum adımları.

Pixel Streaming Desteği

Demo'yu Pixel Streaming'de Dağıtma (genişletmek için tıklayın)

AI Konuşmalı demo projesi, Pixel Streaming ortamında da çalışarak MetaHuman avatarını uzak bir istemciye (örneğin bir web tarayıcısı) akışla aktarmanıza ve kullanıcının mikrofon sesini istemci tarafından yakalamanıza olanak tanır. Demo için yalnızca tek bir değişiklik yapılması gerekir.

1. Runtime Audio Importer için Pixel Streaming eklentisini yükleyin

Runtime Audio Importer eklentisi, bir Pixel Streaming istemcisinden ses yakalamayı sağlayan ücretsiz bir genişletme eklentisi sunar. Kullandığınız Pixel Streaming altyapı sürümüne bağlı olarak aşağıdakilerden birini yükleyin:

• Pixel Streaming uzantısı (orijinal Pixel Streaming eklentisi) için, veya
• Pixel Streaming 2 uzantısı (daha yeni Pixel Streaming 2 eklentisi) için

İndirme bağlantıları ve kurulum adımları burada mevcuttur: Pixel Streaming Audio Capture - Eklenti Kurulumu.

2. LipSyncSTSGameInstance içindeki yakalanabilir ses dalgası düğümünü değiştirin

Eklenti eklentisi kurulduktan sonra:

1. İçerik Tarayıcısı'nda /All/Game konumuna gidin ve LipSyncSTSGameInstance varlığını açın.
2. Olay Grafiği'ne geçin.
3. Event Init'i bulun ve Create Capturable Sound Wave → Set Capturable Sound Wave düğüm çiftini bulana kadar yürütme akışını takip edin.
4. Create Capturable Sound Wave çağrısını, hedeflediğiniz Pixel Streaming altyapı sürümüne bağlı olarak Create Pixel Streaming Capturable Sound Wave veya Create Pixel Streaming 2 Capturable Sound Wave ile değiştirin.
5. Çıktısını aynı Set Capturable Sound Wave düğümüne bağlayın.

Bundan sonra proje, Pixel Streaming üzerinde dağıtılmaya hazırdır - konuşma tanıma, LLM, TTS ve dudak senkronizasyonu, yerel bir mikrofon yerine uzak istemciden yakalanan ses ile daha önce olduğu gibi çalışacaktır.

Kendi Karakterinizi Getirme

Demo projesi, üç örnek MetaHuman karakteriyle (Aera, Ada, Orlando) birlikte gelir, ancak kendi MetaHuman'ınızı içe aktarabilir ve demoda kullanabilirsiniz.

📺 Video eğitimi: Demo Projeye Özel Bir MetaHuman Karakteri Ekleme

not

Runtime MetaHuman Lip Sync eklentisi, MetaHuman'ların ötesinde birçok başka karakter sistemini de destekler (ARKit tabanlı karakterler, Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe vb. - Özel Karakter Kurulum Kılavuzu'na bakın). İster bir oyun NPC'si, ister bir sanal sunucu, ister bir kiosk görevlisi veya sanal prodüksiyon için bir dijital insan inşa ediyor olun, eklenti karakter iş akışınıza uyum sağlar.

Temel Dudak Senkronizasyonu Demo'su

Yalnızca dudak senkronizasyonu özelliğine odaklanan, tam AI konuşma iş akışını içermeyen daha basit bir demo projesi. Sadece çeşitli ses kaynaklarıyla dudak senkronizasyonunu çalışırken görmek istiyorsanız uygundur.

Öne Çıkan Video

İndirilenler

• Paketlenmiş demoyu indir (Windows)
• Kaynak dosyalarını indir (UE 5.6+)

Neler Dahil

Bu demo, temel dudak senkronizasyonu iş akışlarını sergilemektedir:

• Mikrofon girişi - canlı sesten gerçek zamanlı dudak senkronizasyonu
• Ses dosyası oynatma - içe aktarılan ses dosyalarından dudak senkronizasyonu
• Metin-Konuşma - sentezlenmiş konuşma ile yönlendirilen dudak senkronizasyonu

Gerekli ve İsteğe Bağlı Eklentiler

Eklenti	Amaç	Gerekli mi?
Runtime MetaHuman Lip Sync	Dudak senkronizasyonu animasyonu	✅ Gerekli
Runtime Audio Importer	Ses içe aktarma ve yakalama	✅ Gerekli
Runtime Text To Speech	TTS demo sahnesi için yerel TTS	🔶 İsteğe Bağlı
Runtime AI Chatbot Integrator	Harici TTS sağlayıcıları (OpenAI, ElevenLabs)	🔶 İsteğe Bağlı

Standart Lip Senkronizasyon Modeli için Notlar

Standart Model (Gerçekçi yerine) kullanmayı planlıyorsanız, Standart Dudak Senkronizasyonu Eklentisi'ni yüklemeniz gerekir. Kurulum talimatları için Standart Model Eklentisi sayfasına bakın.

Yardım mı Gerekiyor?

Demo projelerini kurarken veya çalıştırırken herhangi bir sorunla karşılaşırsanız, bizimle iletişime geçmekten çekinmeyin:

Join our Discord

online · support

Özel geliştirme talepleri için (örneğin, demoyu kendi mantığınızla genişletmek, belirli bir platform veya karakter hattına uyarlamak) [email protected] adresine başvurun.