Demo Projeleri

Runtime MetaHuman Lip Sync ile hızlıca başlamanıza yardımcı olmak için, kullanıma hazır iki demo projesi mevcuttur. Her ikisi de Unreal Engine 5.6+ ile oluşturulmuştur, yalnızca Blueprint tabanlıdır ve Windows, Mac, Linux, iOS, Android ile Android tabanlı platformlarda (Meta Quest dahil) çapraz platform olarak çalışır.

Mevcut Demo Projeleri

Yapay Zeka Konuşmalı NPC / Etkileşimli Avatar
Temel Lip Sync Demo

Tam yapay zekâ konuşmalı avatar iş akışı; konuşma tanıma, bir yapay zekâ sohbet botu (LLM), metinden konuşmaya sentez ve gerçek zamanlı dudak senkronizasyonuyla ses çalma özelliklerini birleştirir - tümü tek bir projede birlikte çalışır. Oyunlar, etkileşimli kiosklar, sanal prodüksiyon, müze enstalasyonları, dijital asistanlar ve eğitim simülasyonları dahil olmak üzere geniş bir kullanım alanı yelpazesine uygundur.

İşlem Hattına Genel Bakış

🎤 Microphone → Speech Recognition → 💬 LLM Chatbot → 🔊 Text-to-Speech → 👄 Lip Sync + Playback

LLM Akış moduna ayarlandığında, çıktısı cümle cümle bölünür ve her cümle tamamlandığında tam yanıt beklenmeden TTS'e gönderilir; böylece gecikme en aza indirilir.

TTS ve dudak senkronizasyonu aynı prensibi izler: Streaming modu etkinleştirildiğinde, ses, tam klibin beklenmesi yerine geldikçe parçalar halinde işlenir ve canlandırılır.

Videolar

Hızlı Önizleme (~30 sn)

Demo'nun çalışırken kısa bir tanıtımı.

Tam Kılavuz

Kurulum, yapılandırma ve tam konuşma hattını kapsayan ayrıntılı bir kılavuz.

İndirilenler

Gerekli ve İsteğe Bağlı Eklentiler

Demo projesi modülerdir - yalnızca kullanmak istediğiniz sağlayıcıların eklentilerine ihtiyacınız vardır.

Eklenti	Amaç	Gerekli mi?
Runtime MetaHuman Lip Sync	Dudak senkronizasyonu animasyonu	✅ Her zaman
Runtime Audio Importer	Ses yakalama ve işleme	✅ Her zaman
Runtime Speech Recognizer	Çevrimdışı konuşma tanıma (whisper.cpp)	✅ Her zaman
Runtime AI Chatbot Integrator	Harici LLM'ler (OpenAI, Claude, DeepSeek, Gemini, Grok, Ollama) ve/veya Harici TTS (OpenAI, ElevenLabs)	🔶 İsteğe bağlı
Runtime Local LLM	llama.cpp aracılığıyla yerel LLM çıkarımı (Llama, Mistral, Gemma, vb. GGUF modelleri)	🔶 İsteğe bağlı
Runtime Text To Speech	Piper ve Kokoro ile yerel TTS	🔶 İsteğe bağlı

İsteğe bağlı eklentiler - sağlayıcı gereksinimleri

Yukarıdaki eklentilerin her biri ayrı ayrı isteğe bağlı olsa da, demoyu çalıştırmak için en az bir LLM sağlayıcısına ve en az bir TTS sağlayıcısına ihtiyacınız var. Serbestçe karıştırıp eşleştirebilirsiniz (ör. yerel LLM + ElevenLabs TTS veya OpenAI LLM + yerel TTS).

Modüler Mimari

Content klasöründe, üç alt klasör içeren bir Modules klasörü bulacaksınız:

Content/
└── Modules/
    ├── RuntimeAIChatbotIntegrator/   ← External LLMs and/or external TTS
    ├── RuntimeLocalLLM/              ← Local LLM via llama.cpp
    └── RuntimeTextToSpeech/          ← Local TTS via Piper/Kokoro

Eklenti paketlerinden birini (veya birkaçını) edinmediyseniz, ilgili klasör(leri) kolayca silin. Demo projesinin temel varlıkları (oyun örneği, widget'lar vb.) bu modüllere doğrudan referans vermez, bu yüzden silmek varlık referans hatalarına neden olmaz. Yapılandırma arayüzü, klasörü eksik olan herhangi bir sağlayıcıyı otomatik olarak gizleyecektir.

not

Bu modülerlik yalnızca LLM ve TTS sağlayıcıları için geçerlidir. Konuşma Tanıma (Runtime Speech Recognizer) ve Lip Sync (Runtime MetaHuman Lip Sync), temel demo projesinin bir parçasıdır ve her zaman gereklidir.

Modules folder structure

uyarı

İlk başlatmada Unreal, eksik isteğe bağlı eklentileri devre dışı bırakmak isteyip istemediğinizi sorabilir - Evet'e tıklayın. Ayrıca ilgili Content/Modules/ klasörünü de sildiğinizden emin olun (yukarıya bakın).

Paketli Eklenti Eklentileri

Silero VAD, WebRTC AEC3 ve Standart Lip Sync uzantıları (genişletmek için tıklayın)

Demo'nun kaynak sürümü, Plugins/ klasöründe önceden paketlenmiş üç ücretsiz eklenti eklentisiyle birlikte gelir: RuntimeAudioImporterSileroVAD (sinirsel VAD), RuntimeAudioImporterWebRTCAEC3 (yankı giderme) ve RuntimeMetaHumanLipSync_Standard (Standart dudak senkronizasyonu modeli).

Paketlenmiş ikili dosyalar UE 5.6 için önceden derlenmiştir. UE 5.7 / 5.8 için ya bunları kaynak koddan derleyin (her eklentinin belgelerine bakın) ya da önceden derlenmiş ikili dosyaları kullanın: UE 5.7 · UE 5.8. Kurulum için: Plugins/ içindeki mevcut üç klasörü silin, ardından arşivin içeriğini bu klasörlerin yerine Plugins/ dizinine çıkarın.

Üçü de isteğe bağlıdır - bunlara ihtiyacınız yoksa, başlatmadan önce Plugins/ klasöründeki klasörlerini silmeniz yeterlidir.

Demo Projesi Düzeni

Arayüz yalnızca gösterim amaçlıdır.

Aşağıda gösterilen kullanıcı arayüzü tamamen UMG (Unreal Motion Graphics) ile oluşturulmuştur ve yalnızca pipeline'ı göstermek amacıyla tasarlanmıştır - konuşma tanıma → LLM → TTS → dudak senkronizasyonu. Projenizin görsel tasarımına, kontrol şemasına veya platformuna (VR/AR, mobil, konsol, kiosk vb.) uyacak şekilde yeniden stillendirmek veya değiştirmekte özgürsünüz. Kullanım senaryonuzda belirli widget'lara ihtiyaç duyulmuyorsa, bunları basitçe gizleyebilirsiniz (ör. görünürlüklerini Collapsed veya Hidden olarak ayarlayın).

Annotated overview of the demo project main screen

Area	Orada ne var
Merkez	MetaHuman karakteri.
Sol taraf	Aşağıda ayrıntılı olarak açıklanan dört yapılandırma düğmesi (Konuşma Tanıma, AI Sohbet Robotu, Metinden Sese, Animasyonlar).
Alt merkez	Bir Kaydı Başlat düğmesi. Sesli bir sohbet başlatmak için tıklayın: mikrofonunuz yakalanır, metne dönüştürülür, LLM'ye gönderilir, yanıt TTS aracılığıyla sentezlenir ve tamamen eller serbest şekilde dudak senkronizasyonuyla oynatılır.
Sağ merkez	Siz ile yapay zeka arasındaki tüm karşılıklı konuşmayı (hem kullanıcı hem de asistan mesajları) gösteren bir konuşma geçmişi widget'ı. Ayrıca bir metin giriş alanı içerir; böylece konuşma tanımayı kullanmadan doğrudan mesaj yazabilirsiniz; bu, test etmek, erişilebilirlik için veya mikrofon bulunmadığında kullanışlıdır.

ipucu

Aynı oturumda iki giriş modunu serbestçe karıştırabilirsiniz - bazı mesajları sesli söyleyin, bazılarını yazın.

ipucu

Eğer lip sync test ettikçe sesin giderek daha da gerisinde kalıyorsa (sabit bir gecikme değilse), aşağıdaki Animasyonları Yapılandır bölümündeki İşleme Parça Boyutu'na bakın.

Yapılandırma Düğmeleri

Soldaki dört yapılandırma düğmesi, hattın her bir bölümü için özel paneller açar:

1. Konuşma Tanımayı Yapılandırın

Kullanıcının sesinin nasıl yakalanıp metne dönüştürüleceğini yapılandırın:

Dil seçin
Konuşma tanıma parametrelerini ayarlayın (Whisper modeli ayarları)
AEC'yi (Akustik Yankı Giderme) yapılandırın
VAD'yi (Ses Etkinliği Algılama) yapılandırın

Speech recognition configuration screen

2. Yapay Zeka Sohbet Robotunu Yapılandır

LLM sağlayıcınızı seçin ve yapılandırın:

Sağlayıcıyı seçin (Runtime AI Chatbot Integrator veya Runtime Local LLM)
Modu seçin: Normal veya Akış (sağlayıcıya bağlıdır, Akış cümle bazında TTS aktarımını etkinleştirir, bkz. İşlem Hattı Genel Bakışı)
Harici sağlayıcılar için: kimlik doğrulama belirteci, model adı vb.
Yerel LLM için: bir GGUF modeli seçin, bağlam boyutunu ve diğer çıkarım parametrelerini ayarlayın. Ayrıca kendi GGUF modelinizi çalışma zamanında doğrudan demodan (ör. URL ile) indirebilir ve projeyi yeniden derlemeden hemen kullanabilirsiniz.

ipucu

Sağlayıcı açılır listesi yalnızca eklenti modül klasörü Content/Modules/ içinde bulunan sağlayıcıları gösterir.

AI chatbot configuration - Runtime AI Chatbot Integrator (external LLM)

AI chatbot configuration - Runtime Local LLM (local GGUF)

3. Metin Konuşmaya Dönüştürmeyi Yapılandırın

TTS sağlayıcınızı seçin ve sesleri/modelleri yapılandırın:

Sağlayıcıyı seçin (OpenAI/ElevenLabs için Runtime AI Chatbot Integrator veya yerel Piper/Kokoro için Runtime Text To Speech)
Modu seçin: Normal veya Akış (sesin tamamının bir kerede mi yoksa sentezlendikçe mi döndürüleceğini kontrol eder)
Ses/model seçin
Sağlayıcıya özgü parametreleri ayarlayın

TTS configuration - Runtime AI Chatbot Integrator (external TTS)

TTS configuration - Runtime Local Text To Speech (local Piper/Kokoro)

4. Animasyonları Yapılandırın

AI avatarınızın görsellerini kontrol edin:

3 önceden indirilmiş MetaHuman karakteri arasından seçim yapın (Aera, Ada, Orlando)
Lip sync modelini seçin (Standart veya Gerçekçi)
Lip sync model türünü seçin - Yüksek Optimize, Yarı Optimize veya Orijinal (bkz. Model Türü)
İşleme Parça Boyutunu ayarlayın - lip sync çıkarımının ne sıklıkta çalıştığını kontrol eder (bkz. İşleme Parça Boyutu)
- Lip sync sesin gerisinde kalıyorsa ve CPU yükü altında zamanla daha da geriye düşüyorsa, bunu 480 veya 640'a yükseltin.
MetaHuman konuşma sırasında oynatılacak bir boşta durma animasyonu seçin.

Animations configuration screen

Editörde Demo'yu Ön Yapılandırma

Kaynak sürümüyle çalışırken, varsayılan değerleri doğrudan editörde önceden doldurabilirsiniz; böylece her çalıştırmada değerlerin yeniden girilmesi gerekmez:

What	Nerede
Genel ayarlar (lip sync modeli, boşta animasyonu, karakter sınıfı, konuşma tanıma vb.)	`Content/LipSyncSTSGameInstance`
Harici LLM / Harici TTS ayarları (Runtime AI Chatbot Integrator)	`Content/Modules/RuntimeAIChatbotIntegrator/RuntimeAIChatbotIntegrator_Provider`
Yerel LLM ayarları (Runtime Local LLM)	`Content/Modules/RuntimeLocalLLM/RuntimeLocalLLM_Provider`
Yerel TTS ayarları (Runtime Text To Speech)	`Content/Modules/RuntimeTextToSpeech/RuntimeTextToSpeech_Provider`

Çapraz Platform Notları

Demo'nun kullandığı tüm eklentiler Windows, Mac, Linux, iOS, Android ve Android tabanlı platformları (Meta Quest dahil) destekler, bu nedenle demo projesi de bunların hepsinde çalışır. Bu, onu oyunlardan masaüstü kiosklarına, mobil uygulamalara, bağımsız VR başlıklarına ve set üstü sanal prodüksiyon kurulumlarına kadar çok çeşitli ortamlarda dağıtım için uygun hale getirir.

Daha zayıf cihazlar için (mobil, bağımsız VR), şunları yapmak isteyebilirsiniz:

Standart lip sync modelini kullanın, Realistic yerine - Model karşılaştırmasına bakın
Yüksek Düzeyde Optimize Edilmiş model türüne geçin
CPU yükünü azaltmak için İşleme Parça Boyutunu artırın
Daha küçük LLM / TTS modelleri seçin

Android, iOS, Mac ve Linux için ek kurulum adımlarını Platforma Özel Yapılandırma bölümünde bulabilirsiniz.

Pixel Streaming Desteği

Demo'yu Pixel Streaming üzerinde dağıtma (genişletmek için tıklayın)

AI Konuşmalı demo projesi ayrıca bir Pixel Streaming ortamında da çalışır; MetaHuman avatarını uzak bir istemciye (ör. bir web tarayıcısı) akışmanıza olanak tanırken, kullanıcının mikrofon sesini istemci tarafından yakalar. Demo için yalnızca tek bir değişiklik gerekir.

1. Runtime Audio Importer için Pixel Streaming eklentisini kurun

Runtime Audio Importer eklentisi, bir Pixel Streaming istemcisinden ses yakalamayı sağlayan ücretsiz bir genişletme eklentisi sunar. Hangi Pixel Streaming altyapı sürümünü kullandığınıza bağlı olarak şunlardan birini kurun:

Pixel Streaming uzantısı (orijinal Pixel Streaming eklentisi için) veya
Pixel Streaming 2 uzantısı (daha yeni Pixel Streaming 2 eklentisi için)

İndirme bağlantıları ve kurulum adımları burada mevcuttur: Pixel Streaming Audio Capture - Eklenti Eklentisi Kurulumu.

2. `LipSyncSTSGameInstance` içindeki yakalanabilir ses dalgası düğümünü değiştirin.

Eklenti eklentisi kurulduktan sonra:

İçerik Tarayıcısı'nda /All/Game konumuna gidin ve LipSyncSTSGameInstance varlığını açın.
Event Graph'e geçin.
Event Init'i bulun ve şu node çiftini bulana kadar yürütme akışını takip edin: Create Capturable Sound Wave → Set Capturable Sound Wave.
Create Capturable Sound Wave çağrısını, hedeflediğiniz Pixel Streaming altyapı sürümüne bağlı olarak Create Pixel Streaming Capturable Sound Wave veya Create Pixel Streaming 2 Capturable Sound Wave ile değiştirin.
Çıktısını aynı Set Capturable Sound Wave node'una bağlayın.

Bundan sonra proje, Pixel Streaming üzerinde dağıtıma hazırdır - konuşma tanıma, LLM, TTS ve lip sync, daha önce olduğu gibi çalışacaktır; ancak ses, yerel bir mikrofon yerine uzak istemciden yakalanacaktır.

Kendi Karakterini Getirme

Demo projesi, üç örnek MetaHuman karakteriyle (Aera, Ada, Orlando) birlikte gelir, ancak kendi MetaHuman'ınızı içe aktarıp demoda kullanabilirsiniz.

📺 Video eğitimi: Demo Projesine Özel MetaHuman Karakteri Ekleme

not

Runtime MetaHuman Lip Sync eklentisinin kendisi, MetaHuman'ların ötesinde birçok başka karakter sistemini destekler (ARKit tabanlı karakterler, Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe, vb. - bkz. Özel Karakter Kurulum Rehberi). İster bir oyun NPC'si, ister sanal bir sunucu, ister bir kiosk görevlisi, isterse sanal prodüksiyon için dijital bir insan geliştiriyor olun, eklenti karakter hattınıza uyum sağlar.

Odaklanmış bir demo projesi; lip sync özelliğini çeşitli ses kaynakları üzerinde sergiler. Lip sync'in kendisi, herhangi bir akış ses girişiyle, herhangi bir dilde çalışır ve sesi gerçek zamanlı olarak parça parça işler.