Demo Projeleri
Runtime MetaHuman Lip Sync ile hızlıca başlamanıza yardımcı olmak için, kullanıma hazır iki demo projesi mevcuttur. Her ikisi de Unreal Engine 5.6 ile oluşturulmuştur (ve UE 5.7+ üzerinde desteklenir), sadece Blueprint kullanılarak geliştirilmiştir ve Windows, Mac, Linux, iOS, Android ile Meta Quest dahil Android tabanlı platformlarda çapraz platform olarak çalışır.
Mevcut Demo Projeleri
- AI Conversational NPC
- Temel Dudak Senkronizasyonu Demosu
Konuşma tanıma, bir AI sohbet robotu (LLM), metin-sese dönüştürme ve gerçek zamanlı dudak senkronizasyonu ile ses oynatmayı birleştiren eksiksiz bir AI NPC konuşma iş akışı; hepsi tek bir projede birlikte çalışır.
İş Akışı Genel Bakış
🎤 Microphone → Speech Recognition → 💬 LLM Chatbot → 🔊 Text-to-Speech → 👄 Lip Sync + Playback
Öne Çıkan Video
İndirmeler
Gerekli ve İsteğe Bağlı Eklentiler
Demo projesi modülerdir - yalnızca kullanmak istediğiniz sağlayıcılar için gereken eklentilere ihtiyacınız vardır.
| Eklenti | Amaç | Zorunlu mu? |
|---|---|---|
| Runtime MetaHuman Lip Sync | Dudak senkronizasyonu animasyonu | ✅ Her zaman |
| Runtime Audio Importer | Ses yakalama ve işleme | ✅ Her zaman |
| Runtime Speech Recognizer | Çevrimdışı konuşma tanıma (whisper.cpp) | ✅ Her zaman |
| Runtime AI Chatbot Integrator | Harici LLM'ler (OpenAI, Claude, DeepSeek, Gemini, Grok, Ollama) ve/veya harici TTS (OpenAI, ElevenLabs) | 🔶 İsteğe bağlı* |
| Runtime Local LLM | llama.cpp ile yerel LLM çıkarımı (Llama, Mistral, Gemma, vb., GGUF modelleri) | 🔶 İsteğe bağlı* |
| Runtime Text To Speech | Piper ve Kokoro ile yerel TTS | 🔶 İsteğe bağlı* |
* En az bir LLM sağlayıcısına ve en az bir TTS sağlayıcısına ihtiyacınız vardır. Serbestçe karıştırıp eşleştirebilirsiniz (ör. yerel LLM + ElevenLabs TTS veya OpenAI LLM + yerel TTS).
Modüler Mimari
Demo projesi tamamen modülerdir. Content klasöründe, üç alt klasör içeren bir Modules klasörü bulacaksınız:
Content/
└── Modules/
├── RuntimeAIChatbotIntegrator/ ← External LLMs and/or external TTS
├── RuntimeLocalLLM/ ← Local LLM via llama.cpp
└── RuntimeTextToSpeech/ ← Local TTS via Piper/Kokoro
If you didn't acquire one (or more) of the optional plugins, simply delete the corresponding folder(s). The demo project's base assets (game instance, widgets, etc.) do not reference these modules directly, so deleting them won't cause asset reference errors. The configuration UI will automatically hide any provider whose folder is missing.
This modularity applies only to LLM and TTS providers. Speech Recognition (Runtime Speech Recognizer) and Lip Sync (Runtime MetaHuman Lip Sync) are part of the base demo project and are always required.
On first launch, Unreal may ask whether to disable any missing optional plugins - click Yes. Make sure you've also deleted the corresponding Content/Modules/ folder (see above).
Demo Project Layout
The user interface shown below is built entirely with UMG (Unreal Motion Graphics) and is intended purely to demonstrate the pipeline - speech recognition → LLM → TTS → lip sync. You're free to restyle or replace it to match your game's visual design, control scheme, or platform (VR/AR, mobile, console, etc.). If certain widgets aren't needed in your use case, you can also simply hide them (e.g. set their visibility to Collapsed or Hidden).
| Alan | Ne var |
|---|---|
| Merkez | MetaHuman karakteri. |
| Sol taraf | Dört yapılandırma düğmesi (Konuşma Tanıma, AI Sohbet Robotu, Metin Konuşmaya Dönüştürme, Animasyonlar), aşağıda ayrıntılı olarak açıklanmıştır. |
| Alt orta | Bir Kaydı Başlat düğmesi. Üzerine tıklayarak sesli bir konuşma başlatın: mikrofonunuz yakalanır, metne dönüştürülür, LLM'ye gönderilir, yanıt TTS ile sentezlenir ve tamamen eller serbest olarak dudak senkronizasyonuyla oynatılır. |
| Sağ orta | Sizinle AI arasındaki tüm gidiş gelişi (hem kullanıcı hem asistan mesajları) gösteren bir konuşma geçmişi widget'ı. Ayrıca bir metin giriş alanı içerir, böylece konuşma tanıma kullanmadan doğrudan mesaj yazabilirsiniz; test etmek, erişilebilirlik veya mikrofon bulunmadığında kullanışlıdır. |
Aynı oturumda her iki giriş modunu serbestçe karıştırabilirsiniz - bazı mesajları söyleyin, bazılarını yazın.
Configuration Buttons
The four configuration buttons on the left open dedicated panels for each part of the pipeline:
1. Konuşma Tanımayı Yapılandır
Kullanıcının sesinin nasıl yakalanıp metne dönüştürüleceğini yapılandırın:
- Dil seçin
- Konuşma tanıma parametrelerini ayarlayın (Whisper model ayarları)
- AEC (Akustik Yankı Engelleme) yapılandırın
- VAD (Ses Aktivitesi Algılama) yapılandırın
2. AI Sohbet Robotunu Yapılandır
LLM sağlayıcınızı seçin ve yapılandırın:
- Sağlayıcı seçin (Runtime AI Chatbot Integrator veya Runtime Local LLM)
- Harici sağlayıcılar için: kimlik doğrulama jetonu (auth token), model adı, vb.
- Yerel LLM için: bir GGUF modeli seçin, bağlam boyutu (context size) ve diğer çıkarım parametrelerini ayarlayın. Ayrıca demoyu kullanarak çalışma zamanında kendi GGUF modelinizi indirebilir (örneğin URL ile) ve projeyi yeniden oluşturmaya gerek kalmadan hemen kullanabilirsiniz.
Sağlayıcı seçim kutusu yalnızca Content/Modules/ içinde eklenti modül klasörü bulunan sağlayıcıları gösterir.
3. Metin Konuşmaya Dönüştürmeyi Yapılandır
TTS sağlayıcınızı seçin ve sesleri/modelleri yapılandırın:
- Sağlayıcı seçin (OpenAI/ElevenLabs için Runtime AI Chatbot Integrator veya yerel Piper/Kokoro için Runtime Text To Speech)
- Ses/model seçin
- Sağlayıcıya özgü parametreleri ayarlayın
4. Animasyonları Yapılandır
AI NPC'nizin görsellerini kontrol edin:
- Önceden indirilmiş 3 MetaHuman karakteri arasından seçim yapın (Aera, Ada, Orlando)
- Dudak senkronizasyon modeli seçin (Standard veya Realistic)
- Dudak senkronizasyon model türü seçin - Highly Optimized, Semi-Optimized veya Original (bkz. Model Türü)
- İşleme Parça Boyutunu (Processing Chunk Size) ayarlayın - dudak senkronizasyonu çıkarımının ne sıklıkta çalışacağını kontrol eder (bkz. İşleme Parça Boyutu)
- Konuşma sırasında MetaHuman üzerinde oynatılacak bir boşta animasyon (idle animation) seçin
Demoyu Editörde Önceden Yapılandırma
When working with the source version, you can pre-fill defaults directly in the editor so values don't need to be re-entered every run:
| Ne | Nerede |
|---|---|
| Genel ayarlar (dudak senkronizasyon modeli, boşta animasyon, karakter sınıfı, konuşma tanıma, vb.) | Content/LipSyncSTSGameInstance |
| Harici LLM / Harici TTS ayarları (Runtime AI Chatbot Integrator) | Content/Modules/RuntimeAIChatbotIntegrator/RuntimeAIChatbotIntegrator_Provider |
| Yerel LLM ayarları (Runtime Local LLM) | Content/Modules/RuntimeLocalLLM/RuntimeLocalLLM_Provider |
| Yerel TTS ayarları (Runtime Text To Speech) | Content/Modules/RuntimeTextToSpeech/RuntimeTextToSpeech_Provider |
Çapraz Platform Notları
All plugins used by the demo support Windows, Mac, Linux, iOS, Android, and Android-based platforms (including Meta Quest), so the demo project works on all of these as well.
For weaker devices (mobile, standalone VR), you may want to:
- Use the Standard lip sync model instead of Realistic - see the Model comparison
- Switch to Highly Optimized model type
- Increase Processing Chunk Size to reduce CPU load
- Pick smaller LLM / TTS models
See Platform-specific Configuration for additional setup steps on Android, iOS, Mac, and Linux.
Kendi MetaHuman'ınızı Getirme
The demo project ships with three sample MetaHuman characters (Aera, Ada, Orlando), but you can import your own MetaHuman and use it in the demo.
📺 Video eğitimi: Demo Projesine Özel MetaHuman Karakteri Ekleme
Runtime MetaHuman Lip Sync eklentisi, MetaHuman'ların ötesinde birçok başka karakter sistemini de destekler (ARKit tabanlı karakterler, Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe, vb. - bkz. Özel Karakter Kurulum Kılavuzu).
A simpler demo project that focuses purely on the lip sync feature itself, without the full AI conversational workflow. Suitable if you just want to see lip sync in action with various audio sources.
Featured Video
Downloads
What's Included
This demo showcases the basic lip sync workflows:
- Microphone input - real-time lip sync from live audio
- Audio file playback - lip sync from imported audio files
- Text-to-Speech - lip sync driven by synthesized speech
Required & Optional Plugins
| Plugin | Purpose | Required? |
|---|---|---|
| Runtime MetaHuman Lip Sync | Lip sync animation | ✅ Required |
| Runtime Audio Importer | Audio import & capture | ✅ Required |
| Runtime Text To Speech | Local TTS for the TTS demo scene | 🔶 Optional |
| Runtime AI Chatbot Integrator | External TTS providers (OpenAI, ElevenLabs) | 🔶 Optional |
Standart Dudak Senkronizasyon Modeli İçin Notlar
Eğer demo projelerinden herhangi birinde Standard Model'i (Realistic yerine) kullanmayı planlıyorsanız, Standard Lip Sync Extension eklentisini yüklemeniz gerekecektir. Kurulum talimatları için Standard Model Extension sayfasına bakın.
Yardıma mı ihtiyacınız var?
Demo projelerini kurarken veya çalıştırırken herhangi bir sorunla karşılaşırsanız, çekinmeden ulaşın:
Özel geliştirme istekleri için (örneğin demoyu kendi mantığınızla genişletme, belirli bir platform veya karakter ardışık düzeni için uyarlama), [email protected] adresinden iletişime geçin.