Dự án Demo

Để giúp bạn bắt đầu nhanh chóng với Runtime MetaHuman Lip Sync, có sẵn hai dự án demo sẵn sàng sử dụng. Cả hai đều được xây dựng với Unreal Engine 5.6+, chỉ dùng Blueprint và chạy đa nền tảng trên Windows, Mac, Linux, iOS, Android và các nền tảng dựa trên Android (bao gồm Meta Quest).

Các Dự Án Demo Có Sẵn

AI Hội Thoại NPC / Avatar Tương Tác

Một quy trình làm việc avatar hội thoại AI hoàn chỉnh kết hợp nhận dạng giọng nói, chatbot AI (LLM), chuyển văn bản thành giọng nói và phát âm thanh với đồng bộ môi thời gian thực - tất cả chạy cùng nhau trong một dự án duy nhất. Phù hợp với nhiều trường hợp sử dụng - bao gồm trò chơi, ki-ốt tương tác, sản xuất ảo, triển lãm bảo tàng, trợ lý kỹ thuật số và mô phỏng đào tạo.

Tổng quan về Pipeline

🎤 Microphone → Speech Recognition → 💬 LLM Chatbot → 🔊 Text-to-Speech → 👄 Lip Sync + Playback

Video

Xem nhanh (~30 giây)

Một đoạn trình diễn ngắn về bản demo đang hoạt động.

Hướng dẫn chi tiết

Hướng dẫn chi tiết bao gồm thiết lập, cấu hình và toàn bộ quy trình hội thoại.

Tải xuống

• Tải bản demo đã đóng gói (Windows)
• Tải tệp nguồn (UE 5.6+)

Plugin bắt buộc & Plugin tùy chọn

Dự án demo có tính mô-đun - bạn chỉ cần các plugin cho những nhà cung cấp mà bạn muốn sử dụng.

Plugin	Mục đích	Bắt buộc?
Runtime MetaHuman Lip Sync	Hoạt ảnh đồng bộ khẩu hình miệng	✅ Luôn luôn
Runtime Audio Importer	Thu âm và xử lý âm thanh	✅ Luôn luôn
Runtime Speech Recognizer	Nhận dạng giọng nói ngoại tuyến (whisper.cpp)	✅ Luôn luôn
Runtime AI Chatbot Integrator	Các LLM bên ngoài (OpenAI, Claude, DeepSeek, Gemini, Grok, Ollama) và/hoặc TTS bên ngoài (OpenAI, ElevenLabs)	🔶 Tùy chọn
Runtime Local LLM	Suy luận LLM cục bộ thông qua llama.cpp (các mô hình GGUF như Llama, Mistral, Gemma, v.v.)	🔶 Tùy chọn
Runtime Text To Speech	TTS cục bộ qua Piper và Kokoro	🔶 Tùy chọn

Plugin tùy chọn - yêu cầu của nhà cung cấp

Mặc dù mỗi plugin trên đều là tùy chọn riêng lẻ, bạn cần ít nhất một nhà cung cấp LLM và ít nhất một nhà cung cấp TTS để bản demo hoạt động. Bạn có thể tự do kết hợp (ví dụ: LLM cục bộ + TTS ElevenLabs, hoặc LLM OpenAI + TTS cục bộ).

Kiến trúc mô-đun

Trong thư mục Content, bạn sẽ tìm thấy thư mục Modules chứa ba thư mục con:

Content/
└── Modules/
    ├── RuntimeAIChatbotIntegrator/   ← External LLMs and/or external TTS
    ├── RuntimeLocalLLM/              ← Local LLM via llama.cpp
    └── RuntimeTextToSpeech/          ← Local TTS via Piper/Kokoro

Nếu bạn không mua một (hoặc nhiều) plugin tùy chọn, chỉ cần xóa (các) thư mục tương ứng. Các tài nguyên cơ bản của dự án demo (game instance, widget, v.v.) không tham chiếu trực tiếp đến các module này, vì vậy việc xóa chúng sẽ không gây ra lỗi tham chiếu tài nguyên. Giao diện cấu hình sẽ tự động ẩn bất kỳ nhà cung cấp nào có thư mục bị thiếu.

ghi chú

Tính mô-đun này chỉ áp dụng cho các nhà cung cấp LLM và TTS. Nhận dạng giọng nói (Runtime Speech Recognizer) và Đồng bộ khẩu hình (Runtime MetaHuman Lip Sync) là một phần của dự án demo cơ bản và luôn được yêu cầu.

cảnh báo

Khi khởi chạy lần đầu, Unreal có thể hỏi bạn có muốn tắt các plugin tùy chọn bị thiếu hay không - hãy nhấp vào Có. Hãy đảm bảo bạn cũng đã xóa thư mục Content/Modules/ tương ứng (xem ở trên).

Bố cục Dự án Demo

Giao diện người dùng chỉ dành cho mục đích trình diễn.

Giao diện người dùng hiển thị bên dưới được xây dựng hoàn toàn bằng UMG (Unreal Motion Graphics) và chỉ nhằm mục đích trình diễn quy trình - nhận dạng giọng nói → LLM → TTS → đồng bộ môi. Bạn có thể tùy chỉnh lại kiểu dáng hoặc thay thế nó để phù hợp với thiết kế trực quan, sơ đồ điều khiển hoặc nền tảng (VR/AR, di động, console, kiosk, v.v.) của dự án. Nếu một số widget không cần thiết trong trường hợp sử dụng của bạn, bạn cũng có thể chỉ cần ẩn chúng (ví dụ: đặt chế độ hiển thị thành Collapsed hoặc Hidden).

Area	Có gì ở đó?
Căn giữa	Nhân vật MetaHuman.
Bên trái	Bốn nút cấu hình (Nhận dạng giọng nói, Chatbot AI, Chuyển văn bản thành giọng nói, Hoạt ảnh), được mô tả chi tiết bên dưới.
Trung tâm phía dưới	Một nút Bắt đầu Ghi âm. Nhấp vào nó để bắt đầu một cuộc trò chuyện bằng giọng nói: micrô của bạn được thu âm, chuyển thành văn bản, gửi đến LLM, phản hồi được tổng hợp qua TTS và phát lại với đồng bộ môi, hoàn toàn rảnh tay.
Phải trung tâm	Một widget lịch sử hội thoại hiển thị toàn bộ quá trình trao đổi qua lại giữa bạn và AI (cả tin nhắn của người dùng và trợ lý). Nó cũng bao gồm một trường nhập văn bản, cho phép bạn nhập tin nhắn trực tiếp mà không cần sử dụng nhận dạng giọng nói, hữu ích cho việc kiểm thử, hỗ trợ khả năng tiếp cận hoặc khi không có micrô.

mẹo

Bạn có thể kết hợp cả hai chế độ nhập liệu một cách tự do trong cùng một phiên - nói một số tin nhắn, gõ những tin nhắn khác.

Nút Cấu Hình

Bốn nút cấu hình ở bên trái mở các bảng chuyên dụng cho từng phần của quy trình:

1. Cấu hình Nhận dạng Giọng nói

Cấu hình cách giọng nói của người dùng được thu và chuyển thành văn bản:

• Chọn ngôn ngữ
• Điều chỉnh tham số nhận dạng giọng nói (cài đặt mô hình Whisper)
• Cấu hình AEC (Khử tiếng vang âm thanh)
• Cấu hình VAD (Phát hiện hoạt động giọng nói)

2. Cấu hình Chatbot AI

Chọn nhà cung cấp LLM của bạn và cấu hình nó:

• Chọn nhà cung cấp (Runtime AI Chatbot Integrator hoặc Runtime Local LLM)
• Đối với nhà cung cấp bên ngoài: token xác thực, tên mô hình, v.v.
• Đối với LLM cục bộ: chọn một mô hình GGUF, đặt kích thước ngữ cảnh và các tham số suy luận khác. Bạn cũng có thể tải xuống mô hình GGUF của riêng mình trong thời gian chạy trực tiếp từ bản demo (ví dụ: qua URL) và sử dụng ngay lập tức mà không cần xây dựng lại dự án.

mẹo

ComboBox nhà cung cấp chỉ hiển thị các nhà cung cấp có thư mục module plugin tồn tại trong Content/Modules/.

3. Cấu hình Chuyển văn bản thành giọng nói

Chọn nhà cung cấp TTS của bạn và cấu hình giọng nói/mô hình:

• Chọn nhà cung cấp (Runtime AI Chatbot Integrator cho OpenAI/ElevenLabs, hoặc Runtime Text To Speech cho Piper/Kokoro cục bộ)
• Chọn giọng nói/mô hình
• Điều chỉnh các tham số dành riêng cho nhà cung cấp

4. Cấu hình Hoạt ảnh

Kiểm soát hình ảnh của hình đại diện AI của bạn:

• Chọn giữa 3 nhân vật MetaHuman đã tải sẵn (Aera, Ada, Orlando)
• Chọn mô hình đồng bộ môi (Tiêu chuẩn hoặc Thực tế)
• Chọn loại mô hình đồng bộ môi - Tối ưu hóa cao, Bán tối ưu hóa hoặc Gốc (xem Loại mô hình)
• Điều chỉnh Kích thước khối xử lý - kiểm soát tần suất suy luận đồng bộ môi chạy (xem Kích thước khối xử lý)
• Chọn một hoạt ảnh chờ để phát trên MetaHuman trong khi trò chuyện

Cấu hình trước Demo trong Editor

Khi làm việc với phiên bản nguồn, bạn có thể điền trước các giá trị mặc định trực tiếp trong trình chỉnh sửa để không cần nhập lại các giá trị mỗi lần chạy:

What	Ở đâu
Cài đặt chung (mô hình đồng bộ môi, hoạt ảnh chờ, lớp nhân vật, nhận dạng giọng nói, v.v.)	Content/LipSyncSTSGameInstance
Cài đặt LLM Bên Ngoài / TTS Bên Ngoài (Trình Tích Hợp Chatbot AI Thời Gian Chạy)	Content/Modules/RuntimeAIChatbotIntegrator/RuntimeAIChatbotIntegrator_Provider
Cài đặt Local LLM (Runtime Local LLM)	Content/Modules/RuntimeLocalLLM/RuntimeLocalLLM_Provider
Cài đặt TTS cục bộ (Chuyển văn bản thành giọng nói thời gian chạy)	Content/Modules/RuntimeTextToSpeech/RuntimeTextToSpeech_Provider

Ghi chú Đa Nền Tảng

Tất cả các plugin được sử dụng trong bản demo đều hỗ trợ Windows, Mac, Linux, iOS, Android và các nền tảng dựa trên Android (bao gồm cả Meta Quest), vì vậy dự án demo cũng hoạt động trên tất cả các nền tảng này. Điều này giúp nó phù hợp để triển khai trên nhiều môi trường khác nhau - từ trò chơi và ki-ốt máy tính để bàn đến ứng dụng di động, tai nghe VR độc lập và thiết lập sản xuất ảo tại trường quay.

Đối với các thiết bị có cấu hình yếu hơn (điện thoại di động, VR độc lập), bạn có thể muốn:

• Sử dụng mô hình đồng bộ môi chuẩn thay vì Realistic - xem So sánh mô hình
• Chuyển sang loại mô hình Tối ưu hóa cao
• Tăng Kích thước khối xử lý để giảm tải CPU
• Chọn các mô hình LLM / TTS nhỏ hơn

Xem Cấu hình theo nền tảng để biết thêm các bước thiết lập trên Android, iOS, Mac và Linux.

Hỗ trợ Pixel Streaming

Triển khai bản demo trên Pixel Streaming (nhấp để mở rộng)

Dự án demo AI Conversational cũng hoạt động trong môi trường Pixel Streaming, cho phép bạn truyền phát hình đại diện MetaHuman đến một máy khách từ xa (ví dụ: trình duyệt web) trong khi thu âm giọng nói từ micro của người dùng ở phía máy khách. Chỉ cần một thay đổi duy nhất đối với bản demo.

1. Cài đặt tiện ích mở rộng Pixel Streaming cho Runtime Audio Importer

Plugin Runtime Audio Importer cung cấp một plugin mở rộng miễn phí cho phép thu âm thanh từ máy khách Pixel Streaming. Tùy thuộc vào phiên bản cơ sở hạ tầng Pixel Streaming bạn đang sử dụng, hãy cài đặt một trong các phiên bản sau:

• Pixel Streaming mở rộng (dành cho plugin Pixel Streaming gốc), hoặc
• Pixel Streaming 2 mở rộng (dành cho plugin Pixel Streaming 2 mới hơn)

Các liên kết tải xuống và các bước cài đặt có sẵn tại đây: Cài đặt Plugin mở rộng Pixel Streaming Audio Capture.

2. Hoán đổi nút sóng âm thanh có thể thu được trong LipSyncSTSGameInstance

Sau khi plugin mở rộng được cài đặt:

1. Trong Content Browser, điều hướng đến /All/Game và mở asset LipSyncSTSGameInstance.
2. Chuyển sang Event Graph.
3. Xác định vị trí Event Init và theo dõi luồng thực thi cho đến khi bạn tìm thấy cặp node: Create Capturable Sound Wave → Set Capturable Sound Wave.
4. Thay thế lệnh gọi Create Capturable Sound Wave bằng Create Pixel Streaming Capturable Sound Wave hoặc Create Pixel Streaming 2 Capturable Sound Wave, tùy thuộc vào phiên bản cơ sở hạ tầng Pixel Streaming mà bạn đang nhắm tới.
5. Kết nối đầu ra của nó với cùng node Set Capturable Sound Wave.

Sau đó, dự án đã sẵn sàng để triển khai trên Pixel Streaming - nhận dạng giọng nói, LLM, TTS và đồng bộ môi sẽ hoạt động như trước, nhưng với âm thanh được thu từ máy khách từ xa thay vì micrô cục bộ.

Đưa Nhân Vật Của Riêng Bạn Vào

Dự án demo đi kèm với ba nhân vật MetaHuman mẫu (Aera, Ada, Orlando), nhưng bạn có thể nhập MetaHuman của riêng mình và sử dụng trong bản demo.

📺 Video hướng dẫn: Thêm nhân vật MetaHuman tùy chỉnh vào dự án Demo

ghi chú

Plugin Runtime MetaHuman Lip Sync tự nó hỗ trợ nhiều hệ thống nhân vật khác ngoài MetaHuman (nhân vật dựa trên ARKit, Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe, v.v. - xem Hướng dẫn Thiết lập Nhân vật Tùy chỉnh). Dù bạn đang xây dựng một NPC trong game, một người thuyết trình ảo, một nhân viên ki-ốt, hay một con người kỹ thuật số cho sản xuất ảo, plugin này sẽ thích ứng với quy trình nhân vật của bạn.

Bản demo Khớp môi cơ bản

Một dự án demo đơn giản hơn, tập trung hoàn toàn vào tính năng khớp khẩu hình (lip sync), không bao gồm toàn bộ quy trình hội thoại AI. Phù hợp nếu bạn chỉ muốn xem khớp khẩu hình hoạt động với nhiều nguồn âm thanh khác nhau.

Video Nổi Bật

Tải xuống

• Tải bản demo đã đóng gói (Windows)
• Tải tệp nguồn (UE 5.6+)

Bao gồm những gì

Bản demo này giới thiệu các quy trình đồng bộ khẩu hình cơ bản:

• Đầu vào micro - đồng bộ môi thời gian thực từ âm thanh trực tiếp
• Phát tệp âm thanh - đồng bộ môi từ các tệp âm thanh đã nhập
• Chuyển văn bản thành giọng nói - đồng bộ môi được điều khiển bởi giọng nói tổng hợp

Plugin bắt buộc & Plugin tùy chọn

Plugin	Mục đích	Bắt buộc?
Runtime MetaHuman Lip Sync	Hoạt ảnh đồng bộ môi	✅ Bắt buộc
Runtime Audio Importer	Nhập và ghi âm thanh	✅ Bắt buộc
Runtime Text To Speech	TTS cục bộ cho cảnh demo TTS	🔶 Tùy chọn
Runtime AI Chatbot Integrator	Các nhà cung cấp TTS bên ngoài (OpenAI, ElevenLabs)	🔶 Tùy chọn

Ghi chú cho Mô hình Lip Sync Tiêu chuẩn

Nếu bạn dự định sử dụng Mô hình Tiêu chuẩn (thay vì Mô hình Chân thực) trong một trong hai dự án demo, bạn sẽ cần cài đặt plugin Mở rộng Đồng bộ Môi Tiêu chuẩn. Xem Mở rộng Mô hình Tiêu chuẩn để biết hướng dẫn cài đặt.

Cần trợ giúp?

Nếu bạn gặp bất kỳ vấn đề nào khi thiết lập hoặc chạy các dự án demo, đừng ngần ngại liên hệ:

Join our Discord

online · support

Đối với các yêu cầu phát triển tùy chỉnh (ví dụ: mở rộng bản demo với logic riêng của bạn, điều chỉnh nó cho một nền tảng hoặc quy trình nhân vật cụ thể), vui lòng liên hệ [email protected].