Hướng dẫn Thiết lập

Hướng dẫn này sẽ hướng dẫn bạn qua quy trình thiết lập cơ bản cho Runtime MetaHuman Lip Sync với các nhân vật MetaHuman của bạn.

Lưu ý: Runtime MetaHuman Lip Sync hoạt động với cả MetaHuman và nhân vật tùy chỉnh. Để biết hướng dẫn chi tiết về cách thiết lập nhân vật tùy chỉnh, hãy xem Hướng dẫn Thiết lập Nhân vật Tùy chỉnh.

Điều kiện Tiên quyết

Trước khi bắt đầu, hãy đảm bảo:

1. Yêu cầu về Plugin MetaHuman:

   • UE 5.5 trở về trước: Bật plugin MetaHuman trong dự án của bạn
   • UE 5.6 trở lên: Bật plugin MetaHuman Core Tech trong dự án của bạn
   Các Plugin MetaHuman Bổ sung

   Tùy thuộc vào cách bạn tạo nhân vật MetaHuman, bạn có thể cần các plugin bổ sung. Ví dụ: nếu bạn định tạo MetaHuman bằng hệ thống MetaHuman Creator mới được giới thiệu trong UE 5.6, bạn cũng sẽ cần bật plugin MetaHuman Creator. Để biết thêm thông tin về hệ thống này, hãy xem tài liệu MetaHuman Creator.

2. Bạn có ít nhất một nhân vật MetaHuman đã tải xuống và có sẵn trong dự án của mình

3. Plugin Runtime MetaHuman Lip Sync đã được cài đặt

Plugin Mở rộng Mô hình Chuẩn

Nếu bạn định sử dụng Mô hình Chuẩn, bạn sẽ cần cài đặt plugin mở rộng:

1. Tải xuống plugin Mở rộng Lip Sync Chuẩn từ đây
2. Giải nén thư mục từ kho lưu trữ đã tải xuống vào thư mục Plugins của dự án (tạo thư mục này nếu nó chưa tồn tại)
3. Đảm bảo dự án của bạn được thiết lập như một dự án C++ (ngay cả khi bạn không có bất kỳ mã C++ nào)
4. Xây dựng lại dự án của bạn

ghi chú

• Phần mở rộng này chỉ bắt buộc nếu bạn muốn sử dụng Mô hình Chuẩn. Nếu bạn chỉ cần Mô hình Thực tế, bạn có thể bỏ qua bước này.
• Để biết thêm thông tin về cách xây dựng plugin thủ công, hãy xem Hướng dẫn Xây dựng Plugin

Các Plugin Bổ sung

• Nếu bạn định sử dụng tính năng thu âm (ví dụ: đầu vào micrô), hãy cài đặt plugin Runtime Audio Importer.
• Nếu bạn định sử dụng chức năng chuyển văn bản thành giọng nói:
  • Đối với TTS cục bộ (Mô hình Chuẩn và Mô hình Thực tế có Kiểm soát Tâm trạng), hãy cài đặt plugin Runtime Text To Speech.
  • Đối với nhà cung cấp TTS bên ngoài (ElevenLabs, OpenAI, Google Cloud, Azure), hãy cài đặt plugin Runtime AI Chatbot Integrator.

Thiết lập Animation Blueprint

Bước 1: Xác định vị trí và sửa đổi Animation Blueprint khuôn mặt

UE 5.5 trở về trước (hoặc MetaHuman Cũ trong UE 5.6+)

Bạn cần sửa đổi một Animation Blueprint sẽ được sử dụng cho hoạt ảnh khuôn mặt của nhân vật MetaHuman. Animation Blueprint khuôn mặt MetaHuman mặc định nằm tại:

Content/MetaHumans/Common/Face/Face_AnimBP

Bạn có một số tùy chọn để triển khai chức năng đồng bộ môi:

Chỉnh sửa Asset Mặc định (Tùy chọn Đơn giản Nhất)

Mở Face_AnimBP mặc định trực tiếp và thực hiện các sửa đổi của bạn. Mọi thay đổi sẽ ảnh hưởng đến tất cả các nhân vật MetaHuman sử dụng Animation Blueprint này.

Lưu ý: Cách tiếp cận này thuận tiện nhưng sẽ ảnh hưởng đến tất cả các nhân vật sử dụng Animation Blueprint mặc định.

Tạo Bản Sao

1. Nhân bản Face_AnimBP và đặt cho nó một tên mô tả
2. Xác định vị trí lớp Blueprint của nhân vật của bạn (ví dụ: đối với nhân vật "Bryan", nó sẽ nằm ở Content/MetaHumans/Bryan/BP_Bryan)
3. Mở Blueprint nhân vật và tìm thành phần Face
4. Thay đổi thuộc tính Anim Class thành Animation Blueprint mới được nhân bản của bạn

Lưu ý: Cách tiếp cận này cho phép bạn tùy chỉnh đồng bộ môi cho các nhân vật cụ thể trong khi vẫn giữ nguyên các nhân vật khác.

Sử dụng Animation Blueprint Tùy chỉnh

Bạn có thể triển khai pha trộn đồng bộ môi trong bất kỳ Animation Blueprint nào có quyền truy cập vào các xương khuôn mặt cần thiết:

1. Tạo hoặc sử dụng một Animation Blueprint tùy chỉnh hiện có
2. Đảm bảo Animation Blueprint của bạn hoạt động với một bộ xương chứa các xương khuôn mặt giống như Face_Archetype_Skeleton mặc định của MetaHuman

Lưu ý: Cách tiếp cận này mang lại cho bạn sự linh hoạt tối đa để tích hợp với các hệ thống hoạt ảnh tùy chỉnh.

Nhân vật MetaHuman Creator UE 5.6+

Bắt đầu từ UE 5.6, hệ thống MetaHuman Creator mới đã được giới thiệu. Đối với các nhân vật này, plugin cung cấp một Animation Blueprint khuôn mặt nằm tại:

Content/LipSyncData/LipSync_Face_AnimBP

Quan trọng

Animation Blueprint này nằm trong thư mục nội dung của plugin và sẽ bị ghi đè sau mỗi lần cập nhật plugin. Để tránh mất các tùy chỉnh của bạn:

1. Sao chép asset này vào thư mục Content của dự án (ví dụ: vào YourProject/Content/MetaHumans/LipSync_Face_AnimBP)
2. Sử dụng phiên bản đã sao chép trong thiết lập nhân vật của bạn
3. Thực hiện tất cả các sửa đổi trên phiên bản đã sao chép

Sử dụng Face Animation Blueprint của Plugin:

1. Xác định lớp Blueprint của nhân vật MetaHuman Creator của bạn
2. Mở Blueprint nhân vật và tìm thành phần Face
3. Thay đổi thuộc tính Anim Class thành LipSync_Face_AnimBP của plugin
4. Tiếp tục với các bước tiếp theo để cấu hình chức năng Runtime MetaHuman Lip Sync

Bước 2: Thiết lập Event Graph

Mở Face Animation Blueprint của bạn và chuyển sang Event Graph. Bạn cần tạo một bộ sinh (generator) để xử lý dữ liệu âm thanh và tạo hoạt ảnh khớp môi.

Mô hình Chuẩn

1. Thêm node Event Blueprint Begin Play nếu nó chưa tồn tại
2. Thêm node Create Runtime Viseme Generator và kết nối nó với sự kiện Begin Play
3. Lưu đầu ra dưới dạng một biến (ví dụ: "VisemeGenerator") để sử dụng trong các phần khác của đồ thị

Để biết các tùy chọn cấu hình chi tiết, hãy xem phần Cấu hình Mô hình Chuẩn.

Mô hình Thực tế

1. Thêm node Event Blueprint Begin Play nếu nó chưa tồn tại
2. Thêm node Create Realistic MetaHuman Lip Sync Generator và kết nối nó với sự kiện Begin Play
3. Lưu đầu ra dưới dạng một biến (ví dụ: "RealisticMetaHumanLipSyncGenerator") để sử dụng trong các phần khác của đồ thị
4. (Tùy chọn) Cấu hình cài đặt bộ sinh bằng tham số Configuration

Để biết các tùy chọn cấu hình chi tiết bao gồm các loại mô hình, cài đặt hiệu suất và tham số xử lý, hãy xem phần Cấu hình Mô hình Thực tế.

Mô hình Thực tế có Cảm xúc

1. Thêm node Event Blueprint Begin Play nếu nó chưa tồn tại
2. Thêm node Create Realistic MetaHuman Lip Sync With Mood Generator và kết nối nó với sự kiện Begin Play
3. Lưu đầu ra dưới dạng một biến (ví dụ: "MoodMetaHumanLipSyncGenerator") để sử dụng trong các phần khác của đồ thị
4. (Tùy chọn) Cấu hình cài đặt bộ sinh bằng tham số Configuration

Để biết cấu hình cảm xúc chi tiết bao gồm các loại cảm xúc, cài đặt cường độ, thời gian nhìn trước (lookahead) và lựa chọn loại đầu ra, hãy xem phần Cấu hình Mô hình có Cảm xúc.

Bước 3: Thiết lập Anim Graph

Sau khi thiết lập Event Graph, hãy chuyển sang Anim Graph để kết nối bộ sinh với hoạt ảnh của nhân vật:

Mô hình Chuẩn

1. Xác định vị trí pose chứa khuôn mặt MetaHuman (thường từ Use cached pose 'Body Pose')
2. Thêm node Blend Runtime MetaHuman Lip Sync
3. Kết nối pose với Source Pose của node Blend Runtime MetaHuman Lip Sync
4. Kết nối biến VisemeGenerator của bạn với chân Viseme Generator
5. Kết nối đầu ra của node Blend Runtime MetaHuman Lip Sync với chân Result của Output Pose

Mô hình Thực tế

1. Xác định vị trí pose chứa khuôn mặt MetaHuman (thường từ Use cached pose 'Body Pose')
2. Thêm node Blend Realistic MetaHuman Lip Sync
3. Kết nối pose với Source Pose của node Blend Realistic MetaHuman Lip Sync
4. Kết nối biến RealisticMetaHumanLipSyncGenerator của bạn với chân Lip Sync Generator
5. Kết nối đầu ra của node Blend Realistic MetaHuman Lip Sync với chân Result của Output Pose

Mô hình Thực tế có Cảm xúc

1. Xác định vị trí pose chứa khuôn mặt MetaHuman (thường từ Use cached pose 'Body Pose')
2. Thêm node Blend Realistic MetaHuman Lip Sync (cùng node với mô hình thực tế thông thường)
3. Kết nối pose với Source Pose của node Blend Realistic MetaHuman Lip Sync
4. Kết nối biến MoodMetaHumanLipSyncGenerator của bạn với chân Lip Sync Generator
5. Kết nối đầu ra của node Blend Realistic MetaHuman Lip Sync với chân Result của Output Pose

Lưu ý: Mô hình có cảm xúc sử dụng cùng node Animation Blueprint như mô hình thực tế thông thường. Chức năng cảm xúc được xử lý nội bộ bởi bộ sinh.

Các Bước Tiếp Theo

Bây giờ bạn đã hoàn tất thiết lập Animation Blueprint cơ bản, bạn sẽ cần cấu hình xử lý đầu vào âm thanh để cung cấp dữ liệu âm thanh cho bộ sinh khớp môi của mình.

Hãy tiếp tục đến Hướng dẫn Xử lý Âm thanh để tìm hiểu cách thiết lập các phương pháp đầu vào âm thanh khác nhau bao gồm thu âm từ microphone, chuyển văn bản thành giọng nói (text-to-speech) và xử lý tệp âm thanh.

Để biết các tùy chọn cấu hình nâng cao và tinh chỉnh, hãy xem Hướng dẫn Cấu hình.