Hướng dẫn Thiết lập

Hướng dẫn này sẽ hướng dẫn bạn quy trình thiết lập cơ bản cho Runtime MetaHuman Lip Sync với các nhân vật MetaHuman của bạn.

Lưu ý: Runtime MetaHuman Lip Sync hoạt động với cả MetaHuman và nhân vật tùy chỉnh. Để biết hướng dẫn chi tiết về cách thiết lập nhân vật tùy chỉnh, hãy xem Hướng dẫn Thiết lập Nhân vật Tùy chỉnh.

Điều kiện tiên quyết

Trước khi bắt đầu, hãy đảm bảo:

1. Yêu cầu Plugin MetaHuman:

   • UE 5.5 trở về trước: Bật plugin MetaHuman trong dự án của bạn
   • UE 5.6 trở đi: Bật plugin MetaHuman Core Tech trong dự án của bạn
   Các Plugin MetaHuman Bổ Sung

Tùy thuộc vào cách bạn tạo nhân vật MetaHuman, bạn có thể cần thêm các plugin bổ sung. Ví dụ, nếu bạn định tạo MetaHuman bằng hệ thống MetaHuman Creator mới được giới thiệu trong UE 5.6, bạn cũng sẽ cần kích hoạt plugin MetaHuman Creator. Để biết thêm thông tin về hệ thống này, hãy xem tài liệu về MetaHuman Creator. :::

2. Bạn có ít nhất một nhân vật MetaHuman đã được tải xuống và sẵn có trong dự án của mình
3. Plugin Runtime MetaHuman Lip Sync đã được cài đặt

Plugin Mở Rộng Mô Hình Chuẩn

Nếu bạn dự định sử dụng Mô hình Tiêu chuẩn, bạn sẽ cần cài đặt plugin mở rộng:

1. Tải plugin Standard Lip Sync Extension từ đây
2. Giải nén thư mục từ tệp lưu trữ đã tải vào thư mục Plugins của dự án của bạn (tạo thư mục này nếu nó chưa tồn tại)
3. Đảm bảo dự án của bạn được thiết lập như một dự án C++ (ngay cả khi bạn không có bất kỳ mã C++ nào)
4. Xây dựng lại dự án của bạn

ghi chú

• Phần mở rộng này chỉ bắt buộc nếu bạn muốn sử dụng Mô hình Tiêu chuẩn. Nếu bạn chỉ cần Mô hình Chân thực, bạn có thể bỏ qua bước này.
• Để biết thêm thông tin về cách xây dựng plugin thủ công, hãy xem Hướng dẫn Xây dựng Plugin

Plugin bổ sung

• Nếu bạn dự định sử dụng tính năng thu âm (ví dụ: đầu vào từ micrô), hãy cài đặt plugin Runtime Audio Importer.
• Nếu bạn dự định sử dụng chức năng chuyển văn bản thành giọng nói:
  • Đối với TTS cục bộ (Mô hình Chuẩn và Mô hình Thực tế có Kiểm soát Cảm xúc), hãy cài đặt plugin Runtime Text To Speech.
  • Đối với nhà cung cấp TTS bên ngoài (ElevenLabs, OpenAI, Google Cloud, Azure), hãy cài đặt plugin Runtime AI Chatbot Integrator.

Thiết lập Animation Blueprint

Bước 1: Xác định vị trí và sửa đổi Blueprint hoạt ảnh khuôn mặt

UE 5.5 trở về trước (hoặc MetaHuman Legacy trong UE 5.6+)

Bạn cần sửa đổi một Animation Blueprint sẽ được sử dụng cho hoạt ảnh khuôn mặt của nhân vật MetaHuman của bạn. Animation Blueprint khuôn mặt MetaHuman mặc định nằm tại:

Content/MetaHumans/Common/Face/Face_AnimBP

Bạn có một số tùy chọn để triển khai chức năng đồng bộ khẩu hình:

Chỉnh sửa Tài sản Mặc định (Tùy chọn Đơn giản Nhất)

Mở trực tiếp Face_AnimBP mặc định và thực hiện các chỉnh sửa của bạn. Mọi thay đổi sẽ ảnh hưởng đến tất cả các nhân vật MetaHuman sử dụng Animation Blueprint này.

Lưu ý: Cách tiếp cận này tiện lợi nhưng sẽ ảnh hưởng đến tất cả các nhân vật sử dụng Animation Blueprint mặc định.

Tạo Bản Sao

1. Nhân đôi Face_AnimBP và đặt tên mô tả cho nó
2. Xác định lớp Blueprint của nhân vật của bạn (ví dụ: với nhân vật "Bryan", nó sẽ nằm tại Content/MetaHumans/Bryan/BP_Bryan)
3. Mở Blueprint nhân vật và tìm thành phần Face
4. Thay đổi thuộc tính Anim Class thành Animation Blueprint vừa được nhân đôi của bạn

Lưu ý: Cách tiếp cận này cho phép bạn tùy chỉnh đồng bộ khẩu hình miệng cho các nhân vật cụ thể trong khi vẫn giữ nguyên các nhân vật khác.

Sử dụng Animation Blueprint tùy chỉnh

Bạn có thể triển khai pha trộn đồng bộ môi trong bất kỳ Animation Blueprint nào có quyền truy cập vào các xương khuôn mặt cần thiết.

1. Tạo hoặc sử dụng một Animation Blueprint tùy chỉnh có sẵn
2. Đảm bảo Animation Blueprint của bạn hoạt động với một bộ xương chứa các xương khuôn mặt giống với Face_Archetype_Skeleton của MetaHuman mặc định

Lưu ý: Cách tiếp cận này mang lại cho bạn sự linh hoạt tối đa để tích hợp với các hệ thống hoạt ảnh tùy chỉnh.

Nhân vật MetaHuman Creator cho UE 5.6+

Bắt đầu từ UE 5.6, hệ thống MetaHuman Creator mới đã được giới thiệu. Đối với các nhân vật này, plugin cung cấp một Animation Blueprint khuôn mặt nằm tại:

Content/LipSyncData/LipSync_Face_AnimBP

Quan trọng

Animation Blueprint này nằm trong thư mục nội dung của plugin và sẽ bị ghi đè sau mỗi lần cập nhật plugin. Để tránh mất các tùy chỉnh của bạn:

1. Sao chép asset này vào thư mục Content của dự án của bạn (ví dụ: vào YourProject/Content/MetaHumans/LipSync_Face_AnimBP)
2. Sử dụng phiên bản đã sao chép trong thiết lập nhân vật của bạn
3. Thực hiện tất cả các sửa đổi của bạn trên phiên bản đã sao chép

Sử dụng Blueprint Hoạt ảnh Khuôn mặt của Plugin:

1. Xác định lớp Blueprint của nhân vật MetaHuman Creator của bạn
2. Mở Blueprint nhân vật và tìm thành phần Face
3. Thay đổi thuộc tính Anim Class thành LipSync_Face_AnimBP của plugin
4. Tiếp tục với các bước tiếp theo để cấu hình chức năng Runtime MetaHuman Lip Sync

Bước 2: Thiết lập Event Graph

Mở Face Animation Blueprint của bạn và chuyển sang Event Graph. Bạn sẽ cần tạo một bộ sinh (generator) để xử lý dữ liệu âm thanh và tạo hoạt ảnh đồng bộ môi (lip sync).

Mô hình Chuẩn

1. Thêm node Event Blueprint Begin Play nếu nó chưa tồn tại
2. Thêm node Create Runtime Viseme Generator và kết nối nó với sự kiện Begin Play
3. Lưu đầu ra dưới dạng một biến (ví dụ: "VisemeGenerator") để sử dụng ở các phần khác của đồ thị

Để biết các tùy chọn cấu hình chi tiết, hãy xem phần Cấu hình Mô hình Chuẩn.

Mô hình Chân thực

1. Thêm node Event Blueprint Begin Play nếu nó chưa tồn tại
2. Thêm node Create Realistic MetaHuman Lip Sync Generator và kết nối nó với sự kiện Begin Play
3. Lưu đầu ra dưới dạng một biến (ví dụ: "RealisticMetaHumanLipSyncGenerator") để sử dụng ở các phần khác của đồ thị
4. (Tùy chọn) Cấu hình các cài đặt của bộ tạo bằng tham số Configuration

Để biết các tùy chọn cấu hình chi tiết bao gồm loại mô hình, cài đặt hiệu suất và tham số xử lý, hãy xem phần Cấu hình Mô hình Thực tế.

Mô hình Hiện thực Hỗ trợ Cảm xúc

1. Thêm node Event Blueprint Begin Play nếu nó chưa tồn tại
2. Thêm node Create Realistic MetaHuman Lip Sync With Mood Generator và kết nối nó với sự kiện Begin Play
3. Lưu đầu ra dưới dạng biến (ví dụ: "MoodMetaHumanLipSyncGenerator") để sử dụng ở các phần khác của đồ thị
4. (Tùy chọn) Cấu hình các thiết lập của bộ tạo bằng tham số Configuration

Để biết cấu hình tâm trạng chi tiết bao gồm các loại tâm trạng, cài đặt cường độ, thời gian nhìn trước và lựa chọn loại đầu ra, hãy xem phần Cấu hình Mô hình Hỗ trợ Tâm trạng.

Bước 3: Thiết lập Anim Graph

Sau khi thiết lập Event Graph, hãy chuyển sang Anim Graph để kết nối bộ tạo với hoạt ảnh của nhân vật:

Mô hình Chuẩn

1. Xác định vị trí pose có chứa khuôn mặt MetaHuman (thường là từ Use cached pose 'Body Pose')
2. Thêm node Blend Runtime MetaHuman Lip Sync
3. Kết nối pose đó với Source Pose của node Blend Runtime MetaHuman Lip Sync
4. Kết nối biến VisemeGenerator của bạn với chân Viseme Generator
5. Kết nối đầu ra của node Blend Runtime MetaHuman Lip Sync với chân Result của Output Pose

Mô hình Chân thực

1. Xác định vị trí pose có chứa khuôn mặt MetaHuman (thường từ Use cached pose 'Body Pose')
2. Thêm node Blend Realistic MetaHuman Lip Sync
3. Kết nối pose với Source Pose của node Blend Realistic MetaHuman Lip Sync
4. Kết nối biến RealisticMetaHumanLipSyncGenerator của bạn với chân Lip Sync Generator
5. Kết nối đầu ra của node Blend Realistic MetaHuman Lip Sync với chân Result của Output Pose

Mô hình Hiện thực Hỗ trợ Cảm xúc

1. Xác định vị trí pose có chứa khuôn mặt MetaHuman (thường từ Use cached pose 'Body Pose')
2. Thêm node Blend Realistic MetaHuman Lip Sync (cùng node với model realistic thông thường)
3. Kết nối pose tới Source Pose của node Blend Realistic MetaHuman Lip Sync
4. Kết nối biến MoodMetaHumanLipSyncGenerator của bạn tới chân Lip Sync Generator
5. Kết nối đầu ra của node Blend Realistic MetaHuman Lip Sync tới chân Result của Output Pose

Lưu ý: Mô hình hỗ trợ tâm trạng sử dụng cùng một node Animation Blueprint như mô hình thực tế thông thường. Chức năng tâm trạng được xử lý nội bộ bởi trình tạo.

Các bước tiếp theo

Sau khi bạn đã hoàn tất thiết lập Animation Blueprint cơ bản, bạn sẽ cần cấu hình xử lý đầu vào âm thanh để cung cấp dữ liệu âm thanh cho bộ tạo đồng bộ môi của bạn.

Tiếp tục đến Hướng dẫn Xử lý Âm thanh để tìm hiểu cách thiết lập các phương pháp nhập âm thanh khác nhau bao gồm thu âm từ micrô, chuyển văn bản thành giọng nói và xử lý tệp âm thanh.

Để biết các tùy chọn cấu hình nâng cao và tinh chỉnh, hãy xem Hướng dẫn Cấu hình.