Cấu hình Plugin

Cấu hình Model

Tạo lại các trình tạo mô hình thực tế cho từng quá trình phát lại

Để vận hành đáng tin cậy với các mô hình Realistic và Mood-Enabled Realistic, hãy tạo lại generator trước mỗi lần phát audio mới thay vì tái sử dụng một generator xuyên suốt các khoảng lặng dài. Xem Tạo lại Generator trong phần Khắc phục sự cố để biết chi tiết.

Cấu hình Model tiêu chuẩn

Nút Create Runtime Viseme Generator sử dụng cài đặt mặc định hoạt động tốt cho hầu hết các tình huống. Việc cấu hình được xử lý thông qua các thuộc tính của nút blending trong Animation Blueprint.

Đối với các tùy chọn cấu hình Animation Blueprint, hãy xem phần Cấu hình Lip Sync bên dưới.

Cấu hình Model chân thực

Node Create Realistic MetaHuman Lip Sync Generator chấp nhận tham số Configuration tùy chọn cho phép bạn tùy chỉnh hành vi của trình tạo:

Loại mô hình

Cài đặt Model Type xác định phiên bản nào của mô hình thực tế sẽ được sử dụng:

Loại Model	Hiệu suất	Chất lượng hình ảnh	Xử lý tiếng ồn	Trường hợp sử dụng được đề xuất
Tối ưu hóa cao (Mặc định)	Hiệu suất cao nhất, mức sử dụng CPU thấp nhất	Chất lượng tốt	Có thể xuất hiện chuyển động miệng đáng chú ý khi có tiếng ồn nền hoặc âm thanh không phải giọng nói	Môi trường âm thanh sạch, các tình huống yêu cầu hiệu suất cao
Bán tối ưu hóa	Hiệu suất tốt, mức sử dụng CPU vừa phải	Chất lượng cao	Ổn định hơn với âm thanh nhiễu	Cân bằng giữa hiệu suất và chất lượng, điều kiện âm thanh hỗn hợp
Nguyên bản	Phù hợp cho sử dụng thời gian thực trên các CPU hiện đại	Chất lượng cao nhất	Ổn định nhất với tiếng ồn nền và âm thanh không phải giọng nói	Các sản phẩm chất lượng cao, môi trường âm thanh nhiễu, khi cần độ chính xác tối đa

Cài đặt hiệu suất

Intra Op Threads: Kiểm soát số lượng luồng được sử dụng cho các hoạt động xử lý nội bộ của mô hình.

• 0 (Mặc định/Tự động): Sử dụng phát hiện tự động (thường là 1/4 số lõi CPU khả dụng, tối đa 4)
• 1-16: Chỉ định thủ công số luồng. Giá trị cao hơn có thể cải thiện hiệu suất trên hệ thống đa lõi nhưng sử dụng nhiều CPU hơn

Inter Op Threads: Kiểm soát số lượng luồng được sử dụng để thực thi song song các thao tác khác nhau của mô hình.

• 0 (Mặc định/Tự động): Sử dụng phát hiện tự động (thường là 1/8 số lõi CPU khả dụng, tối đa 2)
• 1-8: Chỉ định thủ công số luồng. Thường được giữ ở mức thấp để xử lý thời gian thực

Kích thước khối xử lý

Kích Thước Khối Xử Lý quyết định số lượng mẫu được xử lý trong mỗi bước suy luận. Giá trị mặc định là 160 mẫu (10ms âm thanh ở 16kHz):

• Giá trị nhỏ hơn cung cấp cập nhật thường xuyên hơn nhưng làm tăng mức sử dụng CPU
• Giá trị lớn hơn giảm tải CPU nhưng có thể làm giảm độ phản hồi của lip sync
• Khuyến nghị sử dụng bội số của 160 để căn chỉnh tối ưu

Cấu hình Model hỗ trợ Mood

Node Create Realistic MetaHuman Lip Sync With Mood Generator cung cấp các tùy chọn cấu hình bổ sung ngoài mô hình thực tế cơ bản:

Cấu hình cơ bản

Lookahead Ms: Thời gian lookahead tính bằng mili giây để cải thiện độ chính xác của lip sync.

• Mặc định: 80ms
• Phạm vi: 20ms đến 200ms (phải chia hết cho 20)
• Giá trị cao hơn mang lại khả năng đồng bộ hóa tốt hơn nhưng làm tăng độ trễ

Loại đầu ra: Kiểm soát những điều khiển khuôn mặt nào được tạo ra.

• Toàn bộ khuôn mặt: Tất cả 81 điều khiển khuôn mặt (lông mày, mắt, mũi, miệng, hàm, lưỡi)
• Chỉ miệng: Chỉ các điều khiển liên quan đến miệng, hàm và lưỡi

Cài đặt hiệu suất: Sử dụng cùng cài đặt Intra Op Threads và Inter Op Threads như mô hình thực tế thông thường.

Cài đặt tâm trạng

Tâm trạng khả dụng:

• Trung lập, Vui vẻ, Buồn bã, Ghê tởm, Giận dữ, Ngạc nhiên, Sợ hãi
• Tự tin, Phấn khích, Buồn chán, Tinh nghịch, Bối rối

Cường độ cảm xúc: Điều khiển mức độ ảnh hưởng của cảm xúc lên hoạt ảnh (0.0 đến 1.0)

Kiểm soát tâm trạng thời gian chạy

Bạn có thể điều chỉnh cài đặt tâm trạng trong thời gian chạy bằng các hàm sau:

• Đặt Tâm Trạng: Thay đổi loại tâm trạng hiện tại
• Đặt Cường Độ Tâm Trạng: Điều chỉnh mức độ ảnh hưởng của tâm trạng đến hoạt ảnh (0.0 đến 1.0)
• Đặt Lookahead Ms: Thay đổi thời gian lookahead để đồng bộ hóa
• Đặt Loại Đầu Ra: Chuyển đổi giữa điều khiển Toàn Bộ Khuôn Mặt và Chỉ Miệng

Hướng dẫn chọn tâm trạng

Chọn tâm trạng phù hợp dựa trên nội dung của bạn:

Mood	Phù hợp nhất cho	Khoảng cường độ điển hình
Trung tính	Hội thoại thông thường, tường thuật, trạng thái mặc định	0.5 - 1.0
Vui vẻ	Nội dung tích cực, đối thoại vui tươi, lễ kỷ niệm	0.6 - 1.0
Buồn	Nội dung u sầu, cảnh xúc động, khoảnh khắc ảm đạm	0.5 - 0.9
Ghê tởm	Phản ứng tiêu cực, nội dung khó chịu, sự từ chối	0.4 - 0.8
Giận dữ	Đối thoại hung hăng, cảnh đối đầu, sự bực bội	0.6 - 1.0
Ngạc nhiên	Sự kiện bất ngờ, tiết lộ, phản ứng sốc	0.7 - 1.0
Sợ hãi	Tình huống đe dọa, lo lắng, đối thoại căng thẳng	0.5 - 0.9
Tự tin	Thuyết trình chuyên nghiệp, đối thoại lãnh đạo, phát ngôn quyết đoán	0.7 - 1.0
Hào hứng	Nội dung tràn đầy năng lượng, thông báo, đối thoại nhiệt tình	0.8 - 1.0
Chán nản	Nội dung đơn điệu, đối thoại thiếu quan tâm, lời nói mệt mỏi	0.3 - 0.7
Tinh nghịch	Trò chuyện thân mật, hài hước, tương tác nhẹ nhàng	0.6 - 0.9
Bối rối	Đối thoại nhiều câu hỏi, sự không chắc chắn, sự hoang mang	0.4 - 0.8

Cấu hình Animation Blueprint

Cấu hình Lip Sync

Mô hình tiêu chuẩn

Nút Blend Runtime MetaHuman Lip Sync có các tùy chọn cấu hình trong bảng thuộc tính của nó:

Thuộc tính	Mặc định	Mô tả
Tốc độ nội suy	25	Kiểm soát tốc độ chuyển đổi chuyển động môi giữa các viseme. Giá trị cao hơn dẫn đến chuyển đổi nhanh hơn và đột ngột hơn.
Thời gian đặt lại	0.2	Khoảng thời gian tính bằng giây, sau đó lip sync được đặt lại. Điều này hữu ích để ngăn lip sync tiếp tục sau khi âm thanh đã dừng.

Hoạt ảnh tiếng cười

Bạn cũng có thể thêm hoạt ảnh cười để phản hồi linh hoạt với tiếng cười được phát hiện trong âm thanh:

1. Thêm node Blend Runtime MetaHuman Laughter
2. Kết nối biến RuntimeVisemeGenerator của bạn với pin Viseme Generator
3. Nếu bạn đã sử dụng lip sync:
   • Kết nối đầu ra từ nút Blend Runtime MetaHuman Lip Sync với Source Pose của nút Blend Runtime MetaHuman Laughter
   • Kết nối đầu ra của nút Blend Runtime MetaHuman Laughter với chân Result của Output Pose
4. Nếu chỉ sử dụng tiếng cười mà không có lip sync:
   • Kết nối source pose của bạn trực tiếp với Source Pose của nút Blend Runtime MetaHuman Laughter
   • Kết nối đầu ra với chân Result

Khi phát hiện tiếng cười trong âm thanh, nhân vật của bạn sẽ tự động hoạt họa tương ứng:

Cấu hình tiếng cười

Nút Blend Runtime MetaHuman Laughter có các tùy chọn cấu hình riêng:

Thuộc tính	Mặc định	Mô tả
Tốc độ nội suy	25	Kiểm soát tốc độ chuyển đổi của chuyển động môi giữa các hoạt ảnh cười. Giá trị cao hơn dẫn đến chuyển đổi nhanh hơn và đột ngột hơn.
Thời gian đặt lại	0.2	Khoảng thời gian tính bằng giây sau đó tiếng cười được đặt lại. Điều này hữu ích để ngăn tiếng cười tiếp tục sau khi âm thanh đã dừng.
Trọng số cười tối đa	0.7	Điều chỉnh cường độ tối đa của hoạt ảnh cười (0.0 - 1.0).

Lưu ý: Tính năng phát hiện tiếng cười hiện chỉ khả dụng với Standard Model.

Mô hình chân thực

Nút Blend Realistic MetaHuman Lip Sync có các tùy chọn cấu hình trong bảng thuộc tính của nó:

Thuộc tính	Mặc định	Mô tả
Tốc độ nội suy	30	Kiểm soát tốc độ chuyển đổi biểu cảm khuôn mặt trong khi đang nói. Giá trị cao hơn dẫn đến chuyển đổi nhanh hơn và đột ngột hơn.
Tốc độ nội suy trạng thái chờ	15	Kiểm soát tốc độ chuyển đổi biểu cảm khuôn mặt trở về trạng thái chờ/trung tính. Giá trị thấp hơn tạo ra sự trở về tư thế nghỉ mượt mà và dần dần hơn.
Thời gian đặt lại	0.2	Khoảng thời gian tính bằng giây, sau đó lip sync đặt lại về trạng thái chờ. Hữu ích để ngăn biểu cảm tiếp tục sau khi âm thanh dừng lại.
Giữ nguyên trạng thái chờ	false	Khi được bật, giữ nguyên trạng thái cảm xúc cuối cùng trong các khoảng thời gian chờ thay vì đặt lại về trung tính.
Giữ nguyên biểu cảm mắt	true	Kiểm soát việc các điều khiển khuôn mặt liên quan đến mắt có được giữ nguyên trong trạng thái chờ hay không. Chỉ có hiệu lực khi Giữ nguyên trạng thái chờ được bật.
Giữ nguyên biểu cảm lông mày	true	Kiểm soát việc các điều khiển khuôn mặt liên quan đến lông mày có được giữ nguyên trong trạng thái chờ hay không. Chỉ có hiệu lực khi Giữ nguyên trạng thái chờ được bật.
Giữ nguyên hình dạng miệng	false	Kiểm soát việc các điều khiển hình dạng miệng (không bao gồm các chuyển động dành riêng cho lời nói như lưỡi và hàm) có được giữ nguyên trong trạng thái chờ hay không. Chỉ có hiệu lực khi Giữ nguyên trạng thái chờ được bật.

Bảo toàn trạng thái chờ

Tính năng Giữ nguyên trạng thái nghỉ giải quyết cách mô hình Realistic xử lý các khoảng lặng. Khác với mô hình Standard sử dụng các viseme rời rạc và luôn trả về giá trị bằng không trong khoảng lặng, mạng nơ-ron của mô hình Realistic có thể duy trì vị trí khuôn mặt tinh tế khác với tư thế nghỉ mặc định của MetaHuman.

Khi nào nên bật:

• Duy trì biểu cảm cảm xúc giữa các đoạn hội thoại
• Bảo toàn các đặc điểm tính cách của nhân vật
• Đảm bảo tính liên tục về hình ảnh trong các phân cảnh điện ảnh

Tùy chọn điều khiển khu vực:

• Biểu cảm mắt: Giữ nguyên động tác nheo mắt, mở to mắt và vị trí mí mắt
• Biểu cảm lông mày: Duy trì vị trí lông mày và trán
• Hình dạng miệng: Giữ nguyên độ cong chung của miệng trong khi cho phép các chuyển động nói (lưỡi, hàm) được đặt lại

Kết hợp với các Animation hiện có

Hướng dẫn bằng video

Bạn thích xem hơn là đọc? Hãy xem hướng dẫn bằng video về đúng thiết lập này.

Để áp dụng lip sync và tiếng cười cùng với các hoạt ảnh cơ thể hiện có và hoạt ảnh khuôn mặt tùy chỉnh mà không ghi đè chúng:

Hoạt ảnh cơ thể

Thiết lập này áp dụng cho Animation Blueprint của khuôn mặt, vì lip sync không thuộc Animation Blueprint của cơ thể. Đối với các hoạt ảnh cơ thể tùy chỉnh (ví dụ: thân, tay và các chuyển động cơ thể khác), chỉ cần kết nối chuỗi hoạt ảnh của bạn (thông qua Sequence Player) trực tiếp với tư thế đầu ra trong Animation Blueprint của cơ thể. Không cần thiết lập thêm ở đó.

1. Thêm một nút Layered blend per bone giữa các hoạt ảnh cơ thể của bạn và đầu ra cuối cùng.
2. Cấu hình thiết lập lớp:
   • Thêm 1 mục vào mảng Layer Setup
   • Thêm 3 mục vào Branch Filters cho layer, với các Bone Name sau:
     • FACIAL_C_FacialRoot
     • FACIAL_C_Neck2Root
     • FACIAL_C_Neck1Root
3. Quan trọng đối với hoạt ảnh khuôn mặt tùy chỉnh: Trong Curve Blend Option, chọn "Use Max Value". Điều này cho phép hoạt ảnh khuôn mặt tùy chỉnh (biểu cảm, cảm xúc, v.v.) được xếp lớp đúng cách lên trên lip sync.
4. Thực hiện các kết nối:
   • Hoạt ảnh tùy chỉnh của bạn (thường là Sequence Player với asset chuỗi hoạt ảnh mong muốn) → đầu vào Base Pose
   • Đầu ra hoạt ảnh khuôn mặt (từ các node lip sync và/hoặc cười) → đầu vào Blend Poses 0
   • Node blend phân lớp → tư thế Result cuối cùng

Lựa chọn bộ Morph Target

Mô hình tiêu chuẩn

Mô hình Tiêu chuẩn sử dụng pose asset vốn hỗ trợ mọi quy ước đặt tên morph target thông qua thiết lập pose asset tùy chỉnh. Không cần cấu hình thêm.

Mô hình chân thực

Nút Blend Realistic MetaHuman Lip Sync bao gồm thuộc tính Morph Target Set xác định quy ước đặt tên morph target nào sẽ được sử dụng cho hoạt ảnh khuôn mặt:

Bộ Morph Target	Mô tả	Trường hợp sử dụng
MetaHuman (Mặc định)	Tên morph target MetaHuman tiêu chuẩn (ví dụ: CTRL_expressions_jawOpen)	Nhân vật MetaHuman
ARKit	Tên tương thích với Apple ARKit (ví dụ: JawOpen, MouthSmileLeft)	Nhân vật dựa trên ARKit

Chuyển đổi nhân vật sang ARKit hoặc MetaHuman Blendshapes

Nếu nhân vật của bạn không sử dụng tên blendshape chuẩn ARKit một cách gốc, một số hệ thống nhân vật thương mại phổ biến có thể được chuyển đổi để tạo ra chúng (hoặc, đối với CC5, được chuyển đổi trực tiếp thành blendshape MetaHuman gốc thay thế). Điều này cho phép bạn truy cập vào Bộ Morph Target ARKit hoặc MetaHuman ở trên, thay vì quy trình ánh xạ viseme thủ công cần thiết cho Mô hình Chuẩn.

Hướng dẫn chuyển đổi Reallusion CC4/CC5 và Daz Genesis 8.1/9 (nhấp để mở rộng)

Reallusion CC4/CC5

Nhân vật CC4 và CC5 được xử lý khác nhau ở đây, vì nhân vật CC5 có thể dùng chung rig khuôn mặt gốc của MetaHuman thay vì cần chuyển đổi ARKit hoàn toàn.

CC5: chuyển đổi sang blendshape MetaHuman (khuyến nghị)

Nếu nhân vật của bạn được tạo trong CC5 với HD facial profile, nó đã chia sẻ các điều khiển khuôn mặt và bộ xương của MetaHuman, vì vậy không cần tạo ARKit blendshapes thủ công. Thay vào đó:

1. Cài đặt plugin Auto Setup (All-in-One) miễn phí của Reallusion cho Unreal Engine, theo hướng dẫn cài đặt.
2. Xuất nhân vật của bạn từ CC5 dưới dạng FBX. Chọn preset đích Unreal (UE5 Skeleton) và tư thế bind A-Pose for UE5 Skeleton, để nó khớp với rig MetaHuman.
3. Kéo thả FBX vào dự án UE của bạn. Khi đã cài đặt Auto Setup, hộp thoại nhập hiển thị ở trên sẽ tự động xuất hiện.
4. Trong tùy chọn nhập, chọn HQ Shader. Để trống Use T0 As Ref Pose (điều này cũng tăng tốc đáng kể quá trình nhập), và để trống Include Control Rig trừ khi bạn thực sự cần MetaHuman Control Rig, vì nó làm tăng thêm thời gian nhập.
5. Nhấp vào OK để nhập.

Sau khi nhập, hãy chọn tùy chọn MetaHuman Bộ Morph Target thay vì ARKit, vì các blendshape của nhân vật đã sử dụng cách đặt tên MetaHuman gốc.

CC4 (hoặc CC5 không có profile HD): chuyển đổi sang blendshape ARKit

Nếu bạn đang dùng CC4, hoặc nhân vật CC5 không sử dụng HD facial profile, hãy dùng cách chuyển đổi ARKit thủ công thay thế. Trước khi bắt đầu, hãy đảm bảo Facial Profile của nhân vật được đặt thành CC4 Extended (không phải Standard, Extended-Plus, hay HD Facial Profile mới hơn). Ánh xạ blendshape của script được hard-code theo tên slider của Extended, các profile khác dùng quy ước đặt tên khác và script sẽ âm thầm bỏ qua hoặc không tìm thấy các slider mong đợi.

1. Tải xuống script này: rl_export_arkit_objs.py

2. Mở script trong trình soạn thảo văn bản, và tại dòng output_dir = "path/to/your/target/folder", gán đường dẫn đến thư mục xuất của bạn. Đảm bảo sử dụng dấu gạch chéo xuôi /.

3. Trong Character Creator, chọn nhân vật của bạn, sau đó trong menu trên cùng, dưới Script, chọn Load Python. Sau đó chọn script bạn vừa chỉnh sửa. Script sẽ tạo toàn bộ tập hợp blendshape ARKit từ các thanh trượt Reallusion mặc định và xuất chúng dưới dạng tệp OBJ. Quá trình này có thể mất vài phút.

   

4. Bây giờ bạn có thể nhập các hình dạng đó bằng cách vào cửa sổ Facial Profile Editor. Nhấp vào nút Edit Expressions và trong menu thả xuống Batch Import, chọn OBJ.

   

5. Tại đây bạn có thể nhập thư mục mà bạn đã tham chiếu trước đó. Thao tác này sau đó sẽ liệt kê tất cả các hình dạng ARKit. Viết một tên vào Target Category, ví dụ: AR_Kit, và nhấp OK.

   

6. Thao tác này sẽ tạo một danh mục mới trong Expression. Bạn có thể tắt tất cả các danh mục khác.

   

Sau khi danh mục ARKit được thiết lập, hãy xuất nhân vật của bạn dưới dạng FBX như bình thường. Điều này mang lại cho nhân vật 52 blendshape ARKit tiêu chuẩn, mà sau đó bạn có thể sử dụng với tùy chọn ARKit Morph Target Set ở trên.

Lưu ý: chuyển động hàm được điều khiển một phần bởi chuyển động xoay xương thay vì chỉ dùng blendshape thuần trong rig của CC4, vì vậy jawOpen có thể trông yếu hoặc không mở miệng thuyết phục sau khi export. Nếu điều này xảy ra, hãy bật Mouth Open as Morph trong tùy chọn export FBX, thao tác này sẽ bake chuyển động do xương điều khiển của hàm thành một blendshape chuyên dụng có thể được gán làm nguồn cho jawOpen thay vì cái mặc định. Hoặc, add-on cc_blender_tools có thể đưa nhân vật qua Blender để khắc phục vấn đề này và các vấn đề hình dạng khác; xem phần "Blender Round Trip" trong tài liệu của nó để biết quy trình (tiêu đề trang có đề cập đến Unity, nhưng phần cụ thể này không phụ thuộc vào engine).

Daz Genesis 8/8.1/9

Các morph FACS của Daz, có sẵn gốc trên Genesis 8.1 và Genesis 9, đã tương thích với ARKit mà không cần đổi tên. Genesis 8 thường (không phải 8.1) không bao gồm những thứ này theo mặc định. Bạn sẽ cần dùng Genesis 8.1 thay thế, hoặc thêm một gói morph FACS riêng.

Tiện ích bổ sung Diffeomorphic đang được duy trì tích cực (một cầu nối giữa Daz Studio và Blender, không liên kết với Daz 3D) là cách được khuyến nghị để đưa những thứ này vào Unreal:

1. Trong Blender, hãy sử dụng công cụ Easy Import DAZ của Diffeomorphic với preset thế hệ chính xác (G8.1 hoặc G9) và bật tùy chọn nhập FACS. Xem hướng dẫn Easy Import DAZ.
2. Thao tác này nhập các morph FACS dưới dạng shape key của Blender. Xuất nhân vật dưới dạng FBX từ Blender, và tên các shape key sẽ được giữ nguyên làm tên morph target.

Sau khi xuất, hãy sử dụng tùy chọn ARKit Bộ Morph Target ở trên.

Lưu ý: các hình dạng hướng nhìn của mắt trên lông mi và nhãn cầu có thể không được truyền đạt đầy đủ vì chúng được điều khiển khác với lưới khuôn mặt chính, nhưng điều này không ảnh hưởng đến lip sync, vốn chỉ cần các hình dạng miệng và hàm.

Tinh chỉnh hành vi Lip Sync

Điều chỉnh tỷ lệ các đường cong Lip Sync cụ thể

Bạn có thể giảm chấn (hoặc khuếch đại) các chuyển động khuôn mặt riêng lẻ được tạo ra bởi lip sync bằng cách sử dụng nút Modify Curve. Điều này hữu ích khi một curve cụ thể trông quá rõ đối với nội dung âm thanh hoặc nhân vật của bạn.

Thiết lập:

1. Sau nút blend lip sync của bạn, hãy thêm một nút Modify Curve
2. Nhấp chuột phải vào nút và chọn Add Curve Pin, sau đó nhập tên curve bạn muốn scale
3. Đặt thuộc tính Apply Mode của nút thành Scale
4. Đặt tham số Value: giá trị dưới 1.0 làm giảm chuyển động, giá trị trên 1.0 làm tăng cường chuyển động (ví dụ: 0.8 = giảm 20%)

Các đường cong thường được chia tỷ lệ:

Tên Curve	Mục đích	Áp dụng cho	Điều chỉnh thông thường
CTRL_expressions_tongueOut	Độ nhô lưỡi về phía trước trong một số phoneme nhất định	Mô hình tiêu chuẩn	0.8 để giảm độ nhô
CTRL_expressions_jawOpen	Phạm vi mở hàm	Mô hình chân thực	0.9 để giảm chuyển động hàm

Bạn có thể thêm nhiều chân đường cong vào cùng một nút Modify Curve để điều chỉnh tỉ lệ nhiều đường cong cùng lúc.

Tinh chỉnh theo từng cảm xúc

Đối với các mô hình hỗ trợ cảm xúc, bạn có thể tinh chỉnh các biểu cảm cảm xúc cụ thể:

Điều khiển lông mày:

• CTRL_expressions_browRaiseInL / CTRL_expressions_browRaiseInR - Nâng lông mày trong
• CTRL_expressions_browRaiseOuterL / CTRL_expressions_browRaiseOuterR - Nâng lông mày ngoài
• CTRL_expressions_browDownL / CTRL_expressions_browDownR - Hạ lông mày

Điều khiển biểu cảm mắt:

• CTRL_expressions_eyeSquintInnerL / CTRL_expressions_eyeSquintInnerR - Nheo mắt
• CTRL_expressions_eyeCheekRaiseL / CTRL_expressions_eyeCheekRaiseR - Nâng má

So sánh và lựa chọn mô hình

Lựa chọn giữa các mô hình

Khi quyết định sử dụng mô hình lip sync nào cho dự án của bạn, hãy cân nhắc những yếu tố sau:

Cân nhắc	Mô hình Tiêu chuẩn	Mô hình Chân thực	Mô hình Chân thực hỗ trợ Cảm xúc
Khả năng tương thích nhân vật	MetaHumans và tất cả các loại nhân vật tùy chỉnh	Nhân vật MetaHumans (và ARKit)	Nhân vật MetaHumans (và ARKit)
Chất lượng hình ảnh	Lip sync tốt với hiệu suất hiệu quả	Tăng cường độ chân thực với chuyển động miệng tự nhiên hơn	Tăng cường độ chân thực với biểu cảm cảm xúc
Hiệu suất	Được tối ưu hóa cho tất cả các nền tảng bao gồm di động/VR	Yêu cầu tài nguyên cao hơn	Yêu cầu tài nguyên cao hơn
Tính năng	14 viseme, phát hiện tiếng cười	81 điều khiển khuôn mặt, 3 mức tối ưu hóa	81 điều khiển khuôn mặt, 12 cảm xúc, đầu ra có thể cấu hình
Hỗ trợ nền tảng	Windows, Android, Quest	Windows, Mac, iOS, Linux, Android, Quest	Windows, Mac, iOS, Linux, Android, Quest
Trường hợp sử dụng	Ứng dụng chung, trò chơi, VR/AR, di động	Trải nghiệm điện ảnh, tương tác cận cảnh	Kể chuyện cảm xúc, tương tác nhân vật nâng cao

Khả năng tương thích phiên bản Engine

Vấn đề tương thích UE 5.2

Nếu bạn đang sử dụng Unreal Engine 5.2, các Realistic Model có thể không hoạt động chính xác do một lỗi trong thư viện lấy mẫu lại của UE. Đối với người dùng UE 5.2 cần chức năng lip sync đáng tin cậy, vui lòng sử dụng Standard Model thay thế.

Vấn đề này chỉ xảy ra với UE 5.2 và không ảnh hưởng đến các phiên bản engine khác.

Khuyến nghị về hiệu suất

• Đối với hầu hết các dự án, Standard Model mang lại sự cân bằng tuyệt vời giữa chất lượng và hiệu suất
• Sử dụng Realistic Model khi bạn cần độ trung thực hình ảnh cao nhất cho các nhân vật MetaHuman
• Sử dụng Mood-Enabled Realistic Model khi việc kiểm soát biểu cảm cảm xúc là quan trọng đối với ứng dụng của bạn
• Hãy cân nhắc khả năng hiệu suất của nền tảng mục tiêu khi lựa chọn giữa các model
• Thử nghiệm các mức tối ưu hóa khác nhau để tìm ra sự cân bằng tốt nhất cho trường hợp sử dụng cụ thể của bạn

Khắc phục sự cố

Các vấn đề thường gặp

Tạo lại Generator cho Realistic Models: Để vận hành ổn định và nhất quán với Realistic Models, bạn nên tạo lại generator mỗi khi muốn nạp dữ liệu âm thanh mới sau một khoảng thời gian không hoạt động. Điều này là do hành vi của ONNX runtime có thể khiến lip sync ngừng hoạt động khi tái sử dụng generator sau những khoảng im lặng.

Ví dụ, bạn có thể tạo lại trình tạo lip sync mỗi khi bắt đầu phát lại, chẳng hạn như mỗi khi bạn gọi Play Sound 2D hoặc sử dụng bất kỳ phương thức nào khác để bắt đầu phát lại sóng âm thanh và lip sync:

Vị trí plugin để tích hợp Runtime Text To Speech: Khi sử dụng Runtime MetaHuman Lip Sync cùng với Runtime Text To Speech (cả hai plugin đều dùng ONNX Runtime), bạn có thể gặp sự cố nếu các plugin được cài đặt trong thư mục Marketplace của engine. Để khắc phục điều này:

1. Tìm cả hai plugin trong thư mục cài đặt UE của bạn tại \Engine\Plugins\Marketplace (ví dụ: C:\Program Files\Epic Games\UE_5.6\Engine\Plugins\Marketplace)
2. Di chuyển cả hai thư mục RuntimeMetaHumanLipSync và RuntimeTextToSpeech vào thư mục Plugins của dự án của bạn
3. Nếu dự án của bạn không có thư mục Plugins, hãy tạo một thư mục trong cùng thư mục với tệp .uproject của bạn
4. Khởi động lại Unreal Editor

Điều này giải quyết các vấn đề tương thích có thể xảy ra khi nhiều plugin dựa trên ONNX Runtime được tải từ thư mục Marketplace của engine.

Cấu hình đóng gói (Windows): Nếu lip sync không hoạt động chính xác trong dự án đã đóng gói của bạn trên Windows, hãy đảm bảo bạn đang sử dụng cấu hình build Shipping thay vì Development. Cấu hình Development có thể gây ra sự cố với ONNX runtime của các mô hình chân thực trong các bản build đã đóng gói.

Để khắc phục điều này:

1. Trong Project Settings → Packaging của bạn, đặt Build Configuration thành Shipping
2. Đóng gói lại dự án của bạn

Các dự án chỉ dùng Blueprint

Trong một số dự án chỉ dùng Blueprint, Unreal Engine vẫn có thể build ở cấu hình Development ngay cả khi đã chọn Shipping. Nếu điều này xảy ra, hãy chuyển dự án của bạn sang dự án C++ bằng cách thêm ít nhất một lớp C++ (lớp này có thể để trống). Để làm điều này, hãy vào Tools → New C++ Class trong menu của trình biên tập UE và tạo một lớp trống. Điều này sẽ buộc dự án build đúng cách ở cấu hình Shipping. Dự án của bạn vẫn có thể chỉ dùng Blueprint về mặt chức năng, lớp C++ chỉ cần thiết để cấu hình build chính xác.

Độ phản hồi Lip Sync bị suy giảm: Nếu bạn gặp tình trạng lip sync trở nên kém phản hồi hơn theo thời gian khi sử dụng Streaming Sound Wave hoặc Capturable Sound Wave, nguyên nhân có thể là do tích tụ bộ nhớ. Theo mặc định, bộ nhớ được cấp phát lại mỗi khi âm thanh mới được thêm vào. Để ngăn ngừa vấn đề này, hãy gọi hàm ReleaseMemory định kỳ để giải phóng bộ nhớ tích tụ, chẳng hạn như khoảng 30 giây một lần.

Tối ưu hóa hiệu suất:

• Điều chỉnh Kích thước Phân đoạn Xử lý cho các mô hình Realistic dựa trên yêu cầu hiệu năng của bạn
• Sử dụng số lượng luồng phù hợp cho phần cứng mục tiêu của bạn
• Cân nhắc sử dụng loại đầu ra Mouth Only cho các mô hình có hỗ trợ biểu cảm khi không cần hoạt ảnh khuôn mặt đầy đủ