Cấu hình Plugin

Cấu hình mô hình

Tái tạo các trình tạo mô hình chân thực cho mỗi lần phát lại

Để hoạt động đáng tin cậy với các mô hình Realistic và Mood-Enabled Realistic, hãy tạo lại bộ tạo trước mỗi lần phát âm thanh mới thay vì tái sử dụng qua các khoảng im lặng dài. Xem Tạo lại Bộ tạo trong phần Xử lý sự cố để biết chi tiết.

Cấu hình Mô Hình Tiêu Chuẩn

Nút Create Runtime Viseme Generator sử dụng các cài đặt mặc định hoạt động tốt cho hầu hết các tình huống. Cấu hình được xử lý thông qua các thuộc tính của nút blending trong Animation Blueprint.

Để biết các tùy chọn cấu hình Animation Blueprint, hãy xem phần Cấu hình Lip Sync bên dưới.

Cấu hình mô hình thực tế

Nút Create Realistic MetaHuman Lip Sync Generator chấp nhận tham số Configuration tùy chọn, cho phép bạn tùy chỉnh hành vi của trình tạo:

Loại mô hình

Cài đặt Model Type xác định phiên bản nào của mô hình thực tế sẽ được sử dụng:

Loại mô hình	Hiệu suất	Chất lượng hình ảnh	Xử lý nhiễu	Trường hợp sử dụng được khuyến nghị
Tối ưu hóa cao (Mặc định)	Hiệu suất cao nhất, sử dụng CPU thấp nhất	Chất lượng tốt	Có thể hiển thị chuyển động miệng đáng chú ý khi có tiếng ồn nền hoặc âm thanh không phải giọng nói	Môi trường âm thanh sạch, các tình huống yêu cầu hiệu suất cao
Bán tối ưu hóa	Hiệu suất tốt, sử dụng CPU ở mức vừa phải	Chất lượng cao	Ổn định hơn với âm thanh nhiễu	Cân bằng giữa hiệu suất và chất lượng, điều kiện âm thanh hỗn hợp
Nguyên bản	Phù hợp để sử dụng thời gian thực trên CPU hiện đại	Chất lượng cao nhất	Ổn định nhất với tiếng ồn nền và âm thanh không phải giọng nói	Sản phẩm chất lượng cao, môi trường âm thanh nhiễu, khi cần độ chính xác tối đa

Cài đặt Hiệu suất

Intra Op Threads: Kiểm soát số lượng luồng được sử dụng cho các hoạt động xử lý nội bộ của mô hình.

• 0 (Mặc định/Tự động): Sử dụng phát hiện tự động (thường là 1/4 số lõi CPU khả dụng, tối đa 4)
• 1-16: Chỉ định thủ công số luồng. Giá trị cao hơn có thể cải thiện hiệu suất trên hệ thống đa lõi nhưng sử dụng nhiều CPU hơn

Inter Op Threads: Kiểm soát số lượng luồng được sử dụng để thực thi song song các thao tác khác nhau của mô hình.

• 0 (Mặc định/Tự động): Sử dụng phát hiện tự động (thường là 1/8 số lõi CPU khả dụng, tối đa 2)
• 1-8: Chỉ định thủ công số luồng. Thường được giữ ở mức thấp để xử lý theo thời gian thực

Kích thước Khối Xử lý

Kích thước Khối Xử lý xác định số lượng mẫu được xử lý trong mỗi bước suy luận. Giá trị mặc định là 160 mẫu (10ms âm thanh ở tần số 16kHz):

• Giá trị nhỏ hơn cung cấp cập nhật thường xuyên hơn nhưng tăng mức sử dụng CPU
• Giá trị lớn hơn giảm tải CPU nhưng có thể làm giảm độ phản hồi của khớp môi
• Nên sử dụng bội số của 160 để căn chỉnh tối ưu

Cấu hình mô hình hỗ trợ cảm xúc

Nút Create Realistic MetaHuman Lip Sync With Mood Generator cung cấp các tùy chọn cấu hình bổ sung ngoài mô hình thực tế cơ bản:

Cấu hình cơ bản

Lookahead Ms: Thời gian nhìn trước tính bằng mili giây để cải thiện độ chính xác của khớp môi.

• Mặc định: 80ms
• Phạm vi: 20ms đến 200ms (phải chia hết cho 20)
• Giá trị cao hơn cung cấp đồng bộ tốt hơn nhưng tăng độ trễ

Loại đầu ra: Kiểm soát loại điều khiển khuôn mặt nào được tạo ra.

• Toàn bộ khuôn mặt: Tất cả 81 điều khiển khuôn mặt (lông mày, mắt, mũi, miệng, hàm, lưỡi)
• Chỉ miệng: Chỉ các điều khiển liên quan đến miệng, hàm và lưỡi

Cài đặt hiệu suất: Sử dụng cùng các thiết lập Intra Op Threads và Inter Op Threads như mô hình thực tế thông thường.

Cài đặt cảm xúc

Các Tâm Trạng Có Sẵn:

• Trung lập, Vui vẻ, Buồn bã, Ghê tởm, Tức giận, Ngạc nhiên, Sợ hãi
• Tự tin, Phấn khích, Chán nản, Tinh nghịch, Bối rối

Cường độ cảm xúc: Kiểm soát mức độ ảnh hưởng của cảm xúc đến hoạt ảnh (0.0 đến 1.0)

Kiểm soát cảm xúc Runtime

Bạn có thể điều chỉnh cài đặt cảm xúc trong thời gian chạy bằng các hàm sau:

• Đặt Tâm Trạng: Thay đổi loại tâm trạng hiện tại
• Đặt Cường Độ Tâm Trạng: Điều chỉnh mức độ ảnh hưởng của tâm trạng đến hoạt ảnh (0.0 đến 1.0)
• Đặt Thời Gian Nhìn Trước (Ms): Sửa đổi thời gian nhìn trước để đồng bộ hóa
• Đặt Loại Đầu Ra: Chuyển đổi giữa điều khiển Toàn Bộ Khuôn Mặt và Chỉ Miệng

Hướng dẫn chọn tâm trạng

Chọn tâm trạng phù hợp dựa trên nội dung của bạn:

Mood	Phù hợp nhất với	Khoảng cường độ điển hình
Trung tính	Hội thoại thông thường, tường thuật, trạng thái mặc định	0.5 - 1.0
Vui vẻ	Nội dung tích cực, hội thoại vui tươi, lễ kỷ niệm	0.6 - 1.0
Buồn bã	Nội dung u sầu, cảnh xúc động, khoảnh khắc ảm đạm	0.5 - 0.9
Ghê tởm	Phản ứng tiêu cực, nội dung khó chịu, sự từ chối	0.4 - 0.8
Tức giận	Hội thoại hung hăng, cảnh đối đầu, sự bực bội	0.6 - 1.0
Ngạc nhiên	Sự kiện bất ngờ, tiết lộ, phản ứng sốc	0.7 - 1.0
Sợ hãi	Tình huống đe dọa, lo lắng, hội thoại hồi hộp	0.5 - 0.9
Tự tin	Thuyết trình chuyên nghiệp, hội thoại lãnh đạo, lời nói quả quyết	0.7 - 1.0
Hào hứng	Nội dung tràn đầy năng lượng, thông báo, hội thoại nhiệt tình	0.8 - 1.0
Chán nản	Nội dung đơn điệu, hội thoại thờ ơ, lời nói mệt mỏi	0.3 - 0.7
Tinh nghịch	Trò chuyện thân mật, hài hước, tương tác vui vẻ nhẹ nhàng	0.6 - 0.9
Bối rối	Hội thoại nhiều câu hỏi, sự không chắc chắn, sự hoang mang	0.4 - 0.8

Cấu hình Animation Blueprint

Cấu hình Lip Sync

Mô hình chuẩn

Nút Blend Runtime MetaHuman Lip Sync có các tùy chọn cấu hình trong bảng thuộc tính của nó:

Thuộc tính	Mặc định	Mô tả
Tốc độ nội suy	25	Kiểm soát tốc độ chuyển đổi chuyển động môi giữa các viseme. Giá trị cao hơn dẫn đến chuyển đổi nhanh hơn, đột ngột hơn.
Thời gian đặt lại	0.2	Khoảng thời gian tính bằng giây sau đó quá trình đồng bộ môi được đặt lại. Điều này hữu ích để ngăn quá trình đồng bộ môi tiếp tục sau khi âm thanh đã dừng.

Hoạt ảnh tiếng cười

Bạn cũng có thể thêm các hoạt ảnh tiếng cười để phản hồi một cách linh hoạt khi phát hiện tiếng cười trong âm thanh:

1. Thêm node Blend Runtime MetaHuman Laughter
2. Kết nối biến RuntimeVisemeGenerator của bạn vào chân Viseme Generator
3. Nếu bạn đã đang sử dụng lip sync:
   • Kết nối đầu ra từ node Blend Runtime MetaHuman Lip Sync đến Source Pose của node Blend Runtime MetaHuman Laughter
   • Kết nối đầu ra của node Blend Runtime MetaHuman Laughter đến chân Result của Output Pose
4. Nếu chỉ sử dụng tiếng cười mà không có khớp môi:
   • Kết nối pose nguồn của bạn trực tiếp vào Source Pose của node Blend Runtime MetaHuman Laughter
   • Kết nối đầu ra tới chân Result

Khi phát hiện tiếng cười trong âm thanh, nhân vật của bạn sẽ tự động hoạt hình theo cách tương ứng:

Cấu hình tiếng cười

Nút Blend Runtime MetaHuman Laughter có các tùy chọn cấu hình riêng của nó:

Thuộc tính	Mặc định	Mô tả
Tốc độ nội suy	25	Kiểm soát tốc độ chuyển đổi của chuyển động môi giữa các hoạt ảnh tiếng cười. Giá trị cao hơn dẫn đến chuyển đổi nhanh hơn, đột ngột hơn.
Thời gian đặt lại	0.2	Khoảng thời gian tính bằng giây sau đó tiếng cười được đặt lại. Điều này hữu ích để ngăn tiếng cười tiếp tục sau khi âm thanh đã dừng.
Trọng số tiếng cười tối đa	0.7	Điều chỉnh tỷ lệ cường độ tối đa của hoạt ảnh tiếng cười (0.0 - 1.0).

Lưu ý: Tính năng phát hiện tiếng cười hiện chỉ khả dụng với Mô hình Chuẩn.

Mô hình chân thực

Nút Blend Realistic MetaHuman Lip Sync có các tùy chọn cấu hình trong bảng thuộc tính của nó:

Thuộc tính	Mặc định	Mô tả
Tốc độ nội suy	30	Kiểm soát tốc độ chuyển đổi biểu cảm khuôn mặt trong khi phát âm. Giá trị cao hơn tạo ra chuyển đổi nhanh hơn, đột ngột hơn.
Tốc độ nội suy khi ở trạng thái nghỉ	15	Kiểm soát tốc độ chuyển biểu cảm khuôn mặt trở về trạng thái nghỉ/trung tính. Giá trị thấp hơn tạo ra sự trở về tư thế nghỉ mượt mà, dần dần hơn.
Thời gian đặt lại	0.2	Thời lượng tính bằng giây sau đó khớp môi được đặt lại về trạng thái nghỉ. Hữu ích để ngăn biểu cảm tiếp tục sau khi âm thanh dừng.
Giữ nguyên trạng thái nghỉ	false	Khi được bật, giữ nguyên trạng thái cảm xúc cuối cùng trong các khoảng thời gian nghỉ thay vì đặt lại về trạng thái trung tính.
Giữ nguyên biểu cảm mắt	true	Kiểm soát xem các điều khiển biểu cảm khuôn mặt liên quan đến mắt có được giữ nguyên trong trạng thái nghỉ hay không. Chỉ có hiệu lực khi Giữ nguyên trạng thái nghỉ được bật.
Giữ nguyên biểu cảm lông mày	true	Kiểm soát xem các điều khiển biểu cảm khuôn mặt liên quan đến lông mày có được giữ nguyên trong trạng thái nghỉ hay không. Chỉ có hiệu lực khi Giữ nguyên trạng thái nghỉ được bật.
Giữ nguyên hình dạng miệng	false	Kiểm soát xem các điều khiển hình dạng miệng (không bao gồm các chuyển động dành riêng cho phát âm như lưỡi và hàm) có được giữ nguyên trong trạng thái nghỉ hay không. Chỉ có hiệu lực khi Giữ nguyên trạng thái nghỉ được bật.

Trạng thái Idle được bảo toàn

Tính năng Preserve Idle State giải quyết cách mô hình Realistic xử lý các khoảng thời gian im lặng. Không giống như mô hình Standard sử dụng các viseme rời rạc và luôn trở về giá trị bằng không trong lúc im lặng, mạng nơ-ron của mô hình Realistic có thể duy trì vị trí khuôn mặt tinh tế khác biệt so với tư thế nghỉ mặc định của MetaHuman.

Khi nào nên bật:

• Duy trì biểu cảm cảm xúc giữa các phân đoạn lời nói
• Giữ gìn các đặc điểm tính cách của nhân vật
• Đảm bảo tính liên tục về hình ảnh trong các phân cảnh điện ảnh

Tùy chọn Kiểm soát Khu vực:

• Biểu cảm mắt: Giữ nguyên việc nheo mắt, mở to mắt và vị trí mí mắt
• Biểu cảm lông mày: Duy trì vị trí lông mày và trán
• Hình dạng miệng: Giữ độ cong tổng thể của miệng trong khi cho phép các chuyển động khi nói (lưỡi, hàm) được thiết lập lại

Kết hợp với các Animation hiện có

Hướng dẫn bằng video

Thích xem hơn đọc? Hãy xem video hướng dẫn bao gồm cách thiết lập chính xác này.

Để áp dụng lip sync và tiếng cười cùng với các animation cơ thể hiện có và animation khuôn mặt tùy chỉnh mà không ghi đè lên chúng:

Chuyển động cơ thể

Thiết lập này áp dụng cho Animation Blueprint của khuôn mặt, vì lip sync không nằm trong Animation Blueprint của cơ thể. Đối với các animation cơ thể tùy chỉnh (ví dụ: thân trên, cánh tay và các chuyển động cơ thể khác), chỉ cần kết nối chuỗi animation của bạn (thông qua Sequence Player) trực tiếp với pose đầu ra trong Animation Blueprint của cơ thể. Không cần thiết lập bổ sung nào ở đó.

1. Thêm node Layered blend per bone giữa các animation cơ thể của bạn và đầu ra cuối cùng. Đảm bảo Use Attached Parent được bật (true).
2. Cấu hình thiết lập lớp:
   • Thêm 1 mục vào mảng Layer Setup
   • Thêm 3 mục vào Branch Filters cho layer, với các Bone Name sau:
     • FACIAL_C_FacialRoot
     • FACIAL_C_Neck2Root
     • FACIAL_C_Neck1Root
3. Quan trọng đối với hoạt ảnh khuôn mặt tùy chỉnh: Trong Curve Blend Option, hãy chọn "Use Max Value". Điều này cho phép các hoạt ảnh khuôn mặt tùy chỉnh (biểu cảm, cảm xúc, v.v.) được xếp lớp đúng cách lên trên hoạt ảnh khớp môi.
4. Tạo các kết nối:
   • Hoạt ảnh tùy chỉnh của bạn (thường là một Sequence Player với asset chuỗi hoạt ảnh mong muốn) → đầu vào Base Pose
   • Đầu ra hoạt ảnh khuôn mặt (từ các node lip sync và/hoặc tiếng cười) → đầu vào Blend Poses 0
   • Node blend phân lớp → pose Result cuối cùng

Tập hợp lựa chọn Morph Target

Mô hình chuẩn

Mô hình Chuẩn sử dụng các pose asset vốn hỗ trợ mọi quy ước đặt tên morph target thông qua thiết lập pose asset tùy chỉnh. Không cần cấu hình bổ sung nào.

Mô hình chân thực

Nút Blend Realistic MetaHuman Lip Sync bao gồm thuộc tính Morph Target Set để xác định quy ước đặt tên morph target nào sẽ được sử dụng cho hoạt ảnh khuôn mặt:

Bộ Morph Target	Mô tả	Trường hợp sử dụng
MetaHuman (Mặc định)	Tên morph target chuẩn của MetaHuman (ví dụ: CTRL_expressions_jawOpen)	Nhân vật MetaHuman
ARKit	Tên tương thích với Apple ARKit (ví dụ: JawOpen, MouthSmileLeft)	Nhân vật dựa trên ARKit

Chuyển đổi Nhân vật thành Blendshape ARKit

Nếu nhân vật của bạn không sử dụng tên blendshape chuẩn ARKit một cách tự nhiên, một số hệ thống nhân vật thương mại phổ biến có thể được chuyển đổi để tạo ra chúng, cho phép bạn sử dụng Bộ Morph Target ARKit ở trên thay vì quy trình ánh xạ viseme thủ công cần thiết cho Mô hình Chuẩn.

Hướng dẫn chuyển đổi Reallusion CC4/CC5 và Daz Genesis 8.1/9 (bấm để mở rộng)

Reallusion CC4/CC5

Trước khi bắt đầu, hãy đảm bảo Hồ sơ Khuôn mặt (Facial Profile) của nhân vật được đặt ở chế độ CC4 Extended (không phải Standard, Extended-Plus, hoặc Hồ sơ Khuôn mặt HD mới hơn). Việc ánh xạ blendshape của script được mã hóa cứng theo tên thanh trượt của Extended, các hồ sơ khác sử dụng quy ước đặt tên khác và script sẽ âm thầm bỏ qua hoặc không tìm thấy các thanh trượt dự kiến.

1. Tải script này: rl_export_arkit_objs.py

2. Mở script trong trình soạn thảo văn bản, và ở nơi có ghi output_dir = "path/to/your/target/folder", hãy gán đường dẫn đến thư mục xuất của bạn. Đảm bảo sử dụng dấu gạch chéo /.

3. Trong Character Creator, hãy chọn nhân vật của bạn, sau đó trong menu trên cùng dưới mục Script, chọn Load Python. Tiếp theo, chọn script bạn vừa chỉnh sửa. Script sẽ tạo ra bộ đầy đủ các blendshape ARKit từ các thanh trượt Reallusion mặc định và xuất chúng dưới dạng tệp OBJ. Quá trình này có thể mất vài phút.

   

4. Bạn giờ có thể nhập các hình dạng đó bằng cách vào cửa sổ Facial Profile Editor. Nhấp vào nút Edit Expressions và trong menu thả xuống Batch Import, chọn OBJ.

   

5. Tại đây bạn có thể nhập thư mục mà bạn đã tham chiếu trước đó. Thao tác này sẽ liệt kê tất cả các hình dạng ARKit. Hãy nhập tên vào Danh mục Mục tiêu, ví dụ: AR_Kit, rồi nhấp OK.

   

6. Điều này sẽ tạo ra một danh mục mới bên dưới Expression. Bạn có thể vô hiệu hóa tất cả các danh mục khác.

   

Sau khi thiết lập danh mục ARKit, hãy xuất nhân vật của bạn dưới dạng FBX như thường lệ. Điều này cung cấp cho nhân vật 52 blendshape ARKit tiêu chuẩn, mà bạn có thể sử dụng với tùy chọn ARKit Bộ Morph Target ở trên.

Lưu ý: Chuyển động hàm dưới được điều khiển một phần bởi xoay xương thay vì chỉ dùng blendshape thuần túy trong rig của CC4, vì vậy jawOpen có thể trông yếu hoặc không mở miệng một cách thuyết phục sau khi xuất. Nếu điều này xảy ra, hãy bật Mouth Open as Morph trong tùy chọn xuất FBX, thao tác này sẽ nướng chuyển động do xương điều khiển của hàm dưới thành một blendshape chuyên dụng có thể được gán làm nguồn cho jawOpen thay vì dùng blendshape mặc định.

Phương án thay thế: Chuyển đổi sang MetaHuman. Thay vì xuất trực tiếp các blendshape ARKit từ CC4/CC5, bạn có thể chuyển đổi nhân vật của mình thành MetaHuman và sử dụng hệ thống rig khuôn mặt gốc của nó để đồng bộ khẩu hình. Xem hướng dẫn này để biết quy trình chuyển đổi. Nếu chọn cách này, hãy chọn tùy chọn MetaHuman Bộ mục tiêu biến dạng thay vì ARKit.

Daz Genesis 8/8.1/9

Các morph FACS của Daz, có sẵn nguyên bản trên Genesis 8.1 và Genesis 9, đã tương thích với ARKit mà không cần đổi tên. Genesis 8 thông thường (không phải 8.1) không bao gồm các tính năng này theo mặc định. Bạn sẽ cần sử dụng Genesis 8.1 thay thế, hoặc thêm một gói morph FACS riêng.

Bổ trợ Diffeomorphic đang được bảo trì tích cực (một cầu nối giữa Daz Studio và Blender, không liên kết với Daz 3D) là cách được khuyến nghị để đưa những thứ này vào Unreal:

1. Trong Blender, hãy sử dụng công cụ Easy Import DAZ của Diffeomorphic với preset thế hệ chính xác (G8.1 hoặc G9) và bật tùy chọn nhập FACS. Xem hướng dẫn Easy Import DAZ.
2. Thao tác này nhập các morph FACS dưới dạng shape key của Blender. Xuất nhân vật từ Blender dưới dạng FBX, và tên shape key sẽ được chuyển sang thành tên morph target.

Sau khi xuất, hãy sử dụng tùy chọn ARKit Bộ Morph Target ở trên.

Lưu ý: Các shape hướng nhìn mắt trên lông mi và nhãn cầu có thể không được chuyển đổi hoàn toàn vì chúng được điều khiển khác với lưới mặt chính, nhưng điều này không ảnh hưởng đến lip sync, vốn chỉ cần các shape miệng và hàm.

Tinh chỉnh hành vi Lip Sync

Mở rộng quy mô các đường cong Lip Sync cụ thể

Bạn có thể làm giảm (hoặc khuếch đại) các chuyển động khuôn mặt riêng lẻ do lip sync tạo ra bằng cách sử dụng node Modify Curve. Điều này hữu ích khi một curve cụ thể trông quá rõ rệt so với nội dung âm thanh hoặc nhân vật của bạn.

Thiết lập:

1. Sau nút blend lip sync của bạn, thêm một nút Modify Curve
2. Nhấp chuột phải vào nút và chọn Add Curve Pin, sau đó nhập tên đường cong bạn muốn chia tỷ lệ
3. Đặt thuộc tính Apply Mode của nút thành Scale
4. Đặt tham số Value: giá trị dưới 1.0 làm giảm chuyển động, giá trị trên 1.0 làm khuếch đại chuyển động (ví dụ: 0.8 = giảm 20%)

Các đường cong thường được chia tỷ lệ:

Tên đường cong	Mục đích	Áp dụng cho	Điều chỉnh điển hình
CTRL_expressions_tongueOut	Lưỡi nhô về phía trước trong một số âm vị nhất định	Mô hình tiêu chuẩn	0.8 để giảm độ nhô ra
CTRL_expressions_jawOpen	Phạm vi mở hàm	Mô hình chân thực	0.9 để giảm chuyển động của hàm

Bạn có thể thêm nhiều chân đường cong vào cùng một nút Modify Curve để chia tỷ lệ nhiều đường cong cùng lúc.

Điều chỉnh tinh theo tâm trạng cụ thể

Đối với các mô hình hỗ trợ tâm trạng, bạn có thể tinh chỉnh các biểu cảm cảm xúc cụ thể:

Điều khiển lông mày:

• CTRL_expressions_browRaiseInL / CTRL_expressions_browRaiseInR - Nhướn lông mày phần trong
• CTRL_expressions_browRaiseOuterL / CTRL_expressions_browRaiseOuterR - Nhướn lông mày phần ngoài
• CTRL_expressions_browDownL / CTRL_expressions_browDownR - Hạ lông mày

Điều khiển Biểu cảm Mắt:

• CTRL_expressions_eyeSquintInnerL / CTRL_expressions_eyeSquintInnerR - Nheo mắt
• CTRL_expressions_eyeCheekRaiseL / CTRL_expressions_eyeCheekRaiseR - Nâng má

So sánh và lựa chọn mô hình

Chọn Giữa Các Mô Hình

Khi quyết định sử dụng mô hình lip sync nào cho dự án của bạn, hãy cân nhắc các yếu tố sau:

Cân nhắc	Mô hình Tiêu chuẩn	Mô hình Chân thực	Mô hình Chân thực hỗ trợ Cảm xúc
Khả năng tương thích nhân vật	MetaHumans và mọi loại nhân vật tùy chỉnh	MetaHumans (và nhân vật ARKit)	MetaHumans (và nhân vật ARKit)
Chất lượng hình ảnh	Khớp môi tốt với hiệu suất tối ưu	Độ chân thực nâng cao với chuyển động miệng tự nhiên hơn	Độ chân thực nâng cao với biểu cảm cảm xúc
Hiệu suất	Được tối ưu cho mọi nền tảng bao gồm di động/VR	Yêu cầu tài nguyên cao hơn	Yêu cầu tài nguyên cao hơn
Tính năng	14 viseme, phát hiện tiếng cười	81 bộ điều khiển khuôn mặt, 3 mức tối ưu hóa	81 bộ điều khiển khuôn mặt, 12 cảm xúc, đầu ra có thể cấu hình
Hỗ trợ nền tảng	Windows, Android, Quest	Windows, Mac, iOS, Linux, Android, Quest	Windows, Mac, iOS, Linux, Android, Quest
Trường hợp sử dụng	Ứng dụng thông thường, trò chơi, VR/AR, di động	Trải nghiệm điện ảnh, tương tác cận cảnh	Kể chuyện giàu cảm xúc, tương tác nhân vật nâng cao

Tương thích phiên bản Engine

Vấn đề tương thích UE 5.2

Nếu bạn đang sử dụng Unreal Engine 5.2, các Mô Hình Thực Tế (Realistic Models) có thể không hoạt động chính xác do lỗi trong thư viện lấy mẫu lại của UE. Đối với người dùng UE 5.2 cần chức năng đồng bộ khẩu hình (lip sync) đáng tin cậy, vui lòng sử dụng Mô Hình Chuẩn (Standard Model) để thay thế.

Sự cố này chỉ xảy ra riêng với UE 5.2 và không ảnh hưởng đến các phiên bản engine khác.

Khuyến nghị về Hiệu suất

• Đối với hầu hết các dự án, Mô hình Tiêu chuẩn cung cấp sự cân bằng tuyệt vời giữa chất lượng và hiệu suất
• Sử dụng Mô hình Hiện thực khi bạn cần độ trung thực hình ảnh cao nhất cho các nhân vật MetaHuman
• Sử dụng Mô hình Hiện thực hỗ trợ Cảm xúc khi việc kiểm soát biểu cảm cảm xúc quan trọng đối với ứng dụng của bạn
• Cân nhắc khả năng hiệu suất của nền tảng mục tiêu khi lựa chọn giữa các mô hình
• Kiểm thử các mức độ tối ưu hóa khác nhau để tìm ra sự cân bằng tốt nhất cho trường hợp sử dụng cụ thể của bạn

Xử lý sự cố

Các vấn đề thường gặp

Tái tạo Generator cho các Mô Hình Thực Tế: Để vận hành đáng tin cậy và nhất quán với các Mô Hình Thực Tế, bạn nên tái tạo generator mỗi lần muốn đưa dữ liệu âm thanh mới vào sau một khoảng thời gian không hoạt động. Điều này là do hành vi của ONNX runtime có thể khiến lip sync ngừng hoạt động khi tái sử dụng generator sau những khoảng thời gian im lặng.

Ví dụ, bạn có thể tái tạo trình tạo khớp môi mỗi khi bắt đầu phát lại, chẳng hạn như bất cứ khi nào bạn gọi Play Sound 2D hoặc sử dụng bất kỳ phương pháp nào khác để bắt đầu phát sóng âm thanh và khớp môi:

Vị trí Plugin cho Tích hợp Runtime Text To Speech: Khi sử dụng Runtime MetaHuman Lip Sync cùng với Runtime Text To Speech (cả hai plugin đều sử dụng ONNX Runtime), bạn có thể gặp sự cố nếu các plugin được cài đặt trong thư mục Marketplace của engine. Để khắc phục điều này:

1. Tìm cả hai plugin trong thư mục cài đặt UE của bạn tại \Engine\Plugins\Marketplace (ví dụ: C:\Program Files\Epic Games\UE_5.6\Engine\Plugins\Marketplace)
2. Di chuyển cả hai thư mục RuntimeMetaHumanLipSync và RuntimeTextToSpeech vào thư mục Plugins của dự án bạn
3. Nếu dự án của bạn không có thư mục Plugins, hãy tạo một thư mục mới trong cùng thư mục chứa tệp .uproject của bạn
4. Khởi động lại Unreal Editor

Điều này giải quyết các vấn đề tương thích có thể xảy ra khi nhiều plugin dựa trên ONNX Runtime được tải từ thư mục Marketplace của engine.

Cấu hình đóng gói (Windows): Nếu lip sync không hoạt động chính xác trong dự án đã đóng gói trên Windows, hãy đảm bảo bạn đang sử dụng cấu hình build Shipping thay vì Development. Cấu hình Development có thể gây ra sự cố với ONNX runtime của các mô hình thực tế trong các bản build đã đóng gói.

Để sửa lỗi này:

1. Trong Project Settings → Packaging của bạn, đặt Build Configuration thành Shipping
2. Đóng gói lại dự án của bạn

Dự án Chỉ-Dùng-Blueprint

Trong một số dự án chỉ dùng Blueprint, Unreal Engine vẫn có thể build ở cấu hình Development ngay cả khi đã chọn Shipping. Nếu điều này xảy ra, hãy chuyển đổi dự án của bạn thành dự án C++ bằng cách thêm ít nhất một lớp C++ (có thể để trống). Để thực hiện, hãy vào Tools → New C++ Class trong menu trình chỉnh sửa UE và tạo một lớp trống. Điều này sẽ buộc dự án build chính xác ở cấu hình Shipping. Dự án của bạn có thể vẫn chỉ dùng Blueprint về mặt chức năng, lớp C++ chỉ cần thiết để cấu hình build phù hợp.

Độ trễ phản hồi của Lip Sync bị suy giảm: Nếu bạn gặp tình trạng lip sync trở nên kém phản hồi hơn theo thời gian khi sử dụng Streaming Sound Wave hoặc Capturable Sound Wave, điều này có thể do sự tích tụ bộ nhớ. Theo mặc định, bộ nhớ được cấp phát lại mỗi khi có âm thanh mới được thêm vào. Để ngăn chặn vấn đề này, hãy gọi hàm ReleaseMemory định kỳ để giải phóng bộ nhớ tích tụ, chẳng hạn như mỗi 30 giây một lần.

Tối Ưu Hiệu Suất:

• Điều chỉnh Kích thước Khối Xử lý cho các mô hình Realistic dựa trên yêu cầu hiệu suất của bạn
• Sử dụng số lượng luồng phù hợp cho phần cứng mục tiêu của bạn
• Cân nhắc sử dụng loại đầu ra Chỉ Miệng cho các mô hình hỗ trợ cảm xúc khi không cần hoạt ảnh khuôn mặt đầy đủ