Chuyển tới nội dung chính

Cách sử dụng plugin với các nhân vật tùy chỉnh

Hướng dẫn này sẽ hướng dẫn bạn quy trình thiết lập Runtime MetaHuman Lip Sync cho các nhân vật không phải MetaHuman. Quy trình này yêu cầu bạn phải quen thuộc với các khái niệm về hoạt ảnh và dựng rig. Nếu bạn cần hỗ trợ triển khai tính năng này cho nhân vật cụ thể của mình, bạn có thể liên hệ để được hỗ trợ chuyên nghiệp tại [email protected].

Lưu ý quan trọng về các mô hình đồng bộ khẩu hình miệng​

Tương thích Nhân vật Tùy chỉnh

Các nhân vật tùy chỉnh chỉ được hỗ trợ với mô hình Standard (Nhanh hơn).

Mô hình Realistic (Chất lượng cao hơn) được thiết kế cho các nhân vật MetaHuman và ARKit và không thể sử dụng với các nhân vật tùy chỉnh khác. Trong suốt hướng dẫn này, bạn nên làm theo hướng dẫn về Mô hình Chuẩn từ hướng dẫn thiết lập chính khi được tham chiếu.

Plugin mở rộng bắt buộc: Để sử dụng Mô hình Chuẩn với các nhân vật tùy chỉnh, bạn phải cài đặt plugin Mở rộng Đồng bộ Môi Chuẩn như được mô tả trong Phần Điều kiện Tiên quyết của hướng dẫn thiết lập chính.

Phần mở rộng này là bắt buộc đối với tất cả các triển khai nhân vật tùy chỉnh được mô tả trong hướng dẫn này.

Điều kiện tiên quyết​

Trước khi bắt đầu, hãy đảm bảo nhân vật của bạn đáp ứng các yêu cầu sau:

  • Có một bộ xương hợp lệ
  • Chứa các mục tiêu biến dạng (hình dạng pha trộn) cho biểu cảm khuôn mặt
  • Lý tưởng nhất là có 10+ mục tiêu biến dạng xác định các viseme (càng nhiều viseme thì chất lượng đồng bộ môi càng tốt)

Plugin yêu cầu ánh xạ các morph target của nhân vật bạn sang các viseme chuẩn sau:

Sil -> Silence
PP -> Bilabial plosives (p, b, m)
FF -> Labiodental fricatives (f, v)
TH -> Dental fricatives (th)
DD -> Alveolar plosives (t, d)
KK -> Velar plosives (k, g)
CH -> Postalveolar affricates (ch, j)
SS -> Sibilants (s, z)
NN -> Nasal (n)
RR -> Approximant (r)
AA -> Open vowel (aa)
E -> Mid vowel (e)
IH -> Close front vowel (ih)
OH -> Close-mid back vowel (oh)
OU -> Close back vowel (ou)

Lưu ý: Nếu nhân vật của bạn có một bộ viseme khác (điều này rất có thể xảy ra), bạn không cần phải khớp chính xác từng viseme. Các giá trị xấp xỉ thường là đủ - ví dụ, ánh xạ viseme SH của nhân vật bạn sang viseme CH của plugin sẽ hoạt động hiệu quả vì chúng là các âm sau chân răng có liên quan chặt chẽ với nhau.

Bảng tham chiếu ánh xạ Viseme​

Dưới đây là ánh xạ giữa các hệ thống viseme phổ biến và các viseme yêu cầu của plugin:

ARKit cung cấp một bộ blendshapes toàn diện cho hoạt ảnh khuôn mặt, bao gồm một số hình dạng miệng. Dưới đây là cách ánh xạ chúng sang các visemes của RuntimeMetaHumanLipSync:

RuntimeMetaHumanLipSync VisemeTương đương với ARKitGhi chú
SilmouthCloseVị trí trung tính/nghỉ
PPmouthPressLeft + mouthPressRightĐối với các âm môi, hãy sử dụng cả hai hình dạng ép môi cùng nhau.
FFlowerLipBiteLeft + lowerLipBiteRight (hoặc mouthRollLower)Môi dưới chạm vào răng trên, như trong âm "f" và "v".
THtongueOutARKit có tính năng điều khiển lưỡi trực tiếp.
DDjawOpen (mild) + tongueUp (if you have tongue rig)Lưỡi chạm vào vòm miệng phía trên; hàm hơi hạ xuống.
KKmouthLeft or mouthRight (mild)Khóe miệng kéo nhẹ mô phỏng âm vòm mềm
CHjawOpen (mild) + mouthFunnel (mild)Kết hợp cho các âm sau chân răng
SSmouthFrownSử dụng một chút cau mày cho các âm xuýt.
NNjawOpen (very mild) + mouthCloseMiệng gần như khép lại với hàm hơi mở nhẹ
RRmouthPucker (mild)Làm tròn tinh tế cho âm r
AAjawOpen + mouthStretchLeft + mouthStretchRight (hoặc jawOpen + mouthOpen)Mở miệng rộng cho âm "ah"
EjawOpen (mild) + mouthSmileVị trí mở vừa phải với nụ cười nhẹ
IHmouthSmile (mild)Môi hơi mở rộng
OHmouthFunnelHình dạng mở tròn
OUmouthPuckerMôi tròn chặt

Tạo một Pose Asset tùy chỉnh​

Thực hiện theo các bước sau để tạo tài sản tư thế tùy chỉnh cho nhân vật của bạn, tài sản này sẽ được sử dụng với node Blend Runtime MetaHuman Lip Sync:

1. Xác định Skeletal Mesh của nhân vật của bạn​

Tìm lưới xương chứa các mục tiêu biến dạng (hình dạng pha trộn) mà bạn muốn sử dụng cho hoạt ảnh đồng bộ môi. Đây có thể là lưới toàn thân hoặc chỉ lưới khuôn mặt, tùy thuộc vào thiết kế nhân vật của bạn.

2. Xác minh Morph Targets và Curves​

Trước khi tiếp tục, hãy kiểm tra rằng lưới xương của bạn có các mục tiêu biến dạng phù hợp và các đường cong tương ứng cho hoạt ảnh đồng bộ môi.

Kiểm tra Morph Targets: Xác minh rằng skeletal mesh của bạn có chứa các morph targets (blend shapes) có thể được sử dụng làm viseme cho hoạt ảnh đồng bộ môi. Hầu hết các nhân vật hỗ trợ hoạt ảnh khuôn mặt đều nên có một số morph targets phoneme/viseme.

Example of morph targets in a character

Quan trọng: Kiểm tra Tab Curves Bước này đặc biệt quan trọng đối với các nhân vật được xuất từ Blender hoặc phần mềm bên ngoài khác:

  1. Mở tab Curves trong trình chỉnh sửa Skeletal Mesh
  2. Kiểm tra xem bạn có thể thấy các đường cong tương ứng với các morph target của mình không
  3. Nếu tab Curves trống nhưng morph target vẫn tồn tại, hãy thêm thủ công các đường cong mới bằng cách sử dụng chính xác cùng tên với các morph target của bạn

Lưu ý: Vấn đề này thường xảy ra với các bản xuất từ Blender, nơi các mục tiêu biến dạng (morph targets) được nhập thành công nhưng các đường cong hoạt ảnh (animation curves) không được tạo tự động. Nếu không có các đường cong khớp, hoạt ảnh sẽ không được thiết lập đúng cách sau khi nướng (baking) vào Control Rig.

Giải pháp thay thế: Để ngăn chặn vấn đề này khi xuất từ Blender, hãy thử bật Custom Properties và Animation trong cài đặt xuất FBX của bạn, điều này có thể giúp bao gồm các đường cong hoạt ảnh cùng với các mục tiêu biến dạng.

3. Tạo một Animation Tư Thế Tham Chiếu​

  1. Đi tới Create Asset -> Create Animation -> Reference Pose
  2. Nhập một tên mô tả cho chuỗi hoạt ảnh và lưu nó vào vị trí thích hợp
  3. Chuỗi hoạt ảnh vừa tạo sẽ tự động mở ra, hiển thị một hoạt ảnh trống đang phát lặp lại

Creating a reference pose asset Naming the reference pose asset

  1. Nhấn nút Pause để dừng phát lại hoạt ảnh nhằm dễ dàng chỉnh sửa hơn.

Pausing animation playback

4. Chỉnh sửa Animation Sequence​

  1. Nhấp vào Edit in Sequencer -> Edit with FK Control Rig
  2. Trong hộp thoại Bake to Control Rig, nhấp vào nút Bake to Control Rig mà không thay đổi bất kỳ cài đặt nào.

Editing with FK Control Rig Baking to Control Rig

  1. Trình chỉnh sửa sẽ chuyển sang Chế độ Hoạt ảnh với tab Sequencer được mở
  2. Đặt Thời gian kết thúc phạm vi xem thành 0016 (thao tác này sẽ tự động đặt Kết thúc phạm vi làm việc thành 0016)
  3. Kéo cạnh phải của thanh trượt đến đầu bên phải của cửa sổ sequencer

5. Chuẩn bị các Đường cong Hoạt hình​

  1. Quay lại tài sản Animation Sequence và xác định vị trí các mục tiêu biến dạng trong danh sách Curves (nếu chúng không hiển thị, hãy đóng và mở lại tài sản Animation Sequence)
  2. Xóa bất kỳ mục tiêu biến dạng nào không liên quan đến viseme hoặc chuyển động miệng mà bạn muốn sử dụng cho đồng bộ môi

6. Lập kế hoạch ánh xạ viseme của bạn​

Tạo một kế hoạch ánh xạ để khớp các viseme của nhân vật với bộ yêu cầu của plugin. Ví dụ:

Sil -> Sil
PP -> FV
FF -> FV
TH -> TH
DD -> TD
KK -> KG
CH -> CH
SS -> SZ
NN -> NL
RR -> RR
AA -> AA
E -> E
IH -> IH
OH -> O
OU -> U

Lưu ý rằng việc có các ánh xạ trùng lặp là chấp nhận được khi bộ viseme của nhân vật của bạn không có kết quả khớp chính xác cho mọi viseme được yêu cầu.

7. Hoạt ảnh từng viseme​

  1. Đối với mỗi viseme, tạo hoạt ảnh cho các đường cong morph target liên quan từ 0.0 đến 1.0
  2. Bắt đầu hoạt ảnh của mỗi viseme trên một khung hình khác nhau
  3. Cấu hình thêm các đường cong cần thiết (độ mở hàm/miệng, vị trí lưỡi, v.v.) để tạo ra các hình dạng viseme trông tự nhiên

8. Tạo một Pose Asset​

  1. Đi tới Create Asset -> Pose Asset -> Current Animation
  2. Nhập một tên mô tả cho Pose Asset và lưu nó vào vị trí thích hợp
  3. Pose Asset vừa tạo sẽ tự động mở ra, hiển thị các tư thế như Pose_0, Pose_1, v.v., mỗi tư thế tương ứng với một viseme
  4. Xem trước trọng số viseme để đảm bảo chúng hoạt động như mong đợi

Creating a pose asset Naming the pose asset Pose asset with visemes

9. Hoàn thiện Pose Asset​

  1. Đổi tên mỗi pose để khớp với tên viseme từ phần Điều kiện tiên quyết
  2. Xóa bất kỳ pose nào không được sử dụng

Thiết lập xử lý và pha trộn âm thanh​

Khi pose asset của bạn đã sẵn sàng, bạn cần thiết lập các node xử lý âm thanh và pha trộn:

  1. Tìm hoặc tạo Animation Blueprint cho nhân vật của bạn
  2. Thiết lập xử lý âm thanh và pha trộn theo các bước tương tự như đã được ghi trong hướng dẫn thiết lập plugin tiêu chuẩn
  3. Trong node Blend Runtime MetaHuman Lip Sync, chọn Pose Asset tùy chỉnh của bạn thay vì pose asset MetaHuman mặc định

Selecting the custom pose asset

Kết hợp với hoạt ảnh cơ thể​

Nếu bạn muốn thực hiện đồng bộ khẩu hình cùng với các hoạt ảnh cơ thể khác:

  1. Thực hiện theo các bước tương tự như đã được ghi trong hướng dẫn plugin tiêu chuẩn
  2. Đảm bảo cung cấp tên xương chính xác cho khung xương cổ của nhân vật thay vì sử dụng tên xương MetaHuman

Kết quả​

Dưới đây là các ví dụ về nhân vật tùy chỉnh sử dụng thiết lập này:

Example 1: Lip sync with custom character

Example 2: Lip sync with different viseme system

Example 3: Lip sync with different viseme system

Chất lượng của khớp môi phần lớn phụ thuộc vào nhân vật cụ thể và mức độ thiết lập các viseme của nó. Các ví dụ trên minh họa plugin hoạt động với nhiều loại nhân vật tùy chỉnh khác nhau, mỗi loại có hệ thống viseme riêng biệt.