Chuyển tới nội dung chính

Tổng quan

Runtime MetaHuman Lip Sync Documentation

Runtime MetaHuman Lip Sync là một plugin cho phép đồng bộ khẩu hình (lip sync) theo thời gian thực, ngoại tuyến và đa nền tảng cho cả MetaHuman lẫn các nhân vật tùy chỉnh. Plugin cho phép bạn tạo chuyển động môi cho nhân vật phản hồi theo đầu vào âm thanh từ nhiều nguồn khác nhau, bao gồm:

Plugin tự động tạo ra các viseme (biểu thị trực quan của âm vị) dựa trên dữ liệu âm thanh đầu vào. Vì plugin hoạt động trực tiếp với dữ liệu âm thanh thay vì văn bản, plugin hỗ trợ đầu vào đa ngôn ngữ, bao gồm nhưng không giới hạn ở tiếng Anh, tiếng Tây Ban Nha, tiếng Pháp, tiếng Đức, tiếng Nhật, tiếng Trung, tiếng Hàn, tiếng Nga, tiếng Ý, tiếng Bồ Đào Nha, tiếng Ả Rập và tiếng Hindi. Trên thực tế, mọi ngôn ngữ đều được hỗ trợ vì khớp môi được tạo ra từ các âm vị trong âm thanh thay vì xử lý văn bản theo từng ngôn ngữ cụ thể.

Sản phẩm Standard Model tạo ra 14 viseme và thực hiện hoạt hình khớp môi bằng cách sử dụng pose asset được xác định trước. Ngược lại, Realistic Models (dành riêng cho nhân vật dựa trên MetaHuman và ARKit) tạo ra 81 thay đổi điều khiển khuôn mặt mà không dựa vào pose asset được xác định trước, nhờ đó tạo ra hoạt hình khuôn mặt thực tế hơn đáng kể.

Khả năng tương thích của nhân vật​

Mặc dù tên của nó, Runtime MetaHuman Lip Sync hoạt động với nhiều loại nhân vật ngoài MetaHuman:

  • Nhân vật Daz Genesis 8/9
  • Nhân vật Reallusion Character Creator 3/4/5 (CC3/CC4/CC5)
  • Nhân vật Mixamo

Hỗ trợ các tiêu chuẩn hoạt ảnh​

  • Hệ thống blendshape dựa trên FACS
  • Chuẩn blendshape Apple ARKit
  • Bộ âm vị Preston Blair
  • Hệ thống âm vị 3ds Max
  • Bất kỳ nhân vật nào có morph target tùy chỉnh cho biểu cảm khuôn mặt

Nhiều hệ thống phổ biến, bao gồm Reallusion CC4/CC5 và Daz Genesis 8.1/9, cũng có thể được chuyển đổi để sử dụng các tên blendshape chuẩn ARKit. Điều này cho phép bạn dùng Realistic Model cho các nhân vật này, với hoạt ảnh khuôn mặt chất lượng cao hơn, thay thế cho việc ánh xạ viseme thủ công của Standard Model. Xem Chuyển đổi nhân vật sang Blendshape ARKit để biết chi tiết.

Đối với các nhân vật không phải MetaHuman sử dụng Standard Model, hãy xem Hướng dẫn thiết lập nhân vật tùy chỉnh. Đối với các nhân vật dựa trên ARKit sử dụng Realistic Models, hãy xem Lựa chọn bộ Morph Target.

Xem trước hoạt ảnh​

Hãy xem các đoạn animation ngắn này để thấy chất lượng hoạt hình lip sync do plugin tạo ra trên nhiều loại nhân vật và mô hình khác nhau:

Mô hình chân thực với nhân vật MetaHuman
Mô hình tiêu chuẩn với nhân vật MetaHuman
Mô hình tiêu chuẩn với nhân vật tùy chỉnh
Mô hình tiêu chuẩn với nhân vật tùy chỉnh

Tính năng chính​

Các mô hình Lip Sync​

Plugin cung cấp nhiều mô hình lip sync để đáp ứng các nhu cầu khác nhau của dự án:

Mô hình lip sync tiêu chuẩn cung cấp hiệu năng cao trên nhiều nền tảng với khả năng tương thích nhân vật rộng rãi:

  • Hoạt động với MetaHumans và mọi loại nhân vật tùy chỉnh
  • Được tối ưu hóa cho hiệu suất thời gian thực
  • Yêu cầu tài nguyên thấp hơn
  • Hỗ trợ nền tảng: Windows, Android, các nền tảng dựa trên Android (bao gồm Meta Quest)
Yêu cầu Plugin mở rộng

Để sử dụng Standard Model, bạn cần cài đặt thêm một plugin mở rộng. Xem phần Điều kiện tiên quyết để biết hướng dẫn cài đặt.

Bạn có thể chọn mô hình phù hợp dựa trên các yêu cầu của dự án về hiệu suất, khả năng tương thích nhân vật, chất lượng hình ảnh, nền tảng mục tiêu và nhu cầu tính năng.

Cách hoạt động​

Plugin xử lý đầu vào âm thanh theo cách sau:

  1. Dữ liệu âm thanh được nhận dưới dạng float định dạng PCM với số kênh và tần số lấy mẫu được chỉ định
  2. Plugin xử lý âm thanh để tạo dữ liệu điều khiển khuôn mặt hoặc viseme tùy thuộc vào mô hình
  3. Đối với các mô hình hỗ trợ tâm trạng, ngữ cảnh cảm xúc được áp dụng vào hoạt ảnh khuôn mặt
  4. Dữ liệu hoạt ảnh điều khiển chuyển động khuôn mặt của nhân vật theo thời gian thực

Kiến trúc hiệu năng​

Runtime MetaHuman Lip Sync sử dụng suy luận chỉ trên CPU để mang lại kết quả đồng bộ khẩu hình nhất quán, độ trễ thấp, phù hợp cho các ứng dụng thời gian thực. Theo mặc định, plugin thực hiện xử lý đồng bộ khẩu hình mỗi 10 mili giây (có thể điều chỉnh - xem Cấu hình Plugin để biết tất cả các cài đặt khả dụng, bao gồm Kích thước khối xử lý, số luồng và các tham số hiệu năng khác).

Tổng quan Kiến trúc Mô hình​

Các mô hình khớp khẩu hình sử dụng mạng nơ-ron gọn nhẹ dựa trên kiến trúc transformer, xử lý âm thanh thông qua phân tích phổ đồ mel. Kiến trúc nhẹ này được thiết kế đặc biệt để đạt hiệu suất thời gian thực với khả năng suy luận trên CPU hiệu quả và mức chiếm dụng bộ nhớ tối thiểu.

Tại sao suy luận bằng CPU?​

Đối với các thao tác suy luận nhỏ và thường xuyên như đồng bộ khẩu hình theo thời gian thực, xử lý bằng CPU mang lại đặc tính độ trễ tốt hơn so với GPU. Ở kích thước lô bằng 1 với các lần suy luận cách nhau 10–100ms, chi phí phụ trội của GPU từ việc truyền dữ liệu qua PCIe và khởi chạy kernel thường vượt quá thời gian tính toán thực tế. Ngoài ra, trong các game engine, GPU vốn đã bị bão hòa bởi việc dựng hình, shader và vật lý, tạo ra sự tranh chấp tài nguyên làm xuất hiện những đợt tăng độ trễ không thể đoán trước.

Khả năng tương thích phần cứng​

Plugin hoạt động hiệu quả trên hầu hết các CPU từ tầm trung trở lên mà không yêu cầu phần cứng đồ họa chuyên dụng, mang lại hiệu suất thời gian thực trên các nền tảng máy tính để bàn, di động và VR. Với phần cứng yếu hơn, bạn có thể điều chỉnh Loại mô hình thành Semi-Optimized hoặc Highly Optimized, hoặc tăng Kích thước khối xử lý để duy trì hiệu suất thời gian thực với độ phản hồi giảm nhẹ.

Bắt đầu nhanh​

Đây là một thiết lập cơ bản để bật lip sync cho nhân vật của bạn:

  1. Đối với nhân vật MetaHuman, hãy làm theo Hướng dẫn thiết lập
  2. Đối với nhân vật tùy chỉnh, hãy làm theo Hướng dẫn thiết lập nhân vật tùy chỉnh
  3. Chọn và cấu hình mô hình khớp môi bạn muốn
  4. Thiết lập xử lý đầu vào âm thanh trong Blueprint của bạn
  5. Kết nối nút khớp môi phù hợp trong Animation Blueprint
  6. Phát âm thanh và xem nhân vật của bạn chuyển động đồng bộ

Hoạt ảnh mắt tùy chọn​

Plugin cũng bao gồm các trình trợ giúp tùy chọn cho chớp mắt tự động và theo dõi ánh mắt trên MetaHumans. Các tính năng này độc lập với lip sync và có thể được sử dụng độc lập hoặc xếp chồng lên trên nó. Xem Trợ giúp Hoạt hình Mắt.

Tài nguyên bổ sung​

📦 Tải xuống & Liên kết​

Các dự án demo:

Có hai dự án demo sẵn sàng sử dụng - hãy xem trang Dự án Demo chuyên dụng để biết chi tiết đầy đủ, bản tải xuống và hướng dẫn từng bước:

Cả hai bản demo đều đa nền tảng (Windows, Mac, Linux, iOS, Android, Meta Quest) và được phân phối dưới dạng các bản build đóng gói cùng với dự án nguồn UE 5.6+ đầy đủ.

🎥 Video Hướng dẫn​

Bản demo nổi bật:​

Hướng dẫn về mô hình chân thực (chất lượng cao):​

Hướng dẫn Mô hình Tiêu chuẩn:​

Thiết lập chung:​

💬 Hỗ trợ​

  • Phát triển tùy chỉnh: [email protected] (giải pháp phù hợp cho các nhóm & tổ chức)
Join our Discord
online · support