Hướng dẫn Xử lý Âm thanh

Hướng dẫn này trình bày cách thiết lập các phương pháp nhập âm thanh khác nhau để cung cấp dữ liệu âm thanh cho bộ tạo khớp môi của bạn. Hãy đảm bảo bạn đã hoàn thành Hướng dẫn Thiết lập trước khi tiếp tục.

Xử lý Đầu vào Âm thanh

Bạn cần thiết lập một phương pháp để xử lý đầu vào âm thanh. Có một số cách để thực hiện điều này tùy thuộc vào nguồn âm thanh của bạn.

Microphone (Thời gian thực)

Phương pháp này thực hiện khớp môi theo thời gian thực trong khi nói vào micro:

Mô hình Chuẩn

1. Tạo một Capturable Sound Wave bằng Runtime Audio Importer
   • Đối với Linux với Pixel Streaming, hãy sử dụng Pixel Streaming Capturable Sound Wave để thay thế
2. Trước khi bắt đầu ghi âm, hãy liên kết với delegate OnPopulateAudioData
3. Trong hàm đã liên kết, hãy gọi ProcessAudioData từ Runtime Viseme Generator của bạn
4. Bắt đầu ghi âm từ micro

Các nút có thể sao chép.

Mô hình Thực tế

Mô hình Thực tế sử dụng quy trình xử lý âm thanh tương tự như Mô hình Chuẩn, nhưng với biến RealisticLipSyncGenerator thay vì VisemeGenerator.

Các nút có thể sao chép.

Mô hình Thực tế có Cảm xúc

Mô hình có Cảm xúc sử dụng quy trình xử lý âm thanh tương tự, nhưng với biến MoodMetaHumanLipSyncGenerator và các khả năng cấu hình cảm xúc bổ sung.

Các nút có thể sao chép.

Microphone (Phát lại)

Phương pháp này ghi âm từ micro, sau đó phát lại kèm khớp môi:

Mô hình Chuẩn

1. Tạo một Capturable Sound Wave bằng Runtime Audio Importer
   • Đối với Linux với Pixel Streaming, hãy sử dụng Pixel Streaming Capturable Sound Wave để thay thế
2. Bắt đầu ghi âm từ micro
3. Trước khi phát lại sound wave có thể ghi, hãy liên kết với delegate OnGeneratePCMData của nó
4. Trong hàm đã liên kết, hãy gọi ProcessAudioData từ Runtime Viseme Generator của bạn

Các nút có thể sao chép.

Mô hình Thực tế

Mô hình Thực tế sử dụng quy trình xử lý âm thanh tương tự như Mô hình Chuẩn, nhưng với biến RealisticLipSyncGenerator thay vì VisemeGenerator.

Các nút có thể sao chép.

Mô hình Thực tế có Cảm xúc

Mô hình có Cảm xúc sử dụng quy trình xử lý âm thanh tương tự, nhưng với biến MoodMetaHumanLipSyncGenerator và các khả năng cấu hình cảm xúc bổ sung.

Các nút có thể sao chép.

Chuyển văn bản thành giọng nói (Cục bộ)

Thông thường

Phương pháp này tổng hợp giọng nói từ văn bản bằng TTS cục bộ và thực hiện khớp môi:

Mô hình Chuẩn

1. Sử dụng Runtime Text To Speech để tạo giọng nói từ văn bản
2. Sử dụng Runtime Audio Importer để nhập âm thanh đã tổng hợp
3. Trước khi phát lại sound wave đã nhập, hãy liên kết với delegate OnGeneratePCMData của nó
4. Trong hàm đã liên kết, hãy gọi ProcessAudioData từ Runtime Viseme Generator của bạn

Các nút có thể sao chép.

Mô hình Thực tế

Mô hình Thực tế sử dụng quy trình xử lý âm thanh tương tự như Mô hình Chuẩn, nhưng với biến RealisticLipSyncGenerator thay vì VisemeGenerator.

Các nút có thể sao chép.

Mô hình Thực tế có Cảm xúc

Mô hình có Cảm xúc sử dụng quy trình xử lý âm thanh tương tự, nhưng với biến MoodMetaHumanLipSyncGenerator và các khả năng cấu hình cảm xúc bổ sung.

Các nút có thể sao chép.

Phát trực tuyến

Phương pháp này sử dụng tổng hợp giọng nói từ văn bản dạng phát trực tuyến với khớp môi thời gian thực:

Mô hình Chuẩn

1. Sử dụng Runtime Text To Speech để tạo giọng nói phát trực tuyến từ văn bản
2. Sử dụng Runtime Audio Importer để nhập âm thanh đã tổng hợp
3. Trước khi phát lại sound wave phát trực tuyến, hãy liên kết với delegate OnGeneratePCMData của nó
4. Trong hàm đã liên kết, hãy gọi ProcessAudioData từ Runtime Viseme Generator của bạn

Các nút có thể sao chép.

Mô hình Thực tế

Mô hình Thực tế sử dụng quy trình xử lý âm thanh tương tự như Mô hình Chuẩn, nhưng với biến RealisticLipSyncGenerator thay vì VisemeGenerator.

Các nút có thể sao chép.

Mô hình Thực tế có Cảm xúc

Mô hình có Cảm xúc sử dụng quy trình xử lý âm thanh tương tự, nhưng với biến MoodMetaHumanLipSyncGenerator và các khả năng cấu hình cảm xúc bổ sung.

Các nút có thể sao chép.

Chuyển văn bản thành giọng nói (API bên ngoài)

Thông thường

Phương pháp này sử dụng plugin Runtime AI Chatbot Integrator để tạo giọng nói tổng hợp từ các dịch vụ AI (OpenAI hoặc ElevenLabs) và thực hiện khớp môi:

Mô hình Chuẩn

1. Sử dụng Runtime AI Chatbot Integrator để tạo giọng nói từ văn bản bằng các API bên ngoài (OpenAI, ElevenLabs, v.v.)
2. Sử dụng Runtime Audio Importer để nhập dữ liệu âm thanh đã tổng hợp
3. Trước khi phát lại sound wave đã nhập, hãy liên kết với delegate OnGeneratePCMData của nó
4. Trong hàm đã liên kết, hãy gọi ProcessAudioData từ Runtime Viseme Generator của bạn

Các nút có thể sao chép.

Mô hình Thực tế

Mô hình Thực tế sử dụng quy trình xử lý âm thanh tương tự như Mô hình Chuẩn, nhưng với biến RealisticLipSyncGenerator thay vì VisemeGenerator.

Các nút có thể sao chép.

Mô hình Thực tế có Cảm xúc

Mô hình có Cảm xúc sử dụng quy trình xử lý âm thanh tương tự, nhưng với biến MoodMetaHumanLipSyncGenerator và các khả năng cấu hình cảm xúc bổ sung.

Các nút có thể sao chép.

Phát trực tuyến

Phương pháp này sử dụng plugin Runtime AI Chatbot Integrator để tạo giọng nói tổng hợp phát trực tuyến từ các dịch vụ AI (OpenAI hoặc ElevenLabs) và thực hiện khớp môi:

Mô hình Chuẩn

1. Sử dụng Runtime AI Chatbot Integrator để kết nối với các API TTS phát trực tuyến (như ElevenLabs Streaming API)
2. Sử dụng Runtime Audio Importer để nhập dữ liệu âm thanh đã tổng hợp
3. Trước khi phát lại sound wave phát trực tuyến, hãy liên kết với delegate OnGeneratePCMData của nó
4. Trong hàm đã liên kết, hãy gọi ProcessAudioData từ Runtime Viseme Generator của bạn

Các nút có thể sao chép.

Mô hình Thực tế

Mô hình Thực tế sử dụng quy trình xử lý âm thanh tương tự như Mô hình Chuẩn, nhưng với biến RealisticLipSyncGenerator thay vì VisemeGenerator.

Các nút có thể sao chép.

Mô hình Thực tế có Cảm xúc

Mô hình có Cảm xúc sử dụng quy trình xử lý âm thanh tương tự, nhưng với biến MoodMetaHumanLipSyncGenerator và các khả năng cấu hình cảm xúc bổ sung.

Các nút có thể sao chép.

Từ Tệp/Bộ đệm Âm thanh

Phương pháp này sử dụng các tệp âm thanh đã ghi sẵn hoặc bộ đệm âm thanh để khớp môi:

Mô hình Chuẩn

1. Sử dụng Runtime Audio Importer để nhập một tệp âm thanh từ đĩa hoặc bộ nhớ
2. Trước khi phát lại sound wave đã nhập, hãy liên kết với delegate OnGeneratePCMData của nó
3. Trong hàm đã liên kết, hãy gọi ProcessAudioData từ Runtime Viseme Generator của bạn
4. Phát lại sound wave đã nhập và quan sát hoạt ảnh khớp môi

Các nút có thể sao chép.

Mô hình Thực tế

Mô hình Thực tế sử dụng quy trình xử lý âm thanh tương tự như Mô hình Chuẩn, nhưng với biến RealisticLipSyncGenerator thay vì VisemeGenerator.

Các nút có thể sao chép.

Mô hình Thực tế có Cảm xúc

Mô hình có Cảm xúc sử dụng quy trình xử lý âm thanh tương tự, nhưng với biến MoodMetaHumanLipSyncGenerator và các khả năng cấu hình cảm xúc bổ sung.

Các nút có thể sao chép.

Bộ đệm Âm thanh Phát trực tuyến

Đối với dữ liệu âm thanh phát trực tuyến từ bộ đệm, bạn cần:

Mô hình Chuẩn

1. Dữ liệu âm thanh ở định dạng PCM float (một mảng các mẫu dấu phẩy động) có sẵn từ nguồn phát trực tuyến của bạn (hoặc sử dụng Runtime Audio Importer để hỗ trợ nhiều định dạng hơn)
2. Tốc độ lấy mẫu và số lượng kênh
3. Gọi ProcessAudioData từ Runtime Viseme Generator của bạn với các tham số này khi các khối âm thanh có sẵn

Các nút có thể sao chép.

Mô hình Thực tế

Mô hình Thực tế sử dụng quy trình xử lý âm thanh tương tự như Mô hình Chuẩn, nhưng với biến RealisticLipSyncGenerator thay vì VisemeGenerator.

Các nút có thể sao chép.

Mô hình Thực tế có Cảm xúc

Mô hình có Cảm xúc sử dụng quy trình xử lý âm thanh tương tự, nhưng với biến MoodMetaHumanLipSyncGenerator và các khả năng cấu hình cảm xúc bổ sung.

Các nút có thể sao chép.

Lưu ý: Khi sử dụng các nguồn âm thanh phát trực tuyến, hãy đảm bảo quản lý thời gian phát lại âm thanh một cách phù hợp để tránh phát lại bị méo tiếng. Xem tài liệu Streaming Sound Wave để biết thêm thông tin.

Mẹo Hiệu suất Xử lý

• Kích thước Khối: Tăng tùy chọn cấu hình ProcessingChunkSize (ví dụ: lên 320, 480 hoặc 640 mẫu) có thể cải thiện đáng kể độ trễ với tác động tối thiểu đến chất lượng hoặc khả năng phản hồi.

• Loại Mô hình: Khi sử dụng các mô hình Thực tế, chuyển sang loại mô hình Highly Optimized (được chọn theo mặc định) có thể cải thiện hiệu suất. Lưu ý rằng mô hình gốc có thể tạo ra chất lượng tốt hơn một chút, đặc biệt là với âm thanh nhiễu.

• Quản lý Bộ đệm: Mô hình có cảm xúc xử lý âm thanh trong các khung 320 mẫu (20ms ở 16kHz). Đảm bảo thời gian đầu vào âm thanh của bạn phù hợp với điều này để có hiệu suất tối ưu.

• Tạo lại Bộ tạo: Để vận hành đáng tin cậy với các mô hình Thực tế, hãy tạo lại bộ tạo mỗi khi bạn muốn đưa dữ liệu âm thanh mới vào sau một khoảng thời gian không hoạt động. Xem Tạo lại Bộ tạo trong phần Xử lý sự cố để biết giải thích.

Các Bước Tiếp Theo

Sau khi bạn đã thiết lập xử lý âm thanh, bạn có thể muốn:

• Tìm hiểu về các tùy chọn Cấu hình để tinh chỉnh hành vi khớp môi của bạn
• Thêm hoạt ảnh tiếng cười để tăng cường khả năng biểu cảm
• Kết hợp khớp môi với các hoạt ảnh khuôn mặt hiện có bằng các kỹ thuật phân lớp được mô tả trong hướng dẫn Cấu hình