Przewodnik konfiguracji

Ten przewodnik przeprowadzi Cię przez podstawowy proces konfiguracji Runtime MetaHuman Lip Sync dla twoich postaci MetaHuman.

Uwaga: Runtime MetaHuman Lip Sync działa zarówno z MetaHuman, jak i postaciami niestandardowymi. Aby uzyskać szczegółowe instrukcje dotyczące konfigurowania postaci niestandardowych, zobacz Przewodnik konfiguracji postaci niestandardowej.

Wymagania wstępne

Przed rozpoczęciem upewnij się, że:

1. Wymagania wtyczki MetaHuman:

   • UE 5.5 i wcześniejsze: Włącz wtyczkę MetaHuman w swoim projekcie
   • UE 5.6 i nowsze: Włącz wtyczkę MetaHuman Core Tech w swoim projekcie
   Dodatkowe wtyczki MetaHuman

   W zależności od tego, jak tworzysz swoje postacie MetaHuman, możesz potrzebować dodatkowych wtyczek. Na przykład, jeśli zamierzasz stworzyć MetaHuman za pomocą nowego systemu MetaHuman Creator wprowadzonego w UE 5.6, będziesz także musiał włączyć wtyczkę MetaHuman Creator. Aby uzyskać więcej informacji o tym systemie, zobacz dokumentację MetaHuman Creator.

2. Masz co najmniej jedną postać MetaHuman pobraną i dostępną w swoim projekcie

3. Wtyczka Runtime MetaHuman Lip Sync jest zainstalowana

Wtyczka rozszerzenia modelu standardowego

Jeśli planujesz używać modelu standardowego, będziesz musiał zainstalować wtyczkę rozszerzenia:

1. Pobierz Standard Lip Sync Extension plugin stąd tutaj
2. Wypakuj folder z pobranego archiwum do folderu Plugins twojego projektu (utwórz ten folder, jeśli nie istnieje)
3. Upewnij się, że twój projekt jest skonfigurowany jako projekt C++ (nawet jeśli nie masz żadnego kodu C++)
4. Przebuduj swój projekt

notatka

• To rozszerzenie jest wymagane tylko jeśli chcesz używać modelu standardowego. Jeśli potrzebujesz tylko modeli realistycznych, możesz pominąć ten krok.
• Aby uzyskać więcej informacji na temat ręcznego budowania wtyczek, zobacz samouczek Budowanie wtyczek

Dodatkowe wtyczki

• Jeśli planujesz używać przechwytywania dźwięku (np. wejścia mikrofonowego), zainstaluj wtyczkę Runtime Audio Importer.
• Jeśli planujesz używać funkcjonalności zamiany tekstu na mowę:
  • Dla lokalnej TTS (model standardowy i model realistyczny z obsługą nastroju), zainstaluj wtyczkę Runtime Text To Speech.
  • Dla zewnętrznych dostawców TTS (ElevenLabs, OpenAI, Google Cloud, Azure), zainstaluj wtyczkę Runtime AI Chatbot Integrator.

Konfiguracja Animation Blueprint

Krok 1: Znajdź i zmodyfikuj Blueprint animacji twarzy

UE 5.5 i wcześniejsze (lub starsze MetaHumany w UE 5.6+)

Musisz zmodyfikować Animation Blueprint, który będzie używany do animacji twarzy twojej postaci MetaHuman. Domyślny Animation Blueprint twarzy MetaHuman znajduje się w lokalizacji:

Content/MetaHumans/Common/Face/Face_AnimBP

Masz kilka opcji implementacji funkcji synchronizacji ust:

Edytuj domyślny zasób (Najprostsza opcja)

Otwórz domyślny Face_AnimBP bezpośrednio i wprowadź swoje modyfikacje. Wszelkie zmiany wpłyną na wszystkie postacie MetaHuman używające tego Animation Blueprint.

Uwaga: To podejście jest wygodne, ale wpłynie na wszystkie postacie używające domyślnego Animation Blueprint.

Utwórz duplikat

1. Zduplikuj Face_AnimBP i nadaj mu opisową nazwę
2. Znajdź klasę Blueprint swojej postaci (np. dla postaci "Bryan" będzie to Content/MetaHumans/Bryan/BP_Bryan)
3. Otwórz Blueprint postaci i znajdź komponent Face
4. Zmień właściwość Anim Class na nowo zduplikowany Animation Blueprint

Uwaga: To podejście pozwala dostosować synchronizację ust dla konkretnych postaci, pozostawiając inne niezmienione.

Użyj niestandardowego Animation Blueprint

Możesz zaimplementować mieszanie synchronizacji ust w dowolnym Animation Blueprint, który ma dostęp do wymaganych kości twarzy:

1. Utwórz lub użyj istniejącego niestandardowego Animation Blueprint
2. Upewnij się, że twój Animation Blueprint współpracuje ze szkieletem zawierającym te same kości twarzy co domyślny Face_Archetype_Skeleton MetaHuman

Uwaga: To podejście daje maksymalną elastyczność integracji z niestandardowymi systemami animacji.

Postacie z MetaHuman Creator w UE 5.6+

Począwszy od UE 5.6, wprowadzono nowy system MetaHuman Creator. Dla tych postaci wtyczka dostarcza Animation Blueprint twarzy znajdujący się w:

Content/LipSyncData/LipSync_Face_AnimBP

Ważne

Ten Animation Blueprint znajduje się w folderze zawartości wtyczki i będzie nadpisany przy każdej aktualizacji wtyczki. Aby zapobiec utracie swoich dostosowań:

1. Skopiuj ten zasób do folderu Content swojego projektu (na przykład do YourProject/Content/MetaHumans/LipSync_Face_AnimBP)
2. Użyj swojej skopiowanej wersji w konfiguracji postaci
3. Wprowadź wszystkie swoje modyfikacje w skopiowanej wersji

Używanie Face Animation Blueprint wtyczki:

1. Znajdź klasę Blueprint swojej postaci z MetaHuman Creator
2. Otwórz Blueprint postaci i znajdź komponent Face
3. Zmień właściwość Anim Class na LipSync_Face_AnimBP wtyczki
4. Kontynuuj kolejne kroki, aby skonfigurować funkcjonalność Runtime MetaHuman Lip Sync

Krok 2: Konfiguracja Event Graph

Otwórz swój Face Animation Blueprint i przełącz się na Event Graph. Będziesz musiał utworzyć generator, który przetworzy dane audio i wygeneruje animację synchronizacji ust.

Model Standardowy

1. Dodaj węzeł Event Blueprint Begin Play, jeśli jeszcze nie istnieje
2. Dodaj węzeł Create Runtime Viseme Generator i połącz go z wydarzeniem Begin Play
3. Zapisz wynik jako zmienną (np. "VisemeGenerator") do użycia w innych częściach grafu

Aby uzyskać szczegółowe opcje konfiguracji, zobacz sekcję Konfiguracja Modelu Standardowego.

Model Realistyczny

1. Dodaj węzeł Event Blueprint Begin Play, jeśli jeszcze nie istnieje
2. Dodaj węzeł Create Realistic MetaHuman Lip Sync Generator i połącz go z wydarzeniem Begin Play
3. Zapisz wynik jako zmienną (np. "RealisticMetaHumanLipSyncGenerator") do użycia w innych częściach grafu
4. (Opcjonalnie) Skonfiguruj ustawienia generatora za pomocą parametru Configuration

Aby uzyskać szczegółowe opcje konfiguracji, w tym typy modeli, ustawienia wydajności i parametry przetwarzania, zobacz sekcję Konfiguracja Modelu Realistycznego.

Model Realistyczny z Nastrojem

1. Dodaj węzeł Event Blueprint Begin Play, jeśli jeszcze nie istnieje
2. Dodaj węzeł Create Realistic MetaHuman Lip Sync With Mood Generator i połącz go z wydarzeniem Begin Play
3. Zapisz wynik jako zmienną (np. "MoodMetaHumanLipSyncGenerator") do użycia w innych częściach grafu
4. (Opcjonalnie) Skonfiguruj ustawienia generatora za pomocą parametru Configuration

Aby uzyskać szczegółową konfigurację nastroju, w tym typy nastrojów, ustawienia intensywności, czas wyprzedzenia i wybór typu wyjścia, zobacz sekcję Konfiguracja Modelu z Nastrojem.

Krok 3: Konfiguracja Anim Graph

Po skonfigurowaniu Event Graph, przełącz się na Anim Graph, aby połączyć generator z animacją postaci:

Model Standardowy

1. Znajdź pozę zawierającą twarz MetaHuman (zwykle z Use cached pose 'Body Pose')
2. Dodaj węzeł Blend Runtime MetaHuman Lip Sync
3. Połącz pozę z Source Pose węzła Blend Runtime MetaHuman Lip Sync
4. Połącz swoją zmienną VisemeGenerator z pinem Viseme Generator
5. Połącz wyjście węzła Blend Runtime MetaHuman Lip Sync z pinem Result węzła Output Pose

Model Realistyczny

1. Znajdź pozę zawierającą twarz MetaHuman (zwykle z Use cached pose 'Body Pose')
2. Dodaj węzeł Blend Realistic MetaHuman Lip Sync
3. Połącz pozę z Source Pose węzła Blend Realistic MetaHuman Lip Sync
4. Połącz swoją zmienną RealisticMetaHumanLipSyncGenerator z pinem Lip Sync Generator
5. Połącz wyjście węzła Blend Realistic MetaHuman Lip Sync z pinem Result węzła Output Pose

Model Realistyczny z Nastrojem

1. Znajdź pozę zawierającą twarz MetaHuman (zwykle z Use cached pose 'Body Pose')
2. Dodaj węzeł Blend Realistic MetaHuman Lip Sync (ten sam węzeł co w regularnym modelu realistycznym)
3. Połącz pozę z Source Pose węzła Blend Realistic MetaHuman Lip Sync
4. Połącz swoją zmienną MoodMetaHumanLipSyncGenerator z pinem Lip Sync Generator
5. Połącz wyjście węzła Blend Realistic MetaHuman Lip Sync z pinem Result węzła Output Pose

Uwaga: Model z nastrojem używa tego samego węzła Animation Blueprint co regularny model realistyczny. Funkcjonalność nastroju jest obsługiwana wewnętrznie przez generator.

Następne kroki

Teraz, gdy podstawowa konfiguracja Animation Blueprint jest ukończona, musisz skonfigurować przetwarzanie wejścia audio, aby dostarczać dane audio do twojego generatora synchronizacji ust.

Przejdź do Przewodnika Przetwarzania Audio, aby dowiedzieć się, jak skonfigurować różne metody wprowadzania audio, w tym przechwytywanie mikrofonu, zamianę tekstu na mowę i przetwarzanie plików audio.

Aby uzyskać zaawansowane opcje konfiguracji i dostrajania, zobacz Przewodnik Konfiguracji.