Przewodnik konfiguracji

Ten przewodnik przeprowadzi Cię przez podstawowy proces konfiguracji Runtime MetaHuman Lip Sync z twoimi postaciami MetaHuman.

Uwaga: Runtime MetaHuman Lip Sync działa zarówno z MetaHuman, jak i niestandardowymi postaciami. Aby uzyskać szczegółowe instrukcje dotyczące konfigurowania niestandardowych postaci, zobacz Przewodnik konfiguracji niestandardowej postaci.

Wymagania wstępne

Przed rozpoczęciem upewnij się, że:

1. Wtyczka MetaHuman jest włączona w twoim projekcie (Uwaga: Począwszy od UE 5.6, ten krok nie jest już wymagany, ponieważ funkcjonalność MetaHuman jest zintegrowana bezpośrednio z silnikiem)
2. Masz co najmniej jedną postać MetaHuman pobraną i dostępną w twoim projekcie
3. Wtyczka Runtime MetaHuman Lip Sync jest zainstalowana

Rozszerzenie modelu standardowego

Jeśli planujesz używać modelu standardowego, będziesz potrzebować zainstalować wtyczkę rozszerzającą:

1. Pobierz wtyczkę Standard Lip Sync Extension z Google Drive
2. Wypakuj folder z pobranego archiwum do folderu Plugins twojego projektu (utwórz ten folder, jeśli nie istnieje)
3. Upewnij się, że twój projekt jest skonfigurowany jako projekt C++ (nawet jeśli nie masz żadnego kodu C++)
4. Przebuduj swój projekt

notatka

• To rozszerzenie jest wymagane tylko jeśli chcesz używać modelu standardowego. Jeśli potrzebujesz tylko modeli realistycznych, możesz pominąć ten krok.
• Aby uzyskać więcej informacji na temat ręcznego budowania wtyczek, zobacz samouczek Budowanie wtyczek

Dodatkowe wtyczki

• Jeśli planujesz używać przechwytywania dźwięku (np. wejście z mikrofonu), zainstaluj wtyczkę Runtime Audio Importer.
• Jeśli planujesz używać funkcjonalności zamiany tekstu na mowę:
  • Dla lokalnej TTS (tylko model standardowy), zainstaluj wtyczkę Runtime Text To Speech.
  • Dla zewnętrznych dostawców TTS (ElevenLabs, OpenAI), zainstaluj wtyczkę Runtime AI Chatbot Integrator.

Konfiguracja Animation Blueprint

Krok 1: Zlokalizuj i zmodyfikuj Blueprint animacji twarzy

UE 5.5 i wcześniejsze (lub starsze MetaHumans w UE 5.6+)

Musisz zmodyfikować Animation Blueprint, który będzie używany do animacji twarzy twojej postaci MetaHuman. Domyślny Animation Blueprint twarzy MetaHuman znajduje się w:

Content/MetaHumans/Common/Face/Face_AnimBP

Masz kilka opcji implementacji funkcji synchronizacji ust:

Edit Default Asset (Simplest Option)

Otwórz domyślny Face_AnimBP bezpośrednio i wprowadź swoje modyfikacje. Wszelkie zmiany wpłyną na wszystkie postacie MetaHuman używające tego Animation Blueprint.

Uwaga: To podejście jest wygodne, ale wpłynie na wszystkie postacie używające domyślnego Animation Blueprint.

Create Duplicate

1. Zduplikuj Face_AnimBP i nadaj mu opisową nazwę
2. Znajdź klasę Blueprint swojej postaci (np. dla postaci "Bryan", będzie to Content/MetaHumans/Bryan/BP_Bryan)
3. Otwórz Blueprint postaci i znajdź komponent Face
4. Zmień właściwość Anim Class na nowo zduplikowany Animation Blueprint

Uwaga: To podejście pozwala dostosować synchronizację ust dla konkretnych postaci, pozostawiając inne niezmienione.

Use Custom Animation Blueprint

Możesz zaimplementować mieszanie synchronizacji ust w dowolnym Animation Blueprint, który ma dostęp do wymaganych kości twarzy:

1. Utwórz lub użyj istniejącego niestandardowego Animation Blueprint
2. Upewnij się, że twój Animation Blueprint współpracuje ze szkieletem zawierającym te same kości twarzy co domyślny Face_Archetype_Skeleton MetaHuman

Uwaga: To podejście daje maksymalną elastyczność dla integracji z niestandardowymi systemami animacji.

UE 5.6+ MetaHuman Creator Characters

Począwszy od UE 5.6, wprowadzono nowy system MetaHuman Creator. Dla tych postaci plugin zapewnia face Animation Blueprint znajdujący się w:

Content/LipSyncData/LipSync_Face_AnimBP

Ważne

Ten Animation Blueprint znajduje się w folderze zawartości wtyczki i będzie nadpisywany przy każdej aktualizacji wtyczki. Aby zapobiec utracie swoich dostosowań:

1. Skopiuj ten zasób do folderu Content swojego projektu (na przykład do YourProject/Content/MetaHumans/LipSync_Face_AnimBP)
2. Użyj swojej skopiowanej wersji w konfiguracji swojej postaci
3. Wprowadzaj wszystkie swoje modyfikacje do skopiowanej wersji

Używanie Face Animation Blueprint wtyczki:

1. Zlokalizuj klasę Blueprint swojej postaci z MetaHuman Creator
2. Otwórz Blueprint postaci i znajdź komponent Face
3. Zmień właściwość Anim Class na LipSync_Face_AnimBP wtyczki
4. Kontynuuj kolejne kroki, aby skonfigurować funkcjonalność Runtime MetaHuman Lip Sync

Krok 2: Konfiguracja Event Graph

Otwórz swój Face Animation Blueprint i przejdź do Event Graph. Będziesz musiał utworzyć generator, który będzie przetwarzał dane audio i generował animację synchronizacji ust.

Standard Model

1. Dodaj węzeł Event Blueprint Begin Play, jeśli jeszcze nie istnieje
2. Dodaj węzeł Create Runtime Viseme Generator i połącz go z wydarzeniem Begin Play
3. Zapisz wynik jako zmienną (np. "VisemeGenerator") do użycia w innych częściach grafu

Aby uzyskać szczegółowe opcje konfiguracji, zobacz sekcję Konfiguracja Standard Model.

Realistic Model

1. Dodaj węzeł Event Blueprint Begin Play, jeśli jeszcze nie istnieje
2. Dodaj węzeł Create Realistic MetaHuman Lip Sync Generator i połącz go z wydarzeniem Begin Play
3. Zapisz wynik jako zmienną (np. "RealisticMetaHumanLipSyncGenerator") do użycia w innych częściach grafu
4. (Opcjonalnie) Skonfiguruj ustawienia generatora za pomocą parametru Configuration

Aby uzyskać szczegółowe opcje konfiguracji, w tym typy modeli, ustawienia wydajności i parametry przetwarzania, zobacz sekcję Konfiguracja Realistic Model.

Mood-Enabled Realistic Model

1. Dodaj węzeł Event Blueprint Begin Play, jeśli jeszcze nie istnieje
2. Dodaj węzeł Create Realistic MetaHuman Lip Sync With Mood Generator i połącz go z wydarzeniem Begin Play
3. Zapisz wynik jako zmienną (np. "MoodMetaHumanLipSyncGenerator") do użycia w innych częściach grafu
4. (Opcjonalnie) Skonfiguruj ustawienia generatora za pomocą parametru Configuration

Aby uzyskać szczegółową konfigurację nastroju, w tym typy nastrojów, ustawienia intensywności, czas wyprzedzenia i wybór typu wyjścia, zobacz sekcję Konfiguracja modelu z obsługą nastrojów.

Krok 3: Konfiguracja Anim Graph

Po skonfigurowaniu Event Graph, przełącz się na Anim Graph, aby podłączyć generator do animacji postaci:

Standard Model

1. Znajdź pozę zawierającą twarz MetaHumana (zwykle z Use cached pose 'Body Pose')
2. Dodaj węzeł Blend Runtime MetaHuman Lip Sync
3. Podłącz pozę do Source Pose węzła Blend Runtime MetaHuman Lip Sync
4. Podłącz swoją zmienną VisemeGenerator do pinu Viseme Generator
5. Podłącz wyjście węzła Blend Runtime MetaHuman Lip Sync do pinu Result w Output Pose

Realistic Model

1. Znajdź pozę zawierającą twarz MetaHumana (zwykle z Use cached pose 'Body Pose')
2. Dodaj węzeł Blend Realistic MetaHuman Lip Sync
3. Podłącz pozę do Source Pose węzła Blend Realistic MetaHuman Lip Sync
4. Podłącz swoją zmienną RealisticMetaHumanLipSyncGenerator do pinu Lip Sync Generator
5. Podłącz wyjście węzła Blend Realistic MetaHuman Lip Sync do pinu Result w Output Pose

Mood-Enabled Realistic Model

1. Znajdź pozę zawierającą twarz MetaHumana (zwykle z Use cached pose 'Body Pose')
2. Dodaj węzeł Blend Realistic MetaHuman Lip Sync (ten sam węzeł co w zwykłym modelu realistycznym)
3. Podłącz pozę do Source Pose węzła Blend Realistic MetaHuman Lip Sync
4. Podłącz swoją zmienną MoodMetaHumanLipSyncGenerator do pinu Lip Sync Generator
5. Podłącz wyjście węzła Blend Realistic MetaHuman Lip Sync do pinu Result w Output Pose

Uwaga: Model z obsługą nastrojów używa tego samego węzła Animation Blueprint co zwykły model realistyczny. Funkcjonalność nastrojów jest obsługiwana wewnętrznie przez generator.

Następne kroki

Teraz, gdy podstawowa konfiguracja Animation Blueprint jest kompletna, musisz skonfigurować przetwarzanie wejścia audio, aby dostarczać dane audio do twojego generatora synchronizacji ust.

Kontynuuj do Przewodnika przetwarzania audio, aby dowiedzieć się, jak skonfigurować różne metody wprowadzania audio, w tym przechwytywanie z mikrofonu, zamianę tekstu na mowę i przetwarzanie plików audio. Aby uzyskać zaawansowane opcje konfiguracji i dostrajanie, zobacz Przewodnik konfiguracji.