Przewodnik konfiguracji

Ten przewodnik przeprowadzi Cię przez podstawowy proces konfiguracji Runtime MetaHuman Lip Sync z twoimi postaciami MetaHuman.

Uwaga: Runtime MetaHuman Lip Sync działa zarówno z MetaHuman, jak i niestandardowymi postaciami. Aby uzyskać szczegółowe instrukcje dotyczące konfiguracji niestandardowych postaci, zobacz Przewodnik konfiguracji niestandardowych postaci.

Wymagania wstępne

Przed rozpoczęciem upewnij się, że:

1. Wymagania wtyczki MetaHuman:

   • UE 5.5 i wcześniejsze: Włącz wtyczkę MetaHuman w swoim projekcie
   • UE 5.6 i późniejsze: Włącz wtyczkę MetaHuman Core Tech w swoim projekcie
   Dodatkowe wtyczki MetaHuman

   W zależności od tego, jak tworzysz swoje postacie MetaHuman, możesz potrzebować dodatkowych wtyczek. Na przykład, jeśli zamierzasz stworzyć MetaHuman za pomocą nowego systemu MetaHuman Creator wprowadzonego w UE 5.6, będziesz także musiał włączyć wtyczkę MetaHuman Creator. Aby uzyskać więcej informacji o tym systemie, zobacz dokumentację MetaHuman Creator.

2. Masz co najmniej jedną postać MetaHuman pobraną i dostępną w swoim projekcie

3. Wtyczka Runtime MetaHuman Lip Sync jest zainstalowana

Wtyczka rozszerzenia modelu standardowego

Jeśli planujesz używać modelu standardowego, będziesz potrzebować zainstalować wtyczkę rozszerzenia:

1. Pobierz wtyczkę Standard Lip Sync Extension z Google Drive
2. Wypakuj folder z pobranego archiwum do folderu Plugins twojego projektu (utwórz ten folder, jeśli nie istnieje)
3. Upewnij się, że twój projekt jest skonfigurowany jako projekt C++ (nawet jeśli nie masz żadnego kodu C++)
4. Przebuduj swój projekt

notatka

• To rozszerzenie jest wymagane tylko jeśli chcesz używać modelu standardowego. Jeśli potrzebujesz tylko modeli realistycznych, możesz pominąć ten krok.
• Aby uzyskać więcej informacji na temat ręcznego budowania wtyczek, zobacz samouczek Budowanie wtyczek

Dodatkowe wtyczki

• Jeśli planujesz używać przechwytywania dźwięku (np. wejścia z mikrofonu), zainstaluj wtyczkę Runtime Audio Importer.
• Jeśli planujesz używać funkcjonalności zamiany tekstu na mowę:
  • Dla lokalnej TTS (Model Standardowy i Model Realistyczny z Obsługą Nastroju), zainstaluj wtyczkę Runtime Text To Speech.
  • Dla zewnętrznych dostawców TTS (ElevenLabs, OpenAI, Google Cloud, Azure), zainstaluj wtyczkę Runtime AI Chatbot Integrator.

Konfiguracja Animation Blueprint

Krok 1: Znajdź i zmodyfikuj Blueprint animacji twarzy

UE 5.5 i wcześniejsze (lub Legacy MetaHumans w UE 5.6+)

Musisz zmodyfikować Animation Blueprint, który będzie używany do animacji twarzy twojej postaci MetaHuman. Domyślny Animation Blueprint twarzy MetaHuman znajduje się w lokalizacji:

Content/MetaHumans/Common/Face/Face_AnimBP

Masz kilka opcji implementacji funkcji synchronizacji ust:

Edytuj domyślny zasób (najprostsza opcja)

Otwórz bezpośrednio domyślny Face_AnimBP i wprowadź swoje modyfikacje. Wszelkie zmiany wpłyną na wszystkie postacie MetaHuman korzystające z tego Blueprint animacji.

Uwaga: To podejście jest wygodne, ale wpłynie na wszystkie postacie używające domyślnego Blueprint animacji.

Utwórz duplikat

1. Zduplikuj Face_AnimBP i nadaj mu opisową nazwę
2. Znajdź klasę Blueprint swojej postaci (np. dla postaci "Bryan" będzie to Content/MetaHumans/Bryan/BP_Bryan)
3. Otwórz Blueprint postaci i znajdź komponent Face
4. Zmień właściwość Anim Class na nowo zduplikowany Blueprint animacji

Uwaga: To podejście pozwala dostosować synchronizację ust dla konkretnych postaci, pozostawiając inne niezmienione.

Użyj niestandardowego Blueprint animacji

Możesz zaimplementować mieszanie synchronizacji ust w dowolnym Blueprint animacji, który ma dostęp do wymaganych kości twarzy:

1. Utwórz lub użyj istniejącego niestandardowego Blueprint animacji
2. Upewnij się, że Twój Blueprint animacji współpracuje ze szkieletem zawierającym te same kości twarzy co domyślny Face_Archetype_Skeleton MetaHuman

Uwaga: To podejście daje maksymalną elastyczność integracji z niestandardowymi systemami animacji.

Postacie z MetaHuman Creator UE 5.6+

Począwszy od UE 5.6, wprowadzono nowy system MetaHuman Creator. Dla tych postaci plugin zapewnia Blueprint animacji twarzy znajdujący się w:

Content/LipSyncData/LipSync_Face_AnimBP

Ważne

Ten Animation Blueprint znajduje się w folderze zawartości wtyczki i będzie nadpisywany przy każdej aktualizacji wtyczki. Aby zapobiec utracie swoich dostosowań:

1. Skopiuj ten zasób do folderu Content swojego projektu (na przykład do YourProject/Content/MetaHumans/LipSync_Face_AnimBP)
2. Używaj swojej skopiowanej wersji w konfiguracji swojej postaci
3. Wprowadzaj wszystkie swoje modyfikacje do skopiowanej wersji

Używanie Face Animation Blueprint wtyczki:

1. Zlokalizuj klasę Blueprint swojej postaci z MetaHuman Creator
2. Otwórz Blueprint postaci i znajdź komponent Face
3. Zmień właściwość Anim Class na LipSync_Face_AnimBP wtyczki
4. Kontynuuj kolejne kroki, aby skonfigurować funkcjonalność Runtime MetaHuman Lip Sync

Krok 2: Konfiguracja Event Graph

Otwórz swój Face Animation Blueprint i przejdź do Event Graph. Będziesz musiał utworzyć generator, który przetworzy dane audio i wygeneruje animację synchronizacji ust.

Model Standardowy

1. Dodaj węzeł Event Blueprint Begin Play, jeśli jeszcze nie istnieje
2. Dodaj węzeł Create Runtime Viseme Generator i połącz go ze zdarzeniem Begin Play
3. Zapisz wynik jako zmienną (np. "VisemeGenerator") do użycia w innych częściach grafu

Aby uzyskać szczegółowe opcje konfiguracji, zobacz sekcję Konfiguracja Modelu Standardowego.

Model Realistyczny

1. Dodaj węzeł Event Blueprint Begin Play, jeśli jeszcze nie istnieje
2. Dodaj węzeł Create Realistic MetaHuman Lip Sync Generator i połącz go ze zdarzeniem Begin Play
3. Zapisz wynik jako zmienną (np. "RealisticMetaHumanLipSyncGenerator") do użycia w innych częściach grafu
4. (Opcjonalnie) Skonfiguruj ustawienia generatora za pomocą parametru Configuration

Aby uzyskać szczegółowe opcje konfiguracji, w tym typy modeli, ustawienia wydajności i parametry przetwarzania, zobacz sekcję Konfiguracja Modelu Realistycznego.

Model Realistyczny z Obsługą Nastroju

1. Dodaj węzeł Event Blueprint Begin Play, jeśli jeszcze nie istnieje
2. Dodaj węzeł Create Realistic MetaHuman Lip Sync With Mood Generator i połącz go ze zdarzeniem Begin Play
3. Zapisz wynik jako zmienną (np. "MoodMetaHumanLipSyncGenerator") do użycia w innych częściach grafu
4. (Opcjonalnie) Skonfiguruj ustawienia generatora za pomocą parametru Configuration

Aby uzyskać szczegółową konfigurację nastroju, w tym typy nastroju, ustawienia intensywności, czas wyprzedzenia i wybór typu wyjścia, zobacz sekcję Konfiguracja modelu z obsługą nastrojów.

Krok 3: Konfiguracja Anim Graph

Po skonfigurowaniu Event Graph, przełącz się na Anim Graph, aby podłączyć generator do animacji postaci:

Standard Model

1. Znajdź pozę zawierającą twarz MetaHuman (zwykle z Use cached pose 'Body Pose')
2. Dodaj węzeł Blend Runtime MetaHuman Lip Sync
3. Podłącz pozę do Source Pose węzła Blend Runtime MetaHuman Lip Sync
4. Podłącz swoją zmienną VisemeGenerator do pinu Viseme Generator
5. Podłącz wyjście węzła Blend Runtime MetaHuman Lip Sync do pinu Result w Output Pose

Realistic Model

1. Znajdź pozę zawierającą twarz MetaHuman (zwykle z Use cached pose 'Body Pose')
2. Dodaj węzeł Blend Realistic MetaHuman Lip Sync
3. Podłącz pozę do Source Pose węzła Blend Realistic MetaHuman Lip Sync
4. Podłącz swoją zmienną RealisticMetaHumanLipSyncGenerator do pinu Lip Sync Generator
5. Podłącz wyjście węzła Blend Realistic MetaHuman Lip Sync do pinu Result w Output Pose

Mood-Enabled Realistic Model

1. Znajdź pozę zawierającą twarz MetaHuman (zwykle z Use cached pose 'Body Pose')
2. Dodaj węzeł Blend Realistic MetaHuman Lip Sync (ten sam węzeł co w zwykłym modelu realistycznym)
3. Podłącz pozę do Source Pose węzła Blend Realistic MetaHuman Lip Sync
4. Podłącz swoją zmienną MoodMetaHumanLipSyncGenerator do pinu Lip Sync Generator
5. Podłącz wyjście węzła Blend Realistic MetaHuman Lip Sync do pinu Result w Output Pose

Uwaga: Model z obsługą nastrojów używa tego samego węzła Animation Blueprint co zwykły model realistyczny. Funkcjonalność nastrojów jest obsługiwana wewnętrznie przez generator.

Następne kroki

Teraz, gdy podstawowa konfiguracja Animation Blueprint jest ukończona, musisz skonfigurować przetwarzanie wejścia audio, aby dostarczać dane audio do twojego generatora synchronizacji ust.

Kontynuuj do Przewodnika przetwarzania audio, aby dowiedzieć się, jak skonfigurować różne metody wprowadzania audio, w tym przechwytywanie z mikrofonu, zamianę tekstu na mowę i przetwarzanie plików audio. Aby uzyskać zaawansowane opcje konfiguracji i dostrajanie, zobacz Przewodnik konfiguracji.