설정 가이드

이 가이드는 Runtime MetaHuman Lip Sync를 MetaHuman 캐릭터와 함께 사용하기 위한 기본 설정 과정을 안내합니다.

참고: Runtime MetaHuman Lip Sync은 MetaHuman 및 사용자 정의 캐릭터와 함께 작동합니다. 사용자 정의 캐릭터 설정에 대한 자세한 지침은 사용자 정의 캐릭터 설정 가이드를 참조하세요.

사전 요구 사항

시작하기 전에 다음을 확인하세요:

1. 메타휴먼 플러그인 요구 사항:

   • UE 5.5 및 이전 버전: 프로젝트에서 MetaHuman 플러그인을 활성화하세요
   • UE 5.6 및 이후 버전: 프로젝트에서 MetaHuman Core Tech 플러그인을 활성화하세요
   추가 메타휴먼 플러그인

   MetaHuman 캐릭터를 생성하는 방식에 따라 추가 플러그인이 필요할 수 있습니다. 예를 들어, UE 5.6에 도입된 새로운 MetaHuman Creator 시스템으로 MetaHuman을 만들려면 MetaHuman Creator 플러그인도 활성화해야 합니다. 이 시스템에 대한 자세한 내용은 MetaHuman Creator 문서를 참조하세요.

2. 프로젝트에 MetaHuman 캐릭터가 하나 이상 다운로드되어 사용 가능한 상태여야 합니다

3. Runtime MetaHuman Lip Sync 플러그인이 설치되어 있어야 합니다

표준 모델 확장 플러그인

Standard Model을 사용하려면 확장 플러그인을 설치해야 합니다:

1. 표준 립 싱크 확장 플러그인을 여기에서 다운로드하세요.
2. 다운로드한 아카이브에서 폴더를 추출하여 프로젝트의 Plugins 폴더에 넣으세요 (해당 폴더가 없으면 생성하세요).
3. 프로젝트가 C++ 프로젝트로 설정되어 있는지 확인하세요 (C++ 코드가 없더라도 마찬가지입니다).
4. 프로젝트를 다시 빌드하세요.

노트

• 이 확장 기능은 표준 모델을 사용하려는 경우에만 필요합니다. 리얼리스틱 모델만 필요하다면 이 단계를 건너뛰셔도 됩니다.
• 플러그인을 수동으로 빌드하는 방법에 대한 자세한 내용은 플러그인 빌드 튜토리얼을 참조하세요.

추가 플러그인

• 오디오 캡처(예: 마이크 입력)를 사용할 계획이라면 Runtime Audio Importer 플러그인을 설치하세요.
• 텍스트 음성 변환 기능을 사용할 계획이라면:
  • 로컬 TTS(표준 모델 및 감정 지원 현실적 모델)의 경우 Runtime Text To Speech 플러그인을 설치하세요.
  • 외부 TTS 제공업체(ElevenLabs, OpenAI, Google Cloud, Azure)의 경우 Runtime AI Chatbot Integrator 플러그인을 설치하세요.

애니메이션 블루프린트 설정

1단계: 얼굴 애니메이션 블루프린트를 찾아 수정하세요.

UE 5.5 및 이전 버전 (또는 UE 5.6+에서 레거시 메타휴먼)

메타휴먼 캐릭터의 얼굴 애니메이션에 사용될 애니메이션 블루프린트를 수정해야 합니다. 기본 메타휴먼 얼굴 애니메이션 블루프린트는 다음 경로에 있습니다:

Content/MetaHumans/Common/Face/Face_AnimBP

립 싱크 기능을 구현하는 데 몇 가지 옵션이 있습니다:

기본 에셋 편집 (가장 간단한 옵션)

기본 Face_AnimBP를 직접 열고 수정하세요. 모든 변경 사항은 이 애니메이션 블루프린트를 사용하는 모든 메타휴먼 캐릭터에 적용됩니다.

참고: 이 방법은 편리하지만 기본 애니메이션 블루프린트를 사용하는 모든 캐릭터에 영향을 미칩니다.

복제본 생성

1. Face_AnimBP을 복제하고 설명적인 이름을 지정하세요
2. 캐릭터의 블루프린트 클래스를 찾으세요 (예: 캐릭터 "Bryan"의 경우 Content/MetaHumans/Bryan/BP_Bryan에 있습니다)
3. 캐릭터 블루프린트를 열고 Face 컴포넌트를 찾으세요
4. Anim Class 속성을 방금 복제한 애니메이션 블루프린트로 변경하세요

참고: 이 방법을 사용하면 특정 캐릭터에 대한 립 싱크를 사용자 지정하면서 다른 캐릭터는 변경하지 않고 그대로 둘 수 있습니다.

사용자 정의 애니메이션 블루프린트 사용

립 싱크 블렌딩은 필요한 안면 뼈에 접근할 수 있는 모든 애니메이션 블루프린트에서 구현할 수 있습니다.

1. 사용자 정의 애니메이션 블루프린트를 생성하거나 기존 것을 사용하세요
2. 애니메이션 블루프린트가 기본 메타휴먼의 Face_Archetype_Skeleton과 동일한 얼굴 뼈를 포함하는 스켈레톤과 호환되도록 하세요

참고: 이 접근 방식은 사용자 정의 애니메이션 시스템과의 통합에 최대한의 유연성을 제공합니다.

UE 5.6+ MetaHuman Creator 캐릭터

UE 5.6부터 새로운 MetaHuman Creator 시스템이 도입되었습니다. 이 캐릭터들을 위해 플러그인은 다음 경로에 위치한 얼굴 애니메이션 블루프린트를 제공합니다:

Content/LipSyncData/LipSync_Face_AnimBP

중요한

이 애니메이션 블루프린트는 플러그인의 콘텐츠 폴더에 있으며, 플러그인이 업데이트될 때마다 덮어쓰기됩니다. 사용자 지정 내용이 손실되지 않도록 하려면:

1. 이 에셋을 프로젝트의 Content 폴더에 복사하세요 (예: YourProject/Content/MetaHumans/LipSync_Face_AnimBP)
2. 캐릭터 설정에서 복사한 버전을 사용하세요
3. 모든 수정 사항은 복사한 버전에 적용하세요

플러그인의 페이스 애니메이션 블루프린트 사용하기:

1. MetaHuman Creator 캐릭터의 블루프린트 클래스를 찾으세요
2. 캐릭터 블루프린트를 열고 Face 컴포넌트를 찾으세요
3. Anim Class 속성을 플러그인의 LipSync_Face_AnimBP로 변경하세요
4. 다음 단계를 진행하여 Runtime MetaHuman Lip Sync 기능을 구성하세요

단계 2: 이벤트 그래프 설정

얼굴 애니메이션 블루프린트를 열고 이벤트 그래프로 전환하세요. 오디오 데이터를 처리하고 립 싱크 애니메이션을 생성할 제너레이터를 만들어야 합니다.

표준 모델

1. Event Blueprint Begin Play 노드가 아직 없다면 추가합니다.
2. Create Runtime Viseme Generator 노드를 추가하고 Begin Play 이벤트에 연결합니다.
3. 출력을 변수(예: "VisemeGenerator")로 저장하여 그래프의 다른 부분에서 사용할 수 있도록 합니다.

자세한 구성 옵션은 표준 모델 구성 섹션을 참조하세요.

현실적인 모델

1. Event Blueprint Begin Play 노드가 아직 없으면 추가합니다
2. Create Realistic MetaHuman Lip Sync Generator 노드를 추가하고 Begin Play 이벤트에 연결합니다
3. 출력을 변수(예: "RealisticMetaHumanLipSyncGenerator")로 저장하여 그래프의 다른 부분에서 사용할 수 있도록 합니다
4. (선택 사항) Configuration 매개변수를 사용하여 생성기 설정을 구성합니다

자세한 구성 옵션(모델 유형, 성능 설정, 처리 매개변수 포함)은 현실적인 모델 구성 섹션을 참조하세요.

감정 반영 사실적 모델

1. Event Blueprint Begin Play 노드가 아직 없다면 추가합니다.
2. Create Realistic MetaHuman Lip Sync With Mood Generator 노드를 추가하고 Begin Play 이벤트에 연결합니다.
3. 출력을 변수(예: "MoodMetaHumanLipSyncGenerator")로 저장하여 그래프의 다른 부분에서 사용합니다.
4. (선택 사항) Configuration 매개변수를 사용하여 생성기 설정을 구성합니다.

자세한 분위기 구성(분위기 유형, 강도 설정, 미리보기 타이밍, 출력 유형 선택 포함)은 분위기 지원 모델 구성 섹션을 참조하세요.

단계 3: 애님 그래프 설정

이벤트 그래프를 설정한 후, 애님 그래프로 전환하여 생성기를 캐릭터의 애니메이션에 연결하세요:

표준 모델

1. 메타휴먼 얼굴이 포함된 포즈를 찾습니다 (일반적으로 '바디 포즈' 캐시된 포즈 사용에서)
2. Blend Runtime MetaHuman Lip Sync 노드를 추가합니다
3. 포즈를 Blend Runtime MetaHuman Lip Sync 노드의 소스 포즈에 연결합니다
4. VisemeGenerator 변수를 Viseme Generator 핀에 연결합니다
5. Blend Runtime MetaHuman Lip Sync 노드의 출력을 출력 포즈의 결과 핀에 연결합니다

현실적인 모델

1. MetaHuman 얼굴이 포함된 포즈를 찾습니다 (일반적으로 'Body Pose' 캐시된 포즈 사용에서)
2. Blend Realistic MetaHuman Lip Sync 노드를 추가합니다
3. 포즈를 Blend Realistic MetaHuman Lip Sync 노드의 Source Pose에 연결합니다
4. RealisticMetaHumanLipSyncGenerator 변수를 Lip Sync Generator 핀에 연결합니다
5. Blend Realistic MetaHuman Lip Sync 노드의 출력을 Output Pose의 Result 핀에 연결합니다

감정 반영 사실적 모델

1. 메타휴먼 얼굴이 포함된 포즈를 찾습니다 (일반적으로 'Body Pose' 캐시된 포즈 사용에서)
2. Blend Realistic MetaHuman Lip Sync 노드를 추가합니다 (일반 리얼리스틱 모델과 동일한 노드)
3. 포즈를 Blend Realistic MetaHuman Lip Sync 노드의 Source Pose에 연결합니다
4. MoodMetaHumanLipSyncGenerator 변수를 Lip Sync Generator 핀에 연결합니다
5. Blend Realistic MetaHuman Lip Sync 노드의 출력을 Output Pose의 Result 핀에 연결합니다

참고: 감정 지원 모델은 일반 리얼리스틱 모델과 동일한 애니메이션 블루프린트 노드를 사용합니다. 감정 기능은 생성기 내부에서 처리됩니다.

다음 단계

이제 기본 애니메이션 블루프린트 설정이 완료되었으므로, 립 싱크 생성기에 오디오 데이터를 공급하기 위해 오디오 입력 처리를 구성해야 합니다.

계속해서 오디오 처리 가이드로 이동하여 마이크 캡처, 텍스트 음성 변환, 오디오 파일 처리 등 다양한 오디오 입력 방식을 설정하는 방법을 알아보세요.

고급 구성 옵션 및 세부 조정에 대해서는 구성 가이드를 참조하세요.