커스텀 캐릭터와 함께 플러그인 사용하기
이 가이드는 Runtime MetaHuman Lip Sync를 MetaHuman이 아닌 캐릭터에 설정하는 과정을 안내합니다. 이 과정에는 애니메이션 개념과 리깅에 대한 이해가 필요합니다. 특정 캐릭터에 이 기능을 구현하는 데 도움이 필요하면 [email protected]로 전문적인 지원을 요청할 수 있습니다.
필수 조건
시작하기 전에 캐릭터가 다음 요구 사항을 충족하는지 확인하세요:
- 유효한 스켈레톤 보유
- 얼굴 표정을 위한 morph targets(blend shapes) 포함
- 이상적으로 10개 이상의 visemes를 정의하는 morph targets 보유(visemes가 많을수록 립싱크 품질이 향상됨)
플러그인은 캐릭터의 morph targets을 다음과 같은 표준 visemes에 매핑해야 합니다:
Sil -> Silence
PP -> Bilabial plosives (p, b, m)
FF -> Labiodental fricatives (f, v)
TH -> Dental fricatives (th)
DD -> Alveolar plosives (t, d)
KK -> Velar plosives (k, g)
CH -> Postalveolar affricates (ch, j)
SS -> Sibilants (s, z)
NN -> Nasal (n)
RR -> Approximant (r)
AA -> Open vowel (aa)
E -> Mid vowel (e)
IH -> Close front vowel (ih)
OH -> Close-mid back vowel (oh)
OU -> Close back vowel (ou)
참고: 캐릭터가 다른 비젬 세트를 가지고 있는 경우(이는 흔한 경우임), 각 비젬에 대한 정확한 매칭이 필요하지 않습니다. 근사치로도 충분합니다—예를 들어, 캐릭터의 SH 비젬을 플러그인의 CH 비젬에 매핑하는 것은 효과적으로 작동할 수 있습니다. 이들은 밀접하게 관련된 후치경음이기 때문입니다.
비젬 매핑 참조
다음은 일반적인 비젬 시스템과 플러그인이 요구하는 비젬 간의 매핑입니다:
- Apple ARKit
- FACS 기반 시스템
- 프레스턴 블레어 시스템
- 3ds Max 음소 시스템
- 커스텀 캐릭터 (Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe)
ARKit는 여러 입 모양을 포함한 포괄적인 블렌드쉐이프 세트를 제공합니다. 다음은 이를 RuntimeMetaHumanLipSync 비젬에 매핑하는 방법입니다:
| RuntimeMetaHumanLipSync 비젬 | ARKit 동등물 | 참고 사항 |
|---|---|---|
| Sil | mouthClose | 중립/휴식 상태 |
| PP | mouthPressLeft + mouthPressRight | 양순음의 경우 두 프레스 모양을 함께 사용 |
| FF | lowerLipBiteLeft + lowerLipBiteRight | "f/v" 소리를 위한 입술-이음 접촉 생성 |
| TH | tongueOut | ARKit는 직접적인 혀 제어 가능 |
| DD | jawOpen (약간) + tongueUp | 약간의 턱 열림과 혀 위치 조 합 |
| KK | mouthLeft 또는 mouthRight (약간) | 미묘한 입가 당김으로 연구개음 근사 |
| CH | jawOpen (약간) + mouthFunnel (약간) | 후치경음 소리를 위한 조합 |
| SS | mouthFrown | 치찰음에 약간의 찡그림 사용 |
| NN | jawOpen (매우 약간) + mouthClose | 거의 닫힌 입에 약간의 턱 열림 |
| RR | mouthPucker (약간) | r-소리를 위한 미묘한 둥글림 |
| AA | jawOpen + mouthOpen | 넓게 열린 모음 소리를 위한 조합 |
| E | jawOpen (약간) + mouthSmile | 중간 열림 위치에 약간의 미소 |
| IH | mouthSmile (약간) | 입술의 약간의 벌림 |
| OH | mouthFunnel | 둥근 열린 모양 |
| OU | mouthPucker | 단단히 둥근 입술 |
FACS (Facial Action Coding System)는 얼굴 움직임을 설명하기 위해 액션 유닛(AUs)을 사용합니다. 많은 전문 애니메이션 시스템이 FACS 기반 접근법을 사용합니다:
| RuntimeMetaHumanLipSync 비젬 | FACS 액션 유닛 | 참고 사항 |
|---|---|---|
| Sil | 중립 | 활성화된 AU 없음 |
| PP | AU23 + AU24 | 입술 누르기 + 입술 조임 |
| FF | AU22 + AU28 | 입술 깔때기 + 입술 빨기 |
| TH | AU25 (약간) + AU27 | 입술 벌림 + 입 늘림 |
| DD | AU25 + AU16 | 입술 벌림 + 아래 입술 내림 |
| KK | AU26 + AU14 | 턱 떨어뜨림 + 보조기 |
| CH | AU18 + AU25 | 입술 오므림 + 입술 벌림 |
| SS | AU20 | 입술 늘림 |
| NN | AU25 (매우 약간) | 약간의 입술 벌림 |
| RR | AU18 (약간) | 약간의 입술 오므림 |
| AA | AU27 + AU26 | 입 늘림 + 턱 떨어뜨림 |
| E | AU25 + AU12 | 입술 벌림 + 입가 당김 |
| IH | AU12 + AU25 (약간) | 입가 당김 + 약간의 입술 벌림 |
| OH | AU27 (약간) + AU18 | 약간의 입 늘림 + 입술 오므림 |
| OU | AU18 + AU26 (약간) | 입술 오므림 + 약간의 턱 떨어뜨림 |
프레스턴 블레어 시스템은 클래식 애니메이션 표준으로 입 모양에 대해 설명적인 이름을 사용합니다:
| RuntimeMetaHumanLipSync 비젬 | 프레스턴 블레어 | 참고 사항 |
|---|---|---|
| Sil | 휴식 | 중립적인 닫힌 입 위치 |
| PP | MBP | 전형적인 "MBP" 입 모양 |
| FF | FV | 아래 입술에 이음이 있는 "FV" 위치 |
| TH | TH | 앞니에 닿은 혀 |
| DD | D/T/N | 이 자음들에 대한 유사한 위치 |
| KK | CKG | 경자음 위치 |
| CH | CH/J/SH | 이 소리들을 위한 약간의 내민 입 |
| SS | S/Z | 약간 벌린 이 위치 |
| NN | N/NG/L | D/T와 유사하지만 다른 혀 위치 |
| RR | R | R 소리를 위한 둥근 입술 |
| AA | AI | 넓게 벌린 입 |
| E | EH | 중간 벌린 입 |
| IH | EE | 벌린 입술 |
| OH | OH | 둥근 중간 벌림 |
| OU | OO | 단단히 둥근 입술 |
3ds Max는 캐릭 터 스튜디오를 위해 음소 기반 시스템을 사용합니다:
| RuntimeMetaHumanLipSync 비젬 | 3ds Max 음소 | 참고 사항 |
|---|---|---|
| Sil | rest | 기본 입 위치 |
| PP | p_b_m | 직접적인 동등물 |
| FF | f_v | 직접적인 동등물 |
| TH | th | 직접적인 동등물 |
| DD | t_d | 직접적인 동등물 |
| KK | k_g | 직접적인 동등물 |
| CH | sh_zh_ch | 결합된 모양 |
| SS | s_z | 직접적인 동등물 |
| NN | n_l | 이 소리들을 위한 결합 |
| RR | r | 직접적인 동등물 |
| AA | ah | 열린 모음 소리 |
| E | eh | 중간 모음 |
| IH | ee | 닫힌 전설 모음 |
| OH | oh | 후설 원순 모음 |
| OU | oo | 닫힌 후설 모음 |
비젬 또는 입 블렌드쉐이프/모프 타겟이 있는 커스텀 캐릭터(Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe 등)는 일반적으로 플러그인의 비젬 시스템에 합리적인 근사치로 매핑될 수 있습니다.
커스텀 포즈 애셋 생성
Blend Runtime MetaHuman Lip Sync 노드와 함께 사용할 캐릭터용 커스텀 포즈 애셋을 생성하려면 다음 단계를 따르세요:
1. 캐릭터의 Skeletal Mesh 찾기
립 싱크 애니메이션에 사용할 모프 타겟(블렌드쉐이프)이 포함된 스켈레탈 메시를 찾으세요. 이는 전체 바디 메시이거나 캐릭터 디자인에 따라 얼굴 메시일 수 있습니다.
2. 사용 가능한 Morph Targets 확인
립 싱크 애니메이션에 비젬으로 사용할 수 있는 적절한 모프 타겟이 스켈레탈 메시에 있는지 확인하세요. 얼굴 애니메이션을 지원하는 대부분의 캐릭터는 일부 음소/비젬 모프 타겟을 가지고 있어야 합니다.
3. 참조 포즈 애니메이션 생성
Create Asset -> Create Animation -> Reference Pose로 이동- 애니메이션 시퀀스에 설명적인 이름을 입력하고 적절한 위치에 저장
- 생성된 애니메이션 시퀀스가 자동으로 열리며, 루프로 재생되는 빈 애니메이션이 표시됨
- 편집을 쉽게 하기 위해
Pause버튼을 클릭하여 애니메이션 재생을 중지
4. 애니메이션 시퀀스 편집
Edit in Sequencer->Edit with FK Control Rig클릭Bake to Control Rig대화 상자에서 설정을 변경하지 않고Bake to Control Rig버튼 클릭
- 편집기가
Animation Mode로 전환되며Sequencer탭이 열림 View Range End Time을 0016으로 설정(이렇게 하면Working Range End도 자동으로 0016으로 설정됨)- 슬라이더의 오른쪽 가장자리를 시퀀서 창의 오른쪽 끝으로 드래그
5. 애니메이션 커브 준비
- Animation Sequence 에셋으로 돌아가서
Curves목록에서 morph target을 찾습니다 (보이지 않으면 Animation Sequence 에셋을 닫았다가 다시 열어보세요) - viseme이나 입 움직임과 관련 없는 morph target은 모두 제거합니다
6. 비셈 매핑 계획 수립
캐릭터의 비셈을 플러그인에서 요구하는 세트와 매칭하기 위한 매핑 계획을 수립하세요. 예를 들어:
Sil -> Sil
PP -> FV
FF -> FV
TH -> TH
DD -> TD
KK -> KG
CH -> CH
SS -> SZ
NN -> NL
RR -> RR
AA -> AA
E -> E
IH -> IH
OH -> O
OU -> U
필요한 모든 viseme에 대해 정확히 일치하는 viseme 세트가 캐릭터에 없을 경우, 매핑이 반복되어도 괜찮습니다.
7. 각 viseme 애니메이션 적용
- 각 viseme에 대해 관련된 morph target 곡선을 0.0에서 1.0으로 애니메이션 처리
- 각 viseme 애니메이션을 다른 프레임에서 시작
- 자연스러운 viseme 형태를 만들기 위해 추가 곡선(턱/입 열기, 혀 위치 등)을 필요에 따라 구성
8. 포즈 애셋 생성
Create Asset->Pose Asset->Current Animation으로 이동- 포즈 애셋에 설명이 포함된 이름을 입력하고 적절한 위치에 저장
- 생성된 포즈 애셋이 자동으로 열리며,
Pose_0,Pose_1등 각각 비젬에 해당하는 포즈가 표시됨 - 비젬 가중치를 미리보기하여 예상대로 작동하는지 확인
9. 포즈 애셋 완성
- 필수 조건 섹션의 비젬 이름과 일치하도록 각 포즈 이름 변경
- 사용하지 않는 포즈 삭제
오디오 처리 및 블렌딩 설정
포즈 애셋이 준비되면, 오디오 처리 및 블렌딩 노드를 설정해야 합니다:
- 캐릭터의 Animation Blueprint를 찾거나 생성합니다
- 표준 플러그인 설정 가이드에 문서화된 것과 동일한 단계에 따라 오디오 처리 및 블렌딩을 설정합니다
Blend Runtime MetaHuman Lip Sync노드에서 기본 MetaHuman 포즈 애셋 대신 사용자 정의 Pose Asset을 선택합니다
바디 애니메이션과 결합
리프 싱크를 다른 바디 애니메이션과 함께 수행하려면:
- 표준 플러그인 가이드에 문서화된 동일한 단계를 따릅니다
- MetaHuman 본 이름을 사용하는 대신 캐릭터의 목 스켈레톤에 대한 올바른 본 이름을 제공해야 합니다
결과
다음은 이 설정을 사용하는 사용자 정의 캐릭터의 예시입니다:
리프 싱크의 품질은 특정 캐릭터와 비셈 설정이 얼마나 잘 되어 있는지에 크게 의존합니다. 위 예시들은 서로 다른 유형의 사용자 정의 캐릭터와 독특한 비셈 시스템에서 플러그인이 작동하는 것을 보여줍니다.