플러그인 사용 방법

이 가이드는 MetaHuman 캐릭터에 Runtime MetaHuman Lip Sync를 설정하는 과정을 안내합니다.

참고: Runtime MetaHuman Lip Sync는 MetaHuman과 커스텀 캐릭터 모두와 호환됩니다. 이 플러그인은 다음과 같은 다양한 캐릭터 유형을 지원합니다:

• 인기 있는 상용 캐릭터 (Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe 등)
• FACS 기반 blendshapes가 있는 캐릭터
• ARKit blendshape 표준을 사용하는 모델
• Preston Blair 포네임 세트가 있는 캐릭터
• 3ds Max 포네임 시스템
• 얼굴 표정을 위한 커스텀 morph targets가 있는 모든 캐릭터

위의 모든 표준에 대한 비젬 매핑 참조를 포함한 커스텀 캐릭터 설정에 대한 자세한 지침은 커스텀 캐릭터 설정 가이드를 참조하세요.

필수 조건

시작하기 전에 다음 사항을 확인하세요:

1. 프로젝트에서 MetaHuman 플러그인이 활성화되어 있는지
2. 최소 한 명의 MetaHuman 캐릭터가 다운로드되어 프로젝트에서 사용 가능한지
3. Runtime MetaHuman Lip Sync 플러그인이 설치되어 있는지

추가 플러그인:

• 오디오 캡처(예: 마이크 입력)를 사용할 계획이라면 Runtime Audio Importer 플러그인을 설치하세요.
• 텍스트 음성 변환 기능을 사용할 계획이라면 Runtime Text To Speech 플러그인을 설치하세요.

플랫폼별 구성

Android / Meta Quest 구성

Android 또는 Meta Quest 플랫폼을 타겟팅하고 이 플러그인과 관련된 빌드 오류가 발생하는 경우, 프로젝트 설정에서 x86_64 (x64) Android 아키텍처를 비활성화해야 합니다:

1. 편집 > 프로젝트 설정으로 이동
2. 플랫폼 > Android로 이동
3. 플랫폼 - Android, 빌드 섹션에서 **Support x86_64 [aka x64]**를 찾아 비활성화되었는지 확인하세요. 아래와 같이:

이는 현재 플러그인이 Android / Meta Quest 플랫폼에 대해 arm64-v8a 및 armeabi-v7a 아키텍처만 지원하기 때문입니다.

설정 과정

1단계: 얼굴 애니메이션 Blueprint 찾기 및 수정

MetaHuman 캐릭터의 얼굴 애니메이션에 사용될 Animation Blueprint를 수정해야 합니다. 기본 MetaHuman 얼굴 Animation Blueprint는 다음 위치에 있습니다:

Content/MetaHumans/Common/Face/Face_AnimBP

Lip sync 기능을 구현하기 위한 여러 옵션이 있습니다:

기본 애셋 직접 수정 (가장 간단한 옵션)

기본 Face_AnimBP를 직접 열어 수정합니다. 변경 사항은 이 Animation Blueprint를 사용하는 모든 MetaHuman 캐릭터에 영향을 미칩니다.

참고: 이 방법은 편리하지만 기본 Animation Blueprint를 사용하는 모든 캐릭터에 영향을 줍니다.

복제본 생성

1. Face_AnimBP를 복제하고 설명이 포함된 이름을 지정합니다
2. 캐릭터의 Blueprint 클래스를 찾습니다 (예: "Bryan" 캐릭터의 경우 Content/MetaHumans/Bryan/BP_Bryan에 위치)
3. 캐릭터 Blueprint를 열고 Face 컴포넌트를 찾습니다
4. Anim Class 속성을 새로 복제한 Animation Blueprint로 변경합니다

참고: 이 방법을 사용하면 특정 캐릭터에 대한 lip sync를 커스터마이징하면서 다른 캐릭터는 변경하지 않을 수 있습니다.

커스텀 Animation Blueprint 사용

필요한 얼굴 뼈에 접근할 수 있는 모든 Animation Blueprint에서 lip sync 블렌딩을 구현할 수 있습니다:

1. 커스텀 Animation Blueprint를 생성하거나 기존 것을 사용합니다
2. Animation Blueprint가 기본 MetaHuman의 Face_Archetype_Skeleton(모든 MetaHuman 캐릭터에 사용되는 표준 스켈레톤)과 동일한 얼굴 뼈를 가진 스켈레톤과 작동하는지 확인합니다

참고: 이 방법은 커스텀 애니메이션 시스템과의 통합을 위한 최대 유연성을 제공합니다.

중요: Runtime MetaHuman Lip Sync 블렌딩은 기본 MetaHuman의 Face_Archetype_Skeleton에 있는 얼굴 뼈를 포함하는 포즈에 접근할 수 있는 모든 Animation Blueprint 애셋에서 구현할 수 있습니다. 위 옵션에 제한되지 않습니다 - 이들은 단지 일반적인 구현 접근 방식일 뿐입니다.

단계 2: 이벤트 그래프 설정

Face Animation Blueprint를 열고 Event Graph로 전환합니다. 오디오 데이터를 처리하고 비셈을 생성할 Runtime Viseme Generator를 생성해야 합니다.

1. 아직 없는 경우 Event Blueprint Begin Play 노드를 추가합니다
2. Create Runtime Viseme Generator 노드를 추가하고 Begin Play 이벤트에 연결합니다
3. 출력을 변수(예: "VisemeGenerator")로 저장하여 그래프의 다른 부분에서 사용합니다

단계 3: 오디오 입력 처리 설정

오디오 입력을 처리할 방법을 설정해야 합니다. 오디오 소스에 따라 여러 방법이 있습니다.

마이크 (실시간)

이 방법은 마이크로 말하는 동안 실시간으로 lip sync를 수행합니다:

1. Runtime Audio Importer를 사용하여 Capturable Sound Wave 생성
2. 오디오 캡처를 시작하기 전에 OnPopulateAudioData 델리게이트에 바인딩합니다
3. 바인딩된 함수에서 Runtime Viseme Generator의 ProcessAudioData를 호출합니다
4. 마이크에서 오디오 캡처를 시작합니다

복사 가능한 노드.

마이크 (재생)

이 방법은 마이크에서 오디오를 캡처한 후 lip sync와 함께 재생합니다:

1. Runtime Audio Importer를 사용하여 Capturable Sound Wave 생성
2. 마이크에서 오디오 캡처를 시작합니다
3. 캡처 가능한 사운드 웨이브를 재생하기 전에 OnGeneratePCMData 델리게이트에 바인딩합니다
4. 바인딩된 함수에서 Runtime Viseme Generator의 ProcessAudioData를 호출합니다

복사 가능한 노드.

참고: 더 반응성이 좋은 lip sync를 위해 오디오 데이터를 더 작은 청크로 처리하려면 SetNumSamplesPerChunk 함수의 계산을 조정하세요. 예를 들어, 샘플 레이트를 100(10ms마다 스트리밍) 대신 150(~6.67ms마다 스트리밍)으로 나누면 더 빈번한 lip sync 업데이트가 제공됩니다.

텍스트 음성 변환 (로컬)

일반

이 방법은 텍스트에서 음성을 합성하고 lip sync를 수행합니다:

1. Runtime Text To Speech를 사용하여 텍스트에서 음성 생성
2. Runtime Audio Importer를 사용하여 합성된 오디오 가져오기
3. 가져온 사운드 웨이브를 재생하기 전에 OnGeneratePCMData 델리게이트에 바인딩합니다
4. 바인딩된 함수에서 Runtime Viseme Generator의 ProcessAudioData를 호출합니다

복사 가능한 노드.

참고: 더 반응성이 좋은 lip sync를 위해 오디오 데이터를 더 작은 청크로 처리하려면 SetNumSamplesPerChunk 함수의 계산을 조정하세요. 예를 들어, 샘플 레이트를 100(10ms마다 스트리밍) 대신 150(~6.67ms마다 스트리밍)으로 나누면 더 빈번한 lip sync 업데이트가 제공됩니다.

스트리밍

이 방법은 실시간 lip sync와 함께 스트리밍 텍스트 음성 변환 합성을 사용합니다:

1. Runtime Text To Speech를 사용하여 텍스트에서 스트리밍 음성 생성
2. Runtime Audio Importer를 사용하여 합성된 오디오 가져오기
3. 스트리밍 사운드 웨이브를 재생하기 전에 OnGeneratePCMData 델리게이트에 바인딩합니다
4. 바인딩된 함수에서 Runtime Viseme Generator의 ProcessAudioData를 호출합니다

복사 가능한 노드.

참고: 더 반응성이 좋은 lip sync를 위해 오디오 데이터를 더 작은 청크로 처리하려면 SetNumSamplesPerChunk 함수의 계산을 조정하세요. 예를 들어, 샘플 레이트를 100(10ms마다 스트리밍) 대신 150(~6.67ms마다 스트리밍)으로 나누면 더 빈번한 lip sync 업데이트가 제공됩니다.

텍스트 음성 변환 (외부 API)

일반

이 방법은 Runtime AI Chatbot Integrator 플러그인을 사용하여 AI 서비스에서 합성된 음성을 생성하고 lip sync를 수행합니다:

1. Runtime AI Chatbot Integrator를 사용하여 외부 API(OpenAI, ElevenLabs 등)로 텍스트에서 음성 생성
2. Runtime Audio Importer를 사용하여 합성된 오디오 데이터 가져오기
3. 가져온 사운드 웨이브를 재생하기 전에 OnGeneratePCMData 델리게이트에 바인딩합니다
4. 바인딩된 함수에서 Runtime Viseme Generator의 ProcessAudioData를 호출합니다

복사 가능한 노드.

참고: 더 반응성이 좋은 lip sync를 위해 오디오 데이터를 더 작은 청크로 처리하려면 SetNumSamplesPerChunk 함수의 계산을 조정하세요. 예를 들어, 샘플 레이트를 100(10ms마다 스트리밍) 대신 150(~6.67ms마다 스트리밍)으로 나누면 더 빈번한 lip sync 업데이트가 제공됩니다.

스트리밍

이 방법은 Runtime AI Chatbot Integrator 플러그인을 사용하여 AI 서비스에서 합성된 스트리밍 음성을 생성하고 lip sync를 수행합니다:

1. Runtime AI Chatbot Integrator를 사용하여 스트리밍 TTS API(예: ElevenLabs Streaming API)에 연결
2. Runtime Audio Importer를 사용하여 합성된 오디오 데이터 가져오기
3. 스트리밍 사운드 웨이브를 재생하기 전에 OnGeneratePCMData 델리게이트에 바인딩합니다
4. 바인딩된 함수에서 Runtime Viseme Generator의 ProcessAudioData를 호출합니다

복사 가능한 노드.

참고: 더 반응성이 좋은 lip sync를 위해 오디오 데이터를 더 작은 청크로 처리하려면 SetNumSamplesPerChunk 함수의 계산을 조정하세요. 예를 들어, 샘플 레이트를 100(10ms마다 스트리밍) 대신 150(~6.67ms마다 스트리밍)으로 나누면 더 빈번한 lip sync 업데이트가 제공됩니다.

오디오 파일/버퍼에서

이 방법은 사전 녹음된 오디오 파일 또는 오디오 버퍼를 사용하여 lip sync를 수행합니다:

1. Runtime Audio Importer를 사용하여 디스크 또는 메모리에서 오디오 파일 가져오기
2. 가져온 사운드 웨이브를 재생하기 전에 OnGeneratePCMData 델리게이트에 바인딩합니다
3. 바인딩된 함수에서 Runtime Viseme Generator의 ProcessAudioData를 호출합니다
4. 가져온 사운드 웨이브를 재생하고 lip sync 애니메이션을 관찰합니다

복사 가능한 노드.

참고: 더 반응성이 좋은 lip sync를 위해 오디오 데이터를 더 작은 청크로 처리하려면 SetNumSamplesPerChunk 함수의 계산을 조정하세요. 예를 들어, 샘플 레이트를 100(10ms마다 스트리밍) 대신 150(~6.67ms마다 스트리밍)으로 나누면 더 빈번한 lip sync 업데이트가 제공됩니다.

커스텀 오디오 소스

커스텀 오디오 소스의 경우 다음이 필요합니다:

1. float PCM 형식의 오디오 데이터(부동 소수점 샘플 배열)
2. 샘플 레이트와 채널 수
3. Runtime Viseme Generator의 ProcessAudioData를 이러한 매개변수와 함께 호출합니다

커스텀 소스에서 오디오를 스트리밍하는 예시:

복사 가능한 노드.

참고: 더 반응성이 좋은 lip sync를 위해 오디오 데이터를 더 작은 청크로 처리하려면 SetNumSamplesPerChunk 함수의 계산을 조정하세요. 예를 들어, 샘플 레이트를 100(10ms마다 스트리밍) 대신 150(~6.67ms마다 스트리밍)으로 나누면 더 빈번한 lip sync 업데이트가 제공됩니다.

단계 4: 애님 그래프 설정

이벤트 그래프 설정 후 Anim Graph로 전환하여 비셈 생성기를 캐릭터 애니메이션에 연결합니다:

Lip Sync

1. MetaHuman 얼굴이 포함된 포즈를 찾습니다(일반적으로 Use cached pose 'Body Pose'에서)
2. Blend Runtime MetaHuman Lip Sync 노드를 추가합니다
3. 포즈를 Blend Runtime MetaHuman Lip Sync 노드의 Source Pose에 연결합니다
4. RuntimeVisemeGenerator 변수를 Viseme Generator 핀에 연결합니다
5. Blend Runtime MetaHuman Lip Sync 노드의 출력을 Output Pose의 Result 핀에 연결합니다

오디오에서 lip sync가 감지되면 캐릭터가 동적으로 애니메이션됩니다:

![