본문으로 건너뛰기

Overview

Runtime MetaHuman Lip Sync Documentation

Runtime MetaHuman Lip Sync는 MetaHuman 캐릭터에 대해 실시간, 오프라인, 크로스 플랫폼 립싱크를 가능하게 하는 플러그인입니다. 이 플러그인은 다음을 포함한 다양한 소스로부터의 오디오 입력에 반응하여 캐릭터의 입을 애니메이션화합니다:

플러그인은 내부적으로 오디오 입력을 기반으로 visemes (phonemes의 시각적 표현)를 생성하고 사전 정의된 포즈 자산을 사용하여 립싱크 애니메이션을 수행합니다.

Animation Preview​

이 짧은 애니메이션을 확인하여 플러그인이 생성한 실시간 립싱크 애니메이션의 품질을 확인하세요. 이 애니메이션은 어떤 MetaHuman 기반 캐릭터에 적용될 수 있으며, 기본 MetaHuman이든 맞춤형 캐릭터든 사용할 수 있습니다.

Lip Sync Example

Key Features​

  • 마이크 입력으로부터의 실시간 립싱크
  • 오프라인 오디오 처리 지원
  • 크로스 플랫폼 호환성: Windows, Mac, Android, MetaQuest

How It Works​

플러그인은 다음과 같이 오디오 입력을 처리합니다:

  1. 오디오 데이터는 지정된 채널과 샘플 레이트로 float PCM 형식으로 수신됩니다
  2. 플러그인은 오디오를 처리하여 visemes (phonemes)를 생성합니다
  3. 이 visemes는 MetaHuman의 포즈 자산을 사용하여 립싱크 애니메이션을 구동합니다
  4. 애니메이션은 실시간으로 MetaHuman 캐릭터에 적용됩니다

Quick Start​

다음은 MetaHuman 캐릭터에서 립싱크를 활성화하는 기본 설정입니다:

  1. MetaHuman 플러그인이 활성화되어 있으며 프로젝트에 MetaHuman 캐릭터가 있는지 확인합니다
  2. MetaHuman의 Face Animation Blueprint를 수정합니다
  3. 오디오 입력 처리 설정 (예: 이벤트 그래프에서)
  4. Anim Graph에서 Blend Runtime MetaHuman Lip Sync 노드를 연결합니다
  5. 오디오를 재생하고 캐릭터가 말하는 모습을 보세요!

구현에 대한 자세한 단계는 How to use the plugin 페이지를 참조하세요.

Additional Resources​