본문으로 건너뛰기

개요

Runtime MetaHuman Lip Sync 문서

Runtime MetaHuman Lip Sync은 MetaHuman 및 커스텀 캐릭터 모두를 위한 실시간, 오프라인 및 크로스 플랫폼 립 싱크를 가능하게 하는 플러그인입니다. 이 플러그인을 사용하면 다음과 같은 다양한 소스의 오디오 입력에 반응하여 캐릭터의 입술을 애니메이션할 수 있습니다:

이 플러그인은 내부적으로 오디오 입력을 기반으로 비짐(phoneme의 시각적 표현)을 생성하고 미리 정의된 포즈 애셋을 사용하여 립 싱크 애니메이션을 수행합니다.

캐릭터 호환성​

이름과 달리 Runtime MetaHuman Lip Sync는 MetaHuman뿐만 아니라 다양한 캐릭터와 호환됩니다:

인기 있는 상용 캐릭터 시스템​

  • Daz Genesis 8/9 캐릭터
  • Reallusion Character Creator 3/4 (CC3/CC4) 캐릭터
  • Mixamo 캐릭터
  • ReadyPlayerMe 아바타

지원되는 애니메이션 표준​

  • FACS 기반 블렌드쉐이프 시스템
  • Apple ARKit 블렌드쉐이프 표준
  • Preston Blair phoneme 세트
  • 3ds Max phoneme 시스템
  • 얼굴 표정을 위한 커스텀 모프 타겟이 있는 모든 캐릭터

MetaHuman이 아닌 캐릭터와 플러그인을 사용하는 방법에 대한 자세한 지침은 커스텀 캐릭터 설정 가이드를 참조하세요.

애니메이션 미리보기​

이 플러그인으로 생성된 실시간 립 싱크 애니메이션의 품질을 확인하려면 다음 짧은 애니메이션을 확인하세요. 이 애니메이션은 MetaHuman이든 지원되는 시스템의 커스텀 캐릭터든 지원되는 모든 캐릭터에 적용할 수 있습니다.

Lip Sync Example
Lip Sync Example
Lip Sync Example

주요 기능​

  • 마이크 입력을 통한 실시간 립 싱크
  • 오프라인 오디오 처리 지원
  • 크로스 플랫폼 호환성: Windows, Android, Meta Quest
  • 다양한 캐릭터 시스템 및 애니메이션 표준 지원
  • 커스텀 캐릭터를 위한 유연한 비젼 매핑

작동 원리​

이 플러그인은 다음과 같은 방식으로 오디오 입력을 처리합니다:

  1. 오디오 데이터는 지정된 채널 및 샘플 레이트로 PCM 형식의 float 값으로 수신됩니다
  2. 플러그인은 오디오를 처리하여 비젼(폰임)을 생성합니다
  3. 이 비젼들은 캐릭터의 포즈 애셋을 사용하여 립 싱크 애니메이션을 구동합니다
  4. 애니메이션이 실시간으로 캐릭터에 적용됩니다

빠른 시작​

캐릭터에 립 싱크를 활성화하는 기본 설정 방법입니다:

  1. MetaHuman 캐릭터의 경우 MetaHuman 설정 가이드를 따르세요
  2. 커스텀 캐릭터의 경우 커스텀 캐릭터 설정 가이드를 따르세요
  3. (이벤트 그래프 등에서) 오디오 입력 처리를 설정하세요
  4. Anim Graph에서 Blend Runtime MetaHuman Lip Sync 노드를 연결하세요
  5. 오디오를 재생하고 캐릭터가 말하는 모습을 확인하세요!

추가 자료​