본문으로 건너뛰기

개요

Runtime MetaHuman Lip Sync Documentation

Runtime MetaHuman Lip Sync은 MetaHuman과 커스텀 캐릭터 모두를 위한 실시간, 오프라인, 크로스 플랫폼 립싱크를 가능하게 하는 플러그인입니다. 다양한 소스의 오디오 입력에 반응하여 캐릭터의 입술을 애니메이션화할 수 있습니다. 입력 소스는 다음과 같습니다:

이 플러그인은 내부적으로 오디오 입력을 기반으로 비짐(음소의 시각적 표현)을 생성합니다. 텍스트가 아닌 오디오 데이터와 직접 작동하기 때문에, 이 플러그인은 영어, 스페인어, 프랑스어, 독일어, 일본어, 중국어, 한국어, 러시아어, 이탈리아어, 포르투갈어, 아랍어, 힌디어를 포함한 다국어 입력을 지원합니다. 말 그대로 모든 언어가 지원됩니다. 립싱크가 언어별 텍스트 처리보다는 오디오 음소에서 생성되기 때문입니다.

표준 모델은 14개의 비짐을 생성하고 미리 정의된 포즈 애셋을 사용하여 립싱크 애니메이션을 수행합니다. 반면, 리얼리스틱 모델 (MetaHuman 캐릭터 전용)은 미리 정의된 포즈 애셋에 의존하지 않고 81개의 얼굴 제어 변화를 생성하여 훨씬 더 현실적인 얼굴 애니메이션을 만들어냅니다.

캐릭터 호환성​

이름에도 불구하고, Runtime MetaHuman Lip Sync은 MetaHuman 이상의 다양한 캐릭터와 함께 작동합니다:

인기 있는 상용 캐릭터 시스템​

  • Daz Genesis 8/9 캐릭터
  • Reallusion Character Creator 3/4 (CC3/CC4) 캐릭터
  • Mixamo 캐릭터
  • ReadyPlayerMe 아바타

애니메이션 표준 지원​

  • FACS 기반 블렌드셰이프 시스템
  • Apple ARKit 블렌드셰이프 표준
  • Preston Blair 음소 세트
  • 3ds Max 음소 시스템
  • 얼굴 표정을 위한 커스텀 모프 타겟이 있는 모든 캐릭터

MetaHuman이 아닌 캐릭터와 함께 플러그인을 사용하는 방법에 대한 자세한 지침은 커스텀 캐릭터 설정 가이드를 참조하세요.

애니메이션 미리보기​

다양한 캐릭터 유형과 모델에서 플러그인에 의해 생성된 립싱크 애니메이션의 품질을 확인하려면 다음 짧은 애니메이션을 확인하세요:

Realistic Lip Sync Example
MetaHuman 캐릭터를 사용한 사실적인 모델
Standard Lip Sync Example
MetaHuman 캐릭터가 적용된 표준 모델
Custom Character Lip Sync Example
커스텀 캐릭터가 적용된 표준 모델
Custom Character Lip Sync Example
커스텀 캐릭터가 적용된 표준 모델

주요 기능​

  • 마이크 입력을 통한 실시간 립 싱크
  • 오프라인 오디오 처리 지원
  • 모델별 플랫폼 지원과 함께하는 크로스 플랫폼 호환성
  • 다양한 캐릭터 시스템 및 애니메이션 표준 지원
  • 커스텀 캐릭터를 위한 유연한 비즘(visme) 매핑
  • 오디오 분석을 통한 모든 구어 언어 지원 - 범용 언어 지원
  • 향상된 표현력을 위한 감정 인식 얼굴 애니메이션
  • 구성 가능한 출력 타입 (전체 얼굴 또는 입 부분만 제어)

립 싱크 모델​

이 플러그인은 다양한 프로젝트 요구에 맞춰 여러 립 싱크 모델을 제공합니다:

표준 립 싱크 모델은 광범위한 캐릭터 호환성과 함께 효율적이고 크로스 플랫폼 성능을 제공합니다:

  • MetaHumans 및 모든 커스텀 캐릭터 타입과 작동
  • 실시간 성능에 최적화
  • 낮은 리소스 요구 사항
  • 로컬 TTS (Runtime Text To Speech 플러그인)와의 완전한 호환성
  • 플랫폼 지원: Windows, Android, Android 기반 플랫폼 (Meta Quest 포함)
  • 세 가지 최적화 수준: 원본, 반 최적화, 고도 최적화
확장 플러그인 필요

표준 모델을 사용하려면 추가 확장 플러그인을 설치해야 합니다. 설치 지침은 필수 조건 섹션을 참조하세요.

성능, 캐릭터 호환성, 시각적 품질, 대상 플랫폼 및 기능 요구 사항에 따라 프로젝트에 적합한 모델을 선택할 수 있습니다.

TTS 호환성 참고

모든 모델이 다양한 오디오 입력 방법을 지원하지만, 일반 Realistic 모델은 ONNX 런타임 충돌로 인해 로컬 TTS와의 호환성이 제한됩니다. 그러나 Mood-Enabled Realistic 모델은 로컬 TTS와 완전히 호환됩니다. 텍스트 음성 변환 기능의 경우:

  • Standard Model: 모든 TTS 옵션(로컬 및 외부)과 호환
  • Realistic Model: 외부 TTS 서비스 권장(OpenAI, ElevenLabs)
  • Mood-Enabled Realistic Model: 모든 TTS 옵션(로컬 및 외부)과 호환

작동 방식​

이 플러그인은 다음과 같은 방식으로 오디오 입력을 처리합니다:

  1. 오디오 데이터는 지정된 채널 및 샘플 레이트를 가진 float PCM 형식으로 수신됩니다
  2. 플러그인은 모델에 따라 얼굴 제어 데이터 또는 visemes를 생성하기 위해 오디오를 처리합니다
  3. Mood-Enabled 모델의 경우, 얼굴 애니메이션에 감정 컨텍스트가 적용됩니다
  4. 애니메이션 데이터가 실시간으로 캐릭터의 얼굴 움직임을 구동합니다

빠른 시작​

다음은 캐릭터에 립싱크를 활성화하기 위한 기본 설정입니다:

  1. MetaHuman 캐릭터의 경우, 설정 가이드를 따르세요
  2. 커스텀 캐릭터의 경우, 커스텀 캐릭터 설정 가이드를 따르세요
  3. 선호하는 립싱크 모델을 선택하고 구성하세요
  4. Blueprint에서 오디오 입력 처리를 설정하세요
  5. Animation Blueprint에서 적절한 립싱크 노드를 연결하세요
  6. 오디오를 재생하고 캐릭터가 감정을 담아 말하는 것을 확인하세요!

추가 자료​

📦 다운로드 및 링크​

🎥 비디오 튜토리얼​

추천 데모:​

사실적인 모델 (고품질) 튜토리얼:​

표준 모델 튜토리얼:​

일반 설정:​

💬 지원​