개요
Runtime MetaHuman Lip Sync은 MetaHuman 및 커스텀 캐릭터 모두를 위한 실시간, 오프 라인, 크로스 플랫폼 립 싱크를 가능하게 하는 플러그인입니다. 이 플러그인을 사용하면 다양한 소스의 오디오 입력에 반응하여 캐릭터의 입술을 애니메이션화할 수 있습니다. 입력 소스에는 다음이 포함됩니다:
- Runtime Audio Importer의 캡처 가능한 사운드 웨이브를 통한 마이크 입력
- Runtime Text To Speech 또는 Runtime AI Chatbot Integrator에서 생성된 합성 음성
- float PCM 형식의 모든 오디오 데이터 (부동 소수점 샘플 배열)
이 플러그인은 내부적으로 오디오 입력을 기반으로 비짐(phoneme의 시각적 표현)을 생성하고 미리 정의된 포즈 애셋을 사용하여 립 싱크 애니메이션을 수행합니다.
캐릭터 호환성
이름과 달리 Runtime MetaHuman Lip Sync는 MetaHuman뿐만 아니라 다양한 캐릭터와 호환됩니다: