본문으로 건너뛰기

플러그인 구성

모델 구성​

각 재생마다 사실적인 모델 생성기를 재생성하세요.

안정적인 작동을 위해 Realistic 및 Mood-Enabled Realistic 모델에서는 긴 무음 구간에 걸쳐 생성기를 재사용하는 대신 각각의 새로운 오디오 재생 전에 생성기를 재생성하세요. 자세한 내용은 문제 해결의 생성기 재생성을 참조하세요.

표준 모델 구성​

The Create Runtime Viseme Generator 노드는 대부분의 시나리오에서 잘 작동하는 기본 설정을 사용합니다. 구성은 Animation Blueprint 블렌딩 노드 속성을 통해 처리됩니다.

Animation Blueprint 구성 옵션에 대해서는 아래의 Lip Sync 구성 섹션을 참조하십시오.

사실적인 모델 구성​

Create Realistic MetaHuman Lip Sync Generator 노드는 선택적 구성 매개변수를 허용하므로 생성기의 동작을 사용자 지정할 수 있습니다:

모델 유형​

모델 유형 설정은 사실적인 모델의 버전을 결정합니다.

모델 유형성능시각적 품질노이즈 처리권장 사용 사례
고도 최적화 (기본값)최고 성능, 가장 낮은 CPU 사용량우수한 품질배경 노이즈나 비음성 사운드가 있을 때 눈에 띄는 입 움직임이 나타날 수 있음깨끗한 오디오 환경, 성능이 중요한 시나리오
반 최적화좋은 성능, 중간 수준의 CPU 사용량높은 품질노이즈가 있는 오디오에서 더 나은 안정성성능과 품질의 균형, 혼합 오디오 환경
원본최신 CPU에서 실시간 사용에 적합최고 품질배경 노이즈 및 비음성 사운드에 가장 안정적고품질 제작, 노이즈가 많은 오디오 환경, 최대 정확도가 필요할 때

성능 설정​

내부 연산 스레드: 모델 내부 처리 작업에 사용되는 스레드 수를 제어합니다.

  • 0 (기본값/자동): 자동 감지를 사용합니다 (일반적으로 사용 가능한 CPU 코어의 1/4, 최대 4개)
  • 1-16: 스레드 수를 수동으로 지정합니다. 더 높은 값은 멀티코어 시스템에서 성능을 향상시킬 수 있지만 CPU를 더 많이 사용합니다.

Inter Op Threads: 서로 다른 모델 연산의 병렬 실행에 사용되는 스레드 수를 제어합니다.

  • 0 (기본/자동): 자동 감지 사용 (일반적으로 사용 가능한 CPU 코어의 1/8, 최대 2)
  • 1-8: 스레드 수를 수동으로 지정합니다. 일반적으로 실시간 처리를 위해 낮게 유지합니다.

처리 청크 크기​

처리 청크 크기는 각 추론 단계에서 처리되는 샘플 수를 결정합니다. 기본값은 160샘플(16kHz에서 10ms 오디오)입니다:

  • 값이 작을수록 업데이트가 더 자주 이루어지지만 CPU 사용량이 증가합니다.
  • 값이 클수록 CPU 부하는 줄어들지만 립싱크 반응성이 저하될 수 있습니다.
  • 최적의 정렬을 위해 160의 배수를 사용하는 것이 좋습니다.

Setting Processing Chunk Size

감정 지원 모델 구성​

Create Realistic MetaHuman Lip Sync With Mood Generator 노드는 기본 리얼리스틱 모델 외에도 추가 구성 옵션을 제공합니다:

기본 구성​

선행 시간(ms): 향상된 립싱크 정확도를 위한 밀리초 단위의 선행 타이밍.

  • 기본값: 80ms
  • 범위: 20ms~200ms (20으로 나누어 떨어져야 함)
  • 값이 클수록 동기화는 더 좋아지지만 대기 시간이 늘어납니다.

출력 유형: 어떤 페이셜 컨트롤이 생성되는지 제어합니다.

  • 전체 얼굴: 81개의 모든 얼굴 컨트롤 (눈썹, 눈, 코, 입, 턱, 혀)
  • 입 전용: 입, 턱, 혀 관련 컨트롤만

성능 설정: 일반 리얼리스틱 모델과 동일한 Intra Op Threads 및 Inter Op Threads 설정을 사용합니다.

감정 설정​

사용 가능한 무드:

  • 중립, 행복, 슬픔, 혐오, 분노, 놀람, 공포
  • 자신감, 신남, 지루함, 장난기, 혼란

감정 강도: 감정이 애니메이션에 얼마나 강하게 영향을 미치는지 제어합니다 (0.0 ~ 1.0)

런타임 무드 컨트롤​

런타임 중에 다음 함수를 사용하여 무드 설정을 조정할 수 있습니다.

  • 무드 설정: 현재 무드 유형 변경
  • 무드 강도 설정: 무드가 애니메이션에 영향을 주는 정도를 조정합니다 (0.0~1.0)
  • Lookahead(밀리초) 설정: 동기화를 위한 Lookahead 타이밍을 수정합니다
  • 출력 유형 설정: 전체 얼굴 컨트롤과 입 전용 컨트롤 간 전환

Mood Configuration

무드 선택 가이드​

콘텐츠에 따라 적절한 무드를 선택하세요:

Mood최적 용도일반적인 강도 범위
중립일반 대화, 내레이션, 기본 상태0.5 - 1.0
기쁨긍정적인 내용, 명랑한 대화, 축하0.6 - 1.0
슬픔우울한 내용, 감정적인 장면, 음울한 순간0.5 - 0.9
혐오부정적인 반응, 혐오스러운 내용, 거부0.4 - 0.8
분노공격적인 대화, 대립적인 장면, 좌절0.6 - 1.0
놀라움예상치 못한 사건, 폭로, 충격적인 반응0.7 - 1.0
두려움위협적인 상황, 불안, 긴장된 대화0.5 - 0.9
자신감전문적인 발표, 리더십 대화, 단호한 말투0.7 - 1.0
흥분활기찬 내용, 공지, 열정적인 대화0.8 - 1.0
지루함단조로운 내용, 무관심한 대화, 지친 말투0.3 - 0.7
장난기캐주얼한 대화, 유머, 가벼운 상호작용0.6 - 0.9
혼란질문이 많은 대화, 불확실성, 당혹감0.4 - 0.8

Animation Blueprint 설정​

립싱크 설정​

Blend Runtime MetaHuman Lip Sync 노드에는 속성 패널에 구성 옵션이 있습니다:

속성기본값설명
보간 속도25립 움직임이 비지엠 사이를 전환하는 속도를 제어합니다. 값이 높을수록 전환이 더 빠르고 급격해집니다.
리셋 시간0.2립싱크가 리셋되기까지의 시간(초)입니다. 오디오가 중지된 후에도 립싱크가 계속되지 않도록 하는 데 유용합니다.

웃음 애니메이션​

오디오에서 감지된 웃음에 동적으로 반응하는 웃음 애니메이션을 추가할 수도 있습니다:

  1. Blend Runtime MetaHuman Laughter 노드 추가
  2. RuntimeVisemeGenerator 변수를 Viseme Generator 핀에 연결하세요.
  3. 이미 립싱크를 사용 중이라면:
    • Blend Runtime MetaHuman Lip Sync 노드의 출력을 Blend Runtime MetaHuman Laughter 노드의 Source Pose에 연결합니다.
    • Blend Runtime MetaHuman Laughter 노드의 출력을 Output Pose의 Result 핀에 연결합니다.
  4. 립싱크 없이 웃음만 사용하는 경우:
    • 소스 포즈를 Blend Runtime MetaHuman Laughter 노드의 Source Pose에 직접 연결하세요
    • 출력을 Result 핀에 연결하세요

Blend Runtime MetaHuman Laughter

오디오에서 웃음이 감지되면, 당신의 캐릭터는 그에 따라 동적으로 애니메이션을 수행합니다:

웃음 구성​

Blend Runtime MetaHuman Laughter 노드에는 자체 구성 옵션이 있습니다:

속성기본값설명
보간 속도25웃음 애니메이션 사이에서 입술 움직임이 전환되는 속도를 제어합니다. 값이 높을수록 전환이 더 빠르고 급격해집니다.
재설정 시간0.2웃음이 재설정되는 시간(초)입니다. 오디오가 중지된 후에도 웃음이 계속되는 것을 방지하는 데 유용합니다.
최대 웃음 가중치0.7웃음 애니메이션의 최대 강도를 조정합니다 (0.0 - 1.0).

참고: 웃음 감지는 현재 표준 모델에서만 사용할 수 있습니다.

기존 애니메이션과 결합​

영상 둘러보기

읽는 것보다 보는 것을 선호하시나요? 이 정확한 설정을 다루는 영상 튜토리얼을 확인해 보세요.

기존 바디 애니메이션 및 커스텀 페이셜 애니메이션을 덮어쓰지 않으면서 립싱크와 웃음을 적용하려면:

바디 애니메이션

이 설정은 얼굴 Animation Blueprint에 적용됩니다. 립싱크는 바디 Animation Blueprint의 일부가 아니기 때문입니다. 사용자 지정 바디 애니메이션(예: 몸통, 팔 및 기타 신체 움직임)의 경우 애니메이션 시퀀스를 (Sequence Player를 통해) 바디 Animation Blueprint의 출력 포즈에 직접 연결하기만 하면 됩니다. 추가 설정은 필요하지 않습니다.

  1. Layered blend per bone 노드를 바디 애니메이션과 최종 출력 사이에 추가하세요. Use Attached Parent가 true로 설정되어 있는지 확인하세요.
  2. 레이어 설정을 구성하세요:
    • 항목 1개를 Layer Setup 배열에 추가
    • 항목 3개를 레이어의 Branch Filters에 추가합니다. Bone Name은 다음과 같습니다:
      • FACIAL_C_FacialRoot
      • FACIAL_C_Neck2Root
      • FACIAL_C_Neck1Root
  3. 사용자 지정 페이셜 애니메이션에 중요: 커브 블렌드 옵션에서 **"최대값 사용"**을 선택하세요. 이렇게 하면 사용자 지정 페이셜 애니메이션(표정, 감정 등)이 립싱크 위에 제대로 레이어링될 수 있습니다.
  4. 연결을 생성하세요:
    • 사용자의 커스텀 애니메이션(일반적으로 원하는 애니메이션 시퀀스 에셋이 포함된 Sequence Player) → Base Pose 입력
    • 얼굴 애니메이션 출력(립싱크 및/또는 웃음 노드에서) → Blend Poses 0 입력
    • 레이어드 블렌드 노드 → 최종 Result 포즈

Layered Blend Per Bone

모프 타겟 세트 선택​

표준 모델은 사용자 지정 포즈 애셋 설정을 통해 어떤 모프 타깃 명명 규칙이든 기본적으로 지원하는 포즈 애셋을 사용합니다. 추가 구성은 필요하지 않습니다.

립싱크 동작 미세 조정​

특정 립싱크 커브 스케일링​

Modify Curve 노드를 사용하여 립싱크로 생성된 개별 얼굴 움직임을 약화(또는 증폭)할 수 있습니다. 이는 특정 커브가 오디오 콘텐츠나 캐릭터에 비해 너무 두드러져 보일 때 유용합니다.

설정:

  1. 립싱크 블렌드 노드 뒤에 Modify Curve 노드를 추가하세요.
  2. 노드를 우클릭하고 Add Curve Pin을 선택한 다음, 스케일하려는 곡선 이름을 입력하세요.
  3. 노드의 Apply Mode 속성을 Scale로 설정하세요.
  4. Value 매개변수를 설정하세요: 1.0 미만의 값은 움직임을 감쇠시키고, 1.0 초과의 값은 증폭시킵니다 (예: 0.8 = 20% 감소).

일반적으로 스케일되는 커브:

Curve Name용도적용 대상일반적인 조정값
CTRL_expressions_tongueOut특정 음소에서 혀가 앞으로 내밀어지는 정도표준 모델돌출을 줄이려면 0.8
CTRL_expressions_jawOpen턱이 벌어지는 범위사실적인 모델턱 움직임을 줄이려면 0.9

여러 커브 핀을 동일한 Modify Curve 노드에 추가하여 여러 커브를 한 번에 스케일할 수 있습니다.

감정별 미세 조정​

감정 지원 모델의 경우 특정 감정 표현을 미세 조정할 수 있습니다:

눈썹 제어:

  • CTRL_expressions_browRaiseInL / CTRL_expressions_browRaiseInR - 안쪽 눈썹 올리기
  • CTRL_expressions_browRaiseOuterL / CTRL_expressions_browRaiseOuterR - 바깥쪽 눈썹 올리기
  • CTRL_expressions_browDownL / CTRL_expressions_browDownR - 눈썹 내리기

눈 표정 제어:

  • CTRL_expressions_eyeSquintInnerL / CTRL_expressions_eyeSquintInnerR - 눈을 가늘게 뜨기
  • CTRL_expressions_eyeCheekRaiseL / CTRL_expressions_eyeCheekRaiseR - 볼 올리기

모델 비교 및 선택​

모델 간 선택​

프로젝트에 사용할 립싱크 모델을 결정할 때 다음 요소를 고려하세요:

고려 사항표준 모델사실적 모델감정 지원 사실적 모델
캐릭터 호환성MetaHuman 및 모든 사용자 지정 캐릭터 유형MetaHuman (및 ARKit) 캐릭터MetaHuman (및 ARKit) 캐릭터
시각 품질우수한 립싱크와 효율적인 성능더 자연스러운 입 움직임으로 향상된 사실감감정 표현으로 향상된 사실감
성능모바일/VR을 포함한 모든 플랫폼에 최적화더 높은 리소스 요구 사항더 높은 리소스 요구 사항
기능14개 비지엠, 웃음 감지81개 페이셜 컨트롤, 3가지 최적화 레벨81개 페이셜 컨트롤, 12가지 감정, 구성 가능한 출력
플랫폼 지원Windows, Android, QuestWindows, Mac, iOS, Linux, Android, QuestWindows, Mac, iOS, Linux, Android, Quest
사용 사례일반 애플리케이션, 게임, VR/AR, 모바일시네마틱 경험, 근접 상호작용감정적 스토리텔링, 고급 캐릭터 상호작용

엔진 버전 호환성​

UE 5.2 호환성 문제

Unreal Engine 5.2를 사용하는 경우, UE의 리샘플링 라이브러리의 버그로 인해 사실적인 모델(Realistic Models)이 올바르게 작동하지 않을 수 있습니다. 안정적인 립싱크 기능이 필요한 UE 5.2 사용자는 대신 표준 모델을 사용해 주세요.

이 문제는 UE 5.2에만 해당되며 다른 엔진 버전에는 영향을 미치지 않습니다.

성능 권장 사항​

  • 대부분의 프로젝트에서 표준 모델은 품질과 성능의 훌륭한 균형을 제공합니다.
  • MetaHuman 캐릭터에 최고 수준의 시각적 충실도가 필요할 때 사실적 모델을 사용하세요.
  • 애플리케이션에서 감정 표현 제어가 중요할 때 감정 지원 사실적 모델을 사용하세요.
  • 모델을 선택할 때 대상 플랫폼의 성능 기능을 고려하세요.
  • 특정 사용 사례에 가장 적합한 균형을 찾기 위해 다양한 최적화 수준을 테스트하세요.

문제 해결​

일반적인 문제​

Realistic Models를 위한 제너레이터 재생성: Realistic Models에서 안정적이고 일관된 작동을 위해, 일정 시간 비활성 상태 후 새 오디오 데이터를 공급할 때마다 제너레이터를 재생성하는 것이 좋습니다. 이는 ONNX 런타임 동작 때문이며, 침묵 기간 후 제너레이터를 재사용하면 립 싱크가 작동을 멈출 수 있습니다.

예를 들어, 사운드 웨이브 재생과 립싱크를 시작하기 위해 Play Sound 2D를 호출하거나 다른 방법을 사용할 때마다와 같이, 모든 재생 시작 시 립싱크 생성기를 재생성할 수 있습니다:

Recreate Lip Sync Generator On Play Sound

Runtime Text To Speech 통합을 위한 플러그인 위치:

Runtime MetaHuman Lip Sync를 Runtime Text To Speech와 함께 사용할 때(두 플러그인 모두 ONNX Runtime을 사용함), 플러그인이 엔진의 Marketplace 폴더에 설치된 경우 문제가 발생할 수 있습니다. 이 문제를 해결하려면:

  1. 두 플러그인을 UE 설치 폴더의 \Engine\Plugins\Marketplace 아래에서 찾으세요 (예: C:\Program Files\Epic Games\UE_5.6\Engine\Plugins\Marketplace)
  2. RuntimeMetaHumanLipSync 폴더와 RuntimeTextToSpeech 폴더를 모두 프로젝트의 Plugins 폴더로 이동하세요.
  3. 프로젝트에 Plugins 폴더가 없으면 .uproject 파일과 같은 디렉터리에 생성하세요.
  4. Unreal Editor를 다시 시작하세요.

이 기능은 엔진의 Marketplace 디렉토리에서 여러 ONNX Runtime 기반 플러그인이 로드될 때 발생할 수 있는 호환성 문제를 해결합니다.

패키징 구성 (Windows): 패키징된 프로젝트에서 립싱크가 올바르게 작동하지 않는다면 Shipping 빌드 구성 대신 Development를 사용 중인지 확인하세요. Development 구성은 패키징된 빌드에서 실사 모델 ONNX 런타임에 문제를 일으킬 수 있습니다.

이 문제를 해결하려면:

  1. 프로젝트 설정 → 패키징에서 Build Configuration을 Shipping으로 설정하세요.
  2. 프로젝트를 다시 패키징하세요.

Shipping Configuration

Blueprint 전용 프로젝트

일부 Blueprint 전용 프로젝트에서는 Shipping을 선택해도 Unreal Engine이 여전히 Development 구성으로 빌드될 수 있습니다. 이 경우 C++ 클래스를 하나 이상 추가하여 프로젝트를 C++ 프로젝트로 변환하세요(클래스는 비어 있어도 됩니다). 이렇게 하려면 UE 에디터 메뉴에서 도구 → 새 C++ 클래스로 이동하여 빈 클래스를 생성하세요. 그러면 프로젝트가 Shipping 구성으로 올바르게 빌드되도록 강제됩니다. 프로젝트의 기능은 Blueprint 전용으로 유지해도 되며, C++ 클래스는 올바른 빌드 구성을 위해 필요할 뿐입니다.

립싱크 반응 저하: 스트리밍 사운드 웨이브 또는 캡처 가능 사운드 웨이브를 사용할 때 시간이 지남에 따라 립싱크 반응이 저하되는 경우, 이는 메모리 누적 때문일 수 있습니다. 기본적으로 새 오디오가 추가될 때마다 메모리가 재할당됩니다. 이 문제를 방지하려면 ReleaseMemory 함수를 주기적으로 호출하여 누적된 메모리를 해제하세요. 예를 들어 약 30초마다 호출하면 됩니다.

성능 최적화:

  • 성능 요구 사항에 따라 Realistic 모델의 처리 청크 크기를 조정하세요.
  • 대상 하드웨어에 적절한 스레드 수를 사용하세요.
  • 전체 얼굴 애니메이션이 필요하지 않은 경우, 무드 지원 모델에는 Mouth Only 출력 유형 사용을 고려하세요.