跳到主要内容

概述

运行时MetaHuman口型同步文档

Runtime MetaHuman Lip Sync 是一款能够为MetaHuman和自定义角色实现实时、离线、跨平台口型同步的插件。它允许您根据来自不同来源的音频输入驱动角色嘴唇动画，包括：

该插件内部会根据音频输入生成视位素（音素的视觉表现），并使用预定义的姿势资产执行口型同步动画。

角色兼容性​

尽管名为Runtime MetaHuman Lip Sync，该插件实际上兼容远不止MetaHuman的多种角色：

主流商业角色系统​

  • Daz Genesis 8/9角色
  • Reallusion Character Creator 3/4 (CC3/CC4)角色
  • Mixamo角色
  • ReadyPlayerMe虚拟形象

支持的动画标准​

  • 基于FACS的混合变形系统
  • 苹果ARKit混合变形标准
  • Preston Blair音素集
  • 3ds Max音素系统
  • 任何带有自定义面部表情变形目标的角色

关于如何将插件用于非MetaHuman角色的详细说明，请参阅自定义角色设置指南。

动画预览​

观看以下短视频，了解该插件生成的实时口型同步动画质量。这些动画可应用于任何支持的角色，无论是MetaHuman还是来自任何支持系统的自定义角色。

Lip Sync Example
Lip Sync Example
Lip Sync Example

核心功能​

  • 通过麦克风输入实现实时唇形同步
  • 支持离线音频处理
  • 跨平台兼容性：Windows、Android、Meta Quest
  • 支持多角色系统与动画标准
  • 可自定义角色的灵活视位映射

工作原理​

该插件按以下流程处理音频输入：

  1. 音频数据以 PCM格式 的浮点数形式接收，包含指定的 声道数 和 采样率
  2. 插件处理音频数据生成 视位（音素）
  3. 这些视位通过角色的姿势资产驱动唇形同步动画
  4. 动画实时应用于角色

快速入门​

为角色启用唇形同步的基本设置步骤如下：

  1. 对于MetaHuman角色，请遵循 MetaHuman设置指南
  2. 对于自定义角色，请遵循 自定义角色设置指南
  3. 设置音频输入处理（例如在事件图表中）
  4. 在 动画图表 中连接 Blend Runtime MetaHuman Lip Sync 节点
  5. 播放音频即可看到角色开口说话！

更多资源​