跳到主要内容

演示项目

为了帮助您快速上手 Runtime MetaHuman Lip Sync，我们提供了两个即用型演示项目。两者均基于 Unreal Engine 5.6 构建（并支持 UE 5.7+），是 纯蓝图 项目，且可跨平台运行于 Windows、Mac、Linux、iOS、Android 以及基于 Android 的平台（包括 Meta Quest）。

可用的演示项目​

一个 完整的 AI NPC 对话工作流，结合了语音识别、AI 聊天机器人（LLM）、文本转语音以及带有实时唇形同步的音频播放——所有这些都在一个项目中协同运行。

管道概述​

🎤 Microphone → Speech Recognition → 💬 LLM Chatbot → 🔊 Text-to-Speech → 👄 Lip Sync + Playback

精选视频​

下载​

必需与可选插件​

该演示项目是模块化的——你只需要你打算使用的提供商的插件。

插件用途是否必需?
Runtime MetaHuman Lip Sync唇同步动画✅ 始终
Runtime Audio Importer音频捕获与处理✅ 始终
Runtime Speech Recognizer离线语音识别（whisper.cpp）✅ 始终
Runtime AI Chatbot Integrator外部LLM（OpenAI, Claude, DeepSeek, Gemini, Grok, Ollama）和/或 外部TTS（OpenAI, ElevenLabs）🔶 可选*
Runtime Local LLM通过llama.cpp进行本地LLM推理（Llama, Mistral, Gemma等，GGUF模型）🔶 可选*
Runtime Text To Speech通过Piper和Kokoro进行本地TTS🔶 可选*

* 你需要 至少一个LLM提供商 和 至少一个TTS提供商。自由组合（例如，本地LLM + ElevenLabs TTS，或 OpenAI LLM + 本地TTS）。

模块化架构​

该演示项目完全模块化。在Content文件夹中，你会找到一个**Modules**文件夹，其中包含三个子文件夹：

Content/
└── Modules/
    ├── RuntimeAIChatbotIntegrator/   ← External LLMs and/or external TTS
    ├── RuntimeLocalLLM/              ← Local LLM via llama.cpp
    └── RuntimeTextToSpeech/          ← Local TTS via Piper/Kokoro

如果您没有获取某个（或多个）可选插件，只需删除对应的文件夹即可。演示项目的基础资源（游戏实例、控件等）不会直接引用这些模块，因此删除它们不会导致资源引用错误。配置界面会自动隐藏任何文件夹缺失的提供者。

备注

这种模块化仅适用于 LLM 和 TTS 提供者。语音识别（Runtime Speech Recognizer）和唇形同步（Runtime MetaHuman Lip Sync）是基础演示项目的一部分，始终需要。

模块文件夹结构

注意

首次启动时，Unreal 可能会询问是否禁用缺失的可选插件——点击是。请确保您也已删除对应的 Content/Modules/ 文件夹（见上文）。

演示项目布局​

UI 仅用于演示目的

下面展示的用户界面完全使用 UMG（Unreal Motion Graphics）构建，纯粹用于演示整个流程——语音识别 → LLM → TTS → 唇形同步。您可以自由地重新设计或替换它，以匹配您游戏的视觉设计、控制方案或平台（VR/AR、移动端、主机等）。如果某些控件在您的用例中不需要，也可以直接隐藏它们（例如，设置可见性为折叠或隐藏）。

演示项目主屏幕带注释的概览

区域内容
中央MetaHuman 角色。
左侧四个配置按钮（语音识别、AI 聊天机器人、文本转语音、动画），下面会详细描述。
中央底部一个开始录制按钮。点击开始语音对话：您的麦克风被捕获，转录后发送给 LLM，回复通过 TTS 合成，然后通过唇形同步播放，全程无需动手。
右侧中央一个对话历史控件，显示您与 AI 之间完整的来回对话（包括用户和助手消息）。它还包含一个文本输入字段，因此您可以在不使用语音识别的情况下直接输入消息，便于测试、提供无障碍性或当麦克风不可用时使用。
提示

您可以在同一会话中自由混合两种输入模式——说一些消息，打一些字。

配置按钮​

左侧的四个配置按钮会打开每个流程部分的专用面板：

1. 配置语音识别​

配置如何捕获和转写用户语音：

  • 选择语言
  • 调整语音识别参数（Whisper 模型设置）
  • 配置回声消除（AEC）
  • 配置语音活动检测（VAD）

语音识别配置界面

2. 配置 AI 聊天机器人​

选择您的 LLM 提供者并进行配置：

  • 选择提供者（Runtime AI Chatbot Integrator 或 Runtime Local LLM）
  • 对于外部提供者：认证令牌、模型名称等。
  • 对于本地 LLM：选择GGUF 模型，设置上下文大小等推理参数。您还可以在运行时直接从演示中下载自己的 GGUF 模型（例如通过 URL），并立即使用，无需重建项目。
提示

提供者组合框只显示插件模块文件夹存在于 Content/Modules/ 中的提供者。

AI 聊天机器人配置 - Runtime AI Chatbot Integrator（外部 LLM）

AI 聊天机器人配置 - Runtime Local LLM（本地 GGUF）

3. 配置文本转语音​

选择您的 TTS 提供者并配置语音/模型：

  • 选择提供者（Runtime AI Chatbot Integrator 用于 OpenAI/ElevenLabs，或 Runtime Text To Speech 用于本地 Piper/Kokoro）
  • 选择语音/模型
  • 调整特定于提供者的参数

文本转语音配置 - Runtime AI Chatbot Integrator（外部 TTS）

文本转语音配置 - Runtime Local Text To Speech（本地 Piper/Kokoro）

4. 配置动画​

控制 AI NPC 的视觉效果：

  • 在3 个预下载的 MetaHuman 角色中选择（Aera、Ada、Orlando）
  • 选择唇形同步模型（标准 或 逼真）
  • 选择唇形同步模型类型 - 高度优化、半优化或原始（参见模型类型）
  • 调整处理块大小 - 控制唇形同步推断运行的频率（参见处理块大小）
  • 选择一个待机动画在对话期间在 MetaHuman 上播放

动画配置界面

在编辑器中预配置演示​

使用源代码版本时，您可以直接在编辑器中预填默认值，这样就不需要每次运行时重新输入：

内容位置
常规设置（唇形同步模型、待机动画、角色类、语音识别等）Content/LipSyncSTSGameInstance
外部 LLM / 外部 TTS 设置（Runtime AI Chatbot Integrator）Content/Modules/RuntimeAIChatbotIntegrator/RuntimeAIChatbotIntegrator_Provider
本地 LLM 设置（Runtime Local LLM）Content/Modules/RuntimeLocalLLM/RuntimeLocalLLM_Provider
本地 TTS 设置（Runtime Text To Speech）Content/Modules/RuntimeTextToSpeech/RuntimeTextToSpeech_Provider

跨平台注意事项​

演示使用的所有插件都支持 Windows、Mac、Linux、iOS、Android 以及基于 Android 的平台（包括 Meta Quest），因此演示项目同样适用于所有这些平台。

对于较弱的设备（移动端、独立 VR），您可能需要：

  • 使用标准唇形同步模型而非逼真模型——参见模型对比
  • 切换为高度优化模型类型
  • 增大处理块大小以减少 CPU 负载
  • 选择较小的 LLM / TTS 模型

有关 Android、iOS、Mac 和 Linux 的额外设置步骤，请参阅特定平台配置。

引入您自己的 MetaHuman​

演示项目附带三个示例 MetaHuman 角色（Aera、Ada、Orlando），但您可以导入自己的 MetaHuman 并在演示中使用它。

📺 视频教程： 向演示项目添加自定义 MetaHuman 角色

备注

Runtime MetaHuman Lip Sync 插件本身还支持许多超越 MetaHumans 的角色系统（基于 ARKit 的角色、Daz Genesis 8/9、Reallusion CC3/CC4、Mixamo、ReadyPlayerMe 等——参见自定义角色设置指南）。

标准唇形同步模型注意事项​

如果您计划在任一演示项目中使用标准模型（而不是逼真模型），则需要安装标准唇形同步扩展插件。请参阅标准模型扩展了解安装说明。

需要帮助？​

如果您在设置或运行演示项目时遇到任何问题，请随时联系：

Join our Discord
online · support

对于自定义开发请求（例如，扩展演示以集成您自己的逻辑，针对特定平台或角色管线进行调整），请联系 [email protected]。