オーディオ処理ガイド

このガイドでは、リップシンクジェネレーターにオーディオデータを供給するための、さまざまなオーディオ入力方法の設定方法について説明します。先にセットアップガイドを完了していることを確認してください。

音声入力処理

音声入力を処理する方法を設定する必要があります。音声ソースに応じて、いくつかの方法があります。

マイク（リアルタイム）

このアプローチは、マイクに向かって話している間、リアルタイムでリップシンクを実行します。

標準モデル

1. Runtime Audio Importerを使用してキャプチャ可能なサウンドウェーブを作成する
   • Linux と Pixel Streaming を使用する場合は、代わりに Pixel Streaming Capturable Sound Wave を使用してください。
2. オーディオのキャプチャを開始する前に、OnPopulateAudioData デリゲートにバインドします
3. バインドされた関数内で、ランタイムビジームジェネレーターから ProcessAudioData を呼び出します
4. マイクからのオーディオキャプチャを開始します

コピー可能なノード。

リアリスティックモデル

リアリスティックモデルは、スタンダードモデルと同じオーディオ処理ワークフローを使用しますが、VisemeGeneratorの代わりにRealisticLipSyncGenerator変数を使用します。

コピー可能なノード。

ムード対応リアリスティックモデル

ムード対応モデルは同じオーディオ処理ワークフローを使用しますが、MoodMetaHumanLipSyncGenerator変数と追加のムード設定機能を備えています。

コピー可能なノード。

マイク（再生）

このアプローチでは、マイクから音声をキャプチャし、リップシンクとともに再生します。

標準モデル

1. Runtime Audio Importerを使用してキャプチャ可能なサウンドウェーブを作成する
   • Linux と Pixel Streaming を使用する場合は、代わりに Pixel Streaming Capturable Sound Wave を使用してください。
2. マイクからオーディオキャプチャを開始する
3. キャプチャ可能なサウンドウェーブを再生する前に、その OnGeneratePCMData デリゲートにバインドする
4. バインドされた関数内で、ランタイムビジームジェネレーターの ProcessAudioData を呼び出す

コピー可能なノード。

リアリスティックモデル

リアリスティックモデルは、スタンダードモデルと同じオーディオ処理ワークフローを使用しますが、VisemeGeneratorの代わりにRealisticLipSyncGenerator変数を使用します。

コピー可能なノード。

ムード対応リアリスティックモデル

ムード対応モデルは同じオーディオ処理ワークフローを使用しますが、MoodMetaHumanLipSyncGenerator変数と追加のムード設定機能を備えています。

コピー可能なノード。

テキスト読み上げ（ローカル）

通常

このアプローチは、ローカルTTSを使用してテキストから音声を合成し、リップシンクを実行します。

標準モデル

1. Runtime Text To Speechを使用してテキストから音声を生成する
2. Runtime Audio Importerを使用して合成されたオーディオをインポートする
3. インポートしたサウンドウェーブを再生する前に、そのOnGeneratePCMDataデリゲートにバインドする
4. バインドされた関数内で、Runtime Viseme GeneratorのProcessAudioDataを呼び出す

コピー可能なノード。

リアリスティックモデル

リアリスティックモデルは、スタンダードモデルと同じオーディオ処理ワークフローを使用しますが、VisemeGeneratorの代わりにRealisticLipSyncGenerator変数を使用します。

コピー可能なノード。

ムード対応リアリスティックモデル

ムード対応モデルは同じオーディオ処理ワークフローを使用しますが、MoodMetaHumanLipSyncGenerator変数と追加のムード設定機能を備えています。

コピー可能なノード。

ストリーミング

このアプローチでは、ストリーミング音声合成とリアルタイムのリップシンクを組み合わせています。

標準モデル

1. Runtime Text To Speechを使用して、テキストからストリーミング音声を生成します
2. Runtime Audio Importerを使用して、合成されたオーディオをインポートします
3. ストリーミングサウンドウェーブを再生する前に、そのOnGeneratePCMDataデリゲートにバインドします
4. バインドされた関数内で、Runtime Viseme GeneratorからProcessAudioDataを呼び出します

コピー可能なノード。

リアリスティックモデル

リアリスティックモデルは、スタンダードモデルと同じオーディオ処理ワークフローを使用しますが、VisemeGeneratorの代わりにRealisticLipSyncGenerator変数を使用します。

コピー可能なノード。

ムード対応リアリスティックモデル

ムード対応モデルは同じオーディオ処理ワークフローを使用しますが、MoodMetaHumanLipSyncGenerator変数と追加のムード設定機能を備えています。

コピー可能なノード。

テキスト読み上げ（外部API）

通常

このアプローチでは、Runtime AI Chatbot Integrator プラグインを使用して、AIサービス（OpenAI または ElevenLabs）から合成音声を生成し、リップシンクを実行します。

標準モデル

1. Runtime AI Chatbot Integratorを使用して、外部API（OpenAI、ElevenLabsなど）を介してテキストから音声を生成します
2. Runtime Audio Importerを使用して、合成されたオーディオデータをインポートします
3. インポートしたサウンドウェーブを再生する前に、そのOnGeneratePCMDataデリゲートにバインドします
4. バインドされた関数内で、Runtime Viseme GeneratorのProcessAudioDataを呼び出します

コピー可能なノード。

リアリスティックモデル

リアリスティックモデルは、スタンダードモデルと同じオーディオ処理ワークフローを使用しますが、VisemeGeneratorの代わりにRealisticLipSyncGenerator変数を使用します。

コピー可能なノード。

ムード対応リアリスティックモデル

ムード対応モデルは同じオーディオ処理ワークフローを使用しますが、MoodMetaHumanLipSyncGenerator変数と追加のムード設定機能を備えています。

コピー可能なノード。

ストリーミング

このアプローチでは、Runtime AI Chatbot Integrator プラグインを使用して、AIサービス（OpenAI または ElevenLabs）から合成ストリーミング音声を生成し、リップシンクを実行します。

標準モデル

1. Runtime AI Chatbot Integratorを使用して、ストリーミングTTS API（ElevenLabs Streaming APIなど）に接続します
2. Runtime Audio Importerを使用して、合成されたオーディオデータをインポートします
3. ストリーミングサウンドウェーブを再生する前に、そのOnGeneratePCMDataデリゲートにバインドします
4. バインドされた関数内で、Runtime Viseme GeneratorのProcessAudioDataを呼び出します

コピー可能なノード。

リアリスティックモデル

リアリスティックモデルは、スタンダードモデルと同じオーディオ処理ワークフローを使用しますが、VisemeGeneratorの代わりにRealisticLipSyncGenerator変数を使用します。

コピー可能なノード。

ムード対応リアリスティックモデル

ムード対応モデルは同じオーディオ処理ワークフローを使用しますが、MoodMetaHumanLipSyncGenerator変数と追加のムード設定機能を備えています。

コピー可能なノード。

オーディオファイル/バッファから

このアプローチでは、事前に録音されたオーディオファイルまたはオーディオバッファを使用してリップシンクを行います。

標準モデル

1. Runtime Audio Importerを使用して、ディスクまたはメモリからオーディオファイルをインポートします
2. インポートしたサウンドウェーブを再生する前に、そのOnGeneratePCMDataデリゲートにバインドします
3. バインドされた関数内で、Runtime Viseme GeneratorのProcessAudioDataを呼び出します
4. インポートしたサウンドウェーブを再生し、リップシンクアニメーションを観察します

コピー可能なノード。

リアリスティックモデル

リアリスティックモデルは、スタンダードモデルと同じオーディオ処理ワークフローを使用しますが、VisemeGeneratorの代わりにRealisticLipSyncGenerator変数を使用します。

コピー可能なノード。

ムード対応リアリスティックモデル

ムード対応モデルは同じオーディオ処理ワークフローを使用しますが、MoodMetaHumanLipSyncGenerator変数と追加のムード設定機能を備えています。

コピー可能なノード。

ストリーミングオーディオバッファ

バッファからオーディオデータをストリーミングするには、以下が必要です：

標準モデル

1. ストリーミングソースから取得可能な浮動小数点PCM形式のオーディオデータ（浮動小数点サンプルの配列）（またはRuntime Audio Importerを使用してより多くのフォーマットをサポート）
2. サンプルレートとチャンネル数
3. オーディオチャンクが利用可能になるたびに、これらのパラメータを指定してRuntime Viseme GeneratorのProcessAudioDataを呼び出す

コピー可能なノード。

リアリスティックモデル

リアリスティックモデルは、スタンダードモデルと同じオーディオ処理ワークフローを使用しますが、VisemeGeneratorの代わりにRealisticLipSyncGenerator変数を使用します。

コピー可能なノード。

ムード対応リアリスティックモデル

ムード対応モデルは同じオーディオ処理ワークフローを使用しますが、MoodMetaHumanLipSyncGenerator変数と追加のムード設定機能を備えています。

コピー可能なノード。

注意: ストリーミングオーディオソースを使用する場合は、歪んだ再生を避けるために、オーディオ再生のタイミングを適切に管理してください。詳細については、ストリーミングサウンドウェーブのドキュメントを参照してください。

処理パフォーマンスのヒント

• チャンクサイズ: ProcessingChunkSize 設定オプション を増やす（例：320、480、640サンプル）ことで、品質や応答性への影響を最小限に抑えつつ、レイテンシを顕著に改善できます。

• モデルタイプ: リアリスティックモデルを使用する場合、高度に最適化されたモデルタイプ（デフォルトで選択）に切り替えるとパフォーマンスが向上します。元のモデルは、特にノイズの多いオーディオにおいて、わずかに品質が優れる場合があることに注意してください。

• バッファ管理: ムード対応モデルは、オーディオを320サンプルのフレーム（16kHzで20ms）で処理します。最適なパフォーマンスを得るために、オーディオ入力のタイミングをこれに合わせてください。

• ジェネレーターの再作成: Realisticモデルで確実に動作させるには、非アクティブ期間後に新しいオーディオデータを入力するたびにジェネレーターを再作成してください。説明については、トラブルシューティングのジェネレーターの再作成を参照してください。

次のステップ

オーディオ処理の設定が完了したら、以下のことを行いたい場合があります。

• 設定オプションについて学び、リップシンクの動作を微調整しましょう
• 表現力を高めるために笑いアニメーションを追加する
• 設定ガイドで説明されているレイヤリング手法を使用して、リップシンクを既存のフェイシャルアニメーションと組み合わせる