オーディオ処理ガイド

このガイドでは、Lip Sync ジェネレーターにオーディオデータを供給するためのさまざまなオーディオ入力方法の設定方法について説明します。先にセットアップガイドを完了していることを確認してください。

オーディオ入力処理

オーディオ入力を処理する方法を設定する必要があります。オーディオソースに応じて、いくつかの方法があります。

マイク (リアルタイム)

このアプローチは、マイクに向かって話しながらリアルタイムで Lip Sync を実行します：

標準モデル

1. Runtime Audio Importer を使用して Capturable Sound Wave を作成します
2. オーディオキャプチャを開始する前に、OnPopulateAudioData デリゲートにバインドします
3. バインドされた関数内で、Runtime Viseme Generator から ProcessAudioData を呼び出します
4. マイクからのオーディオキャプチャを開始します

コピー可能なノード.

リアリスティックモデル

リアリスティックモデルは、標準モデルと同じオーディオ処理ワークフローを使用しますが、VisemeGenerator の代わりに RealisticLipSyncGenerator 変数を使用します。

コピー可能なノード。

ムード対応リアリスティックモデル

ムード対応モデルは同じオーディオ処理ワークフローを使用しますが、MoodMetaHumanLipSyncGenerator 変数と追加のムード設定機能を使用します。

コピー可能なノード。

マイク (再生)

このアプローチはマイクから音声をキャプチャし、それをリップシンクで再生します:

標準モデル

1. Runtime Audio Importerを使用してキャプチャ可能なサウンドウェーブを作成
2. マイクからの音声キャプチャを開始
3. キャプチャ可能なサウンドウェーブを再生する前に、そのOnGeneratePCMDataデリゲートにバインド
4. バインドされた関数内で、Runtime Viseme GeneratorのProcessAudioDataを呼び出し

コピー可能なノード.

リアリスティックモデル

リアリスティックモデルは標準モデルと同じ音声処理ワークフローを使用しますが、VisemeGeneratorの代わりにRealisticLipSyncGenerator変数を使用します。

コピー可能なノード.

ムード対応リアリスティックモデル

ムード対応モデルは同じ音声処理ワークフローを使用しますが、MoodMetaHumanLipSyncGenerator変数と追加のムード設定機能を使用します。

コピー可能なノード.

Text-to-Speech (ローカル)

通常

このアプローチはローカル TTS を使用してテキストから音声を合成し、リップシンクを実行します：

標準モデル

1. Runtime Text To Speech を使用してテキストから音声を生成
2. Runtime Audio Importer を使用して合成されたオーディオをインポート
3. インポートされたサウンドウェーブを再生する前に、その OnGeneratePCMData デリゲートにバインド
4. バインドされた関数内で、Runtime Viseme Generator から ProcessAudioData を呼び出し

コピー可能なノード.

リアリスティックモデル

ローカル TTS 互換性

Runtime Text To Speech プラグインによって提供されるローカル TTS は、ONNX ランタイムの競合により、通常のリアリスティックモデルでは現在サポートされていません。通常のリアリスティックモデルでのテキスト読み上げには、外部の TTS ソリューションの使用を検討するか、代わりに標準モデルを使用してください。

ムード対応リアリスティックモデル

1. Runtime Text To Speech を使用してテキストから音声を生成
2. Runtime Audio Importer を使用して合成されたオーディオをインポート
3. インポートされたサウンドウェーブを再生する前に、その OnGeneratePCMData デリゲートにバインド
4. バインドされた関数内で、Mood-Enabled Lip Sync Generator から ProcessAudioData を呼び出し
5. テキストの内容または望ましい感情表現に基づいてムード設定を構成

コピー可能なノード.

ムード統合による TTS:

• TTS 生成の前または最中に適切なムードを設定
• テキストの感情的なトーンに合わせてムードの強度を調整
• 長いテキストコンテンツの異なるセクションに対して異なるムードを使用

Streaming

このアプローチでは、ストリーミング音声合成とリアルタイムのリップシンクを使用します：

Standard Model

1. Runtime Text To Speech を使用してテキストからストリーミング音声を生成
2. Runtime Audio Importer を使用して合成されたオーディオをインポート
3. ストリーミングサウンドウェーブを再生する前に、その OnGeneratePCMData デリゲートにバインド
4. バインドされた関数内で、Runtime Viseme Generator の ProcessAudioData を呼び出す

コピー可能なノード。

Realistic Model

ローカルTTSの互換性

Runtime Text To Speech プラグインによって提供されるローカルTTSは、ONNXランタイムの競合により、通常のRealisticモデルでは現在サポートされていません。通常のRealisticモデルでテキスト読み上げを使用する場合は、外部TTSサービスの使用を検討するか、代わりにStandardモデルを使用してください。

Mood-Enabled Realistic Model

1. Runtime Text To Speech を使用してテキストからストリーミング音声を生成
2. Runtime Audio Importer を使用して合成されたオーディオをインポート
3. ストリーミングサウンドウェーブを再生する前に、その OnGeneratePCMData デリゲートにバインド
4. バインドされた関数内で、Mood-Enabled Lip Sync Generator の ProcessAudioData を呼び出す
5. 必要に応じてストリーミング中にムード設定を動的に調整

コピー可能なノード。

Text-to-Speech (External APIs)

Regular

このアプローチでは、Runtime AI Chatbot Integrator プラグインを使用して、AIサービス（OpenAI や ElevenLabs）から合成音声を生成し、リップシンクを実行します：

Standard Model

1. Runtime AI Chatbot Integrator を使用して、外部API（OpenAI、ElevenLabsなど）からテキストで音声を生成します
2. Runtime Audio Importer を使用して、合成されたオーディオデータをインポートします
3. インポートされたサウンドウェーブを再生する前に、その OnGeneratePCMData デリゲートにバインドします
4. バインドされた関数内で、Runtime Viseme Generator から ProcessAudioData を呼び出します

コピー可能なノード。

Realistic Model

リアリスティックモデルは、Standard Model と同じオーディオ処理ワークフローを使用しますが、VisemeGenerator の代わりに RealisticLipSyncGenerator 変数を使用します。

コピー可能なノード。

Mood-Enabled Realistic Model

ムード有効モデルは同じオーディオ処理ワークフローを使用しますが、MoodMetaHumanLipSyncGenerator 変数と追加のムード設定機能を使用します。

コピー可能なノード。

Streaming

このアプローチでは、Runtime AI Chatbot Integrator プラグインを使用して、AIサービス（OpenAI または ElevenLabs）から合成されたストリーミング音声を生成し、Lip Sync を実行します：

Standard Model

1. Runtime AI Chatbot Integrator を使用して、ストリーミング TTS API（例：ElevenLabs Streaming API）に接続します
2. Runtime Audio Importer を使用して、合成されたオーディオデータをインポートします
3. ストリーミングサウンドウェーブを再生する前に、その OnGeneratePCMData デリゲートにバインドします
4. バインドされた関数内で、Runtime Viseme Generator から ProcessAudioData を呼び出します

コピー可能なノード。

Realistic Model

Realistic Model は、Standard Model と同じオーディオ処理ワークフローを使用しますが、VisemeGenerator の代わりに RealisticLipSyncGenerator 変数を使用します。

コピー可能なノード。

Mood-Enabled Realistic Model

Mood-Enabled Model は同じオーディオ処理ワークフローを使用しますが、MoodMetaHumanLipSyncGenerator 変数と追加のムード設定機能を使用します。

コピー可能なノード。

オーディオファイル/バッファから

このアプローチでは、事前に録音されたオーディオファイルまたはオーディオバッファを使用してリップシンクを行います：

標準モデル

1. Runtime Audio Importer を使用して、ディスクまたはメモリからオーディオファイルをインポートします
2. インポートしたサウンドウェーブを再生する前に、その OnGeneratePCMData デリゲートにバインドします
3. バインドされた関数内で、Runtime Viseme Generator の ProcessAudioData を呼び出します
4. インポートしたサウンドウェーブを再生し、リップシンクアニメーションを観察します

コピー可能なノード。

リアリスティックモデル

リアリスティックモデルは標準モデルと同じオーディオ処理ワークフローを使用しますが、VisemeGenerator の代わりに RealisticLipSyncGenerator 変数を使用します。

コピー可能なノード。

ムード対応リアリスティックモデル

ムード対応モデルは同じオーディオ処理ワークフローを使用しますが、MoodMetaHumanLipSyncGenerator 変数と追加のムード設定機能を使用します。

コピー可能なノード。

ストリーミングオーディオバッファ

ストリーミングオーディオデータをバッファから処理するには、以下が必要です：

標準モデル

1. ストリーミングソースから利用可能な float PCM 形式（浮動小数点サンプルの配列）のオーディオデータ（または Runtime Audio Importer を使用してより多くのフォーマットをサポート）
2. サンプルレートとチャンネル数
3. オーディオチャンクが利用可能になるたびに、Runtime Viseme Generator の ProcessAudioData をこれらのパラメータで呼び出します

コピー可能なノード。

リアリスティックモデル

リアリスティックモデルは、Standard Modelと同じオーディオ処理ワークフローを使用しますが、VisemeGeneratorの代わりにRealisticLipSyncGenerator変数を使用します。

コピー可能なノード。

ムード対応リアリスティックモデル

ムード対応モデルは同じオーディオ処理ワークフローを使用しますが、MoodMetaHumanLipSyncGenerator変数と追加のムード設定機能を備えています。

コピー可能なノード。

注意: ストリーミングオーディオソースを使用する場合は、歪んだ再生を避けるために、オーディオ再生のタイミングを適切に管理してください。詳細はストリーミングサウンドウェーブのドキュメントを参照してください。

処理パフォーマンスのヒント

• チャンクサイズ: より応答性の高いリップシンクのためにオーディオデータを小さなチャンクで処理したい場合は、SetNumSamplesPerChunk関数の計算を調整してください。例えば、サンプルレートを100で割る（10msごとにストリーミング）代わりに150で割る（約6.67msごとにストリーミング）と、より頻繁なリップシンクの更新が行われます。

• バッファ管理: ムード対応モデルは320サンプルのフレーム（16kHzで20ms）でオーディオを処理します。最適なパフォーマンスのために、オーディオ入力のタイミングがこれに合うようにしてください。

• ジェネレーターの再作成: リアリスティックモデルで信頼性の高い操作を行うためには、非アクティブ期間後に新しいオーディオデータを供給したい場合に毎回ジェネレーターを再作成してください。

次のステップ

オーディオ処理の設定が完了したら、以下のことも検討してください：

• リップシンクの動作を微調整するための設定オプションについて学ぶ
• 表現力を高めるために笑いアニメーションを追加する
• 設定ガイドで説明されているレイヤリング技術を使用して、既存の顔面アニメーションとリップシンクを組み合わせる