オーディオ処理ガイド

このガイドでは、リップシンクジェネレーターにオーディオデータを供給するためのさまざまなオーディオ入力方法の設定方法について説明します。先にセットアップガイドを完了していることを確認してください。

オーディオ入力処理

オーディオ入力を処理する方法を設定する必要があります。オーディオソースに応じて、いくつかの方法があります。

マイク（リアルタイム）

このアプローチでは、マイクに向かって話しながらリアルタイムでリップシンクを実行します：

標準モデル

1. Runtime Audio Importerを使用してキャプチャ可能なサウンドウェーブを作成します
2. オーディオのキャプチャを開始する前に、OnPopulateAudioDataデリゲートにバインドします
3. バインドされた関数内で、Runtime Viseme GeneratorからProcessAudioDataを呼び出します
4. マイクからのオーディオキャプチャを開始します

コピー可能なノード.

リアリスティックモデル

リアリスティックモデルは、標準モデルと同じオーディオ処理ワークフローを使用しますが、VisemeGeneratorの代わりにRealisticLipSyncGenerator変数を使用します。

コピー可能なノード。

ムード対応リアリスティックモデル

ムード対応モデルは同じオーディオ処理ワークフローを使用しますが、MoodMetaHumanLipSyncGenerator変数と追加のムード設定機能を使用します。

コピー可能なノード。

マイク (再生)

このアプローチはマイクからオーディオをキャプチャし、それをリップシンクで再生します:

標準モデル

1. Runtime Audio Importerを使用してキャプチャ可能なサウンドウェーブを作成
2. マイクからのオーディオキャプチャを開始
3. キャプチャ可能なサウンドウェーブを再生する前に、そのOnGeneratePCMDataデリゲートにバインド
4. バインドされた関数内で、Runtime Viseme GeneratorのProcessAudioDataを呼び出し

コピー可能なノード.

リアリスティックモデル

リアリスティックモデルは標準モデルと同じオーディオ処理ワークフローを使用しますが、VisemeGeneratorの代わりにRealisticLipSyncGenerator変数を使用します。

コピー可能なノード。

ムード対応リアリスティックモデル

ムード対応モデルは同じオーディオ処理ワークフローを使用しますが、MoodMetaHumanLipSyncGenerator変数と追加のムード設定機能を使用します。

コピー可能なノード。

テキスト読み上げ（ローカル）

通常

このアプローチはローカルのTTSを使用してテキストから音声を合成し、リップシンクを実行します：

標準モデル

1. Runtime Text To Speech を使用してテキストから音声を生成
2. Runtime Audio Importer を使用して合成されたオーディオをインポート
3. インポートされたサウンドウェーブを再生する前に、その OnGeneratePCMData デリゲートにバインド
4. バインドされた関数内で、Runtime Viseme Generator の ProcessAudioData を呼び出す

コピー可能なノード.

リアリスティックモデル

ローカルTTS互換性

Runtime Text To Speech プラグインによって提供されるローカルTTSは、ONNXランタイムの競合により、通常のリアリスティックモデルでは現在サポートされていません。通常のリアリスティックモデルでのテキスト読み上げには、以下を検討してください：

• 外部TTSサービス (ElevenLabs、OpenAIなど) の使用
• 外部ローカルTTSソリューション (PythonベースのTTS、システムTTS API、またはその他の非ONNXローカルソリューション) の使用
• Runtime Text To Speech プラグインをサポートする標準モデルまたはムード対応リアリスティックモデルの代わりに使用

ムード対応リアリスティックモデル

1. Runtime Text To Speech を使用してテキストから音声を生成
2. Runtime Audio Importer を使用して合成されたオーディオをインポート
3. インポートされたサウンドウェーブを再生する前に、その OnGeneratePCMData デリゲートにバインド
4. バインドされた関数内で、Mood-Enabled Lip Sync Generator の ProcessAudioData を呼び出す
5. テキスト内容または希望する感情表現に基づいてムード設定を構成

コピー可能なノード.

ムード統合を伴うTTS:

• TTS生成の前または最中に適切なムードを設定
• テキストの感情的なトーンに合わせてムード強度を調整
• 長いテキストコンテンツの異なるセクションに対して異なるムードを使用

ストリーミング

このアプローチでは、ストリーミング音声合成とリアルタイムのリップシンクを使用します：

標準モデル

1. Runtime Text To Speech を使用してテキストからストリーミング音声を生成
2. Runtime Audio Importer を使用して合成されたオーディオをインポート
3. ストリーミングサウンドウェーブを再生する前に、その OnGeneratePCMData デリゲートにバインド
4. バインドされた関数内で、Runtime Viseme Generator から ProcessAudioData を呼び出す

コピー可能なノード。

リアリスティックモデル

ローカルTTSの互換性

Runtime Text To Speech プラグインによって提供されるローカルTTSは、ONNXランタイムの競合により、通常のリアリスティックモデルでは現在サポートされていません。通常のリアリスティックモデルでのテキスト読み上げには、以下を検討してください：

• 外部TTSサービス (ElevenLabs、OpenAIなど) の使用
• 外部のローカルTTSソリューション (PythonベースのTTS、システムTTS API、またはその他の非ONNXローカルソリューション) の使用
• Runtime Text To Speech プラグインをサポートする標準モデルまたはムード対応リアリスティックモデルの代わりに使用

ムード対応リアリスティックモデル

1. Runtime Text To Speech を使用してテキストからストリーミング音声を生成
2. Runtime Audio Importer を使用して合成されたオーディオをインポート
3. ストリーミングサウンドウェーブを再生する前に、その OnGeneratePCMData デリゲートにバインド
4. バインドされた関数内で、Mood-Enabled Lip Sync Generator から ProcessAudioData を呼び出す
5. 必要に応じてストリーミング中にムード設定を動的に調整

コピー可能なノード。

Text-to-Speech (外部API)

通常

このアプローチでは、Runtime AI Chatbot Integrator プラグインを使用して、AIサービス（OpenAI または ElevenLabs）から合成音声を生成し、リップシンクを実行します：

標準モデル

1. Runtime AI Chatbot Integrator を使用して、外部API（OpenAI、ElevenLabsなど）からテキストで音声を生成します
2. Runtime Audio Importer を使用して、合成されたオーディオデータをインポートします
3. インポートされたサウンドウェーブを再生する前に、その OnGeneratePCMData デリゲートにバインドします
4. バインドされた関数内で、Runtime Viseme Generator から ProcessAudioData を呼び出します

コピー可能なノード。

リアリスティックモデル

リアリスティックモデルは、標準モデルと同じオーディオ処理ワークフローを使用しますが、VisemeGenerator の代わりに RealisticLipSyncGenerator 変数を使用します。

コピー可能なノード。

ムード対応リアリスティックモデル

ムード対応モデルは同じオーディオ処理ワークフローを使用しますが、MoodMetaHumanLipSyncGenerator 変数と追加のムード設定機能を使用します。

コピー可能なノード。

ストリーミング

このアプローチでは、Runtime AI Chatbot Integrator プラグインを使用して、AIサービス（OpenAI または ElevenLabs）から合成されたストリーミング音声を生成し、リップシンクを実行します：

標準モデル

1. Runtime AI Chatbot Integrator を使用して、ストリーミングTTS API（ElevenLabs Streaming APIなど）に接続します
2. Runtime Audio Importer を使用して、合成されたオーディオデータをインポートします
3. ストリーミングの音声波形を再生する前に、その OnGeneratePCMData デリゲートにバインドします
4. バインドされた関数内で、Runtime Viseme Generator から ProcessAudioData を呼び出します

コピー可能なノード。

リアリスティックモデル

リアリスティックモデルは、標準モデルと同じオーディオ処理ワークフローを使用しますが、VisemeGenerator の代わりに RealisticLipSyncGenerator 変数を使用します。

コピー可能なノード。

ムード対応リアリスティックモデル

ムード対応モデルは同じオーディオ処理ワークフローを使用しますが、MoodMetaHumanLipSyncGenerator 変数と追加のムード設定機能を使用します。

コピー可能なノード。

オーディオファイル/バッファから

このアプローチでは、事前に録音されたオーディオファイルまたはオーディオバッファを使用してリップシンクを行います：

標準モデル

1. Runtime Audio Importer を使用して、ディスクまたはメモリからオーディオファイルをインポートします
2. インポートしたサウンドウェーブを再生する前に、その OnGeneratePCMData デリゲートにバインドします
3. バインドされた関数内で、Runtime Viseme Generator の ProcessAudioData を呼び出します
4. インポートしたサウンドウェーブを再生し、リップシンクアニメーションを確認します

コピー可能なノード。

リアリスティックモデル

リアリスティックモデルは、標準モデルと同じオーディオ処理ワークフローを使用しますが、VisemeGenerator の代わりに RealisticLipSyncGenerator 変数を使用します。

コピー可能なノード。

ムード対応リアリスティックモデル

ムード対応モデルは同じオーディオ処理ワークフローを使用しますが、MoodMetaHumanLipSyncGenerator 変数と追加のムード設定機能を使用します。

コピー可能なノード。

ストリーミングオーディオバッファ

ストリーミングオーディオデータをバッファから処理するには、以下が必要です：

標準モデル

1. ストリーミングソースから利用可能な float PCM フォーマット（浮動小数点サンプルの配列）のオーディオデータ（または Runtime Audio Importer を使用してより多くのフォーマットをサポート）
2. サンプルレートとチャンネル数
3. オーディオチャンクが利用可能になるたびに、Runtime Viseme Generator の ProcessAudioData をこれらのパラメータで呼び出します

コピー可能なノード。

リアリスティックモデル

リアリスティックモデルは、標準モデルと同じオーディオ処理ワークフローを使用しますが、VisemeGeneratorの代わりにRealisticLipSyncGenerator変数を使用します。

コピー可能なノード。

ムード対応リアリスティックモデル

ムード対応モデルは同じオーディオ処理ワークフローを使用しますが、MoodMetaHumanLipSyncGenerator変数と追加のムード設定機能を備えています。

コピー可能なノード。

注意: ストリーミングオーディオソースを使用する場合は、歪んだ再生を避けるために、オーディオ再生のタイミングを適切に管理してください。詳細はストリーミングサウンドウェーブのドキュメントを参照してください。

処理パフォーマンスのヒント

• チャンクサイズ: より応答性の高いリップシンクのためにオーディオデータを小さなチャンクで処理したい場合は、SetNumSamplesPerChunk関数の計算を調整してください。例えば、サンプルレートを100で割る（10msごとにストリーミング）代わりに150で割る（約6.67msごとにストリーミング）と、より頻繁なリップシンクの更新が行われます。

• バッファ管理: ムード対応モデルは320サンプルのフレーム（16kHzで20ms）でオーディオを処理します。最適なパフォーマンスを得るために、オーディオ入力のタイミングがこれに合うようにしてください。

• ジェネレーターの再作成: リアリスティックモデルで信頼性の高い操作を行うためには、非アクティブ期間の後に新しいオーディオデータを供給したい場合、毎回ジェネレーターを再作成してください。

次のステップ

オーディオ処理の設定が完了したら、以下のことも検討してください：

• リップシンクの動作を微調整するための設定オプションについて学ぶ
• 表現力を高めるために笑いアニメーションを追加する
• 設定ガイドで説明されているレイヤリング技術を使用して、既存の顔面アニメーションとリップシンクを組み合わせる