オーディオ処理ガイド

このガイドでは、リップシンクジェネレーターにオーディオデータを供給するためのさまざまなオーディオ入力方法の設定方法について説明します。先にセットアップガイドを完了していることを確認してください。

オーディオ入力処理

オーディオ入力を処理する方法を設定する必要があります。オーディオソースに応じて、いくつかの方法があります。

マイク (リアルタイム)

このアプローチでは、マイクに向かって話しながらリアルタイムでリップシンクを実行します：

標準モデル

1. Runtime Audio Importerを使用してキャプチャ可能なサウンドウェーブを作成します
   • Pixel Streamingを使用するLinuxの場合、代わりにPixel Streaming Capturable Sound Waveを使用します
2. オーディオキャプチャを開始する前に、OnPopulateAudioDataデリゲートにバインドします
3. バインドされた関数内で、Runtime Viseme GeneratorからProcessAudioDataを呼び出します
4. マイクからのオーディオキャプチャを開始します

コピー可能なノード。

リアリスティックモデル

リアリスティックモデルは、標準モデルと同じオーディオ処理ワークフローを使用しますが、VisemeGeneratorの代わりにRealisticLipSyncGenerator変数を使用します。

コピー可能なノード。

ムード対応リアリスティックモデル

ムード対応モデルは同じオーディオ処理ワークフローを使用しますが、MoodMetaHumanLipSyncGenerator変数と追加のムード設定機能を使用します。

コピー可能なノード。

マイク (再生)

このアプローチでは、マイクからオーディオをキャプチャし、リップシンクとともに再生します：

標準モデル

1. Runtime Audio Importerを使用してキャプチャ可能なサウンドウェーブを作成します
   • Pixel Streamingを使用するLinuxの場合、代わりにPixel Streaming Capturable Sound Waveを使用します
2. マイクからのオーディオキャプチャを開始します
3. キャプチャ可能なサウンドウェーブを再生する前に、そのOnGeneratePCMDataデリゲートにバインドします
4. バインドされた関数内で、Runtime Viseme GeneratorからProcessAudioDataを呼び出します

コピー可能なノード。

リアリスティックモデル

リアリスティックモデルは、標準モデルと同じオーディオ処理ワークフローを使用しますが、VisemeGeneratorの代わりにRealisticLipSyncGenerator変数を使用します。

コピー可能なノード。

ムード対応リアリスティックモデル

ムード対応モデルは同じオーディオ処理ワークフローを使用しますが、MoodMetaHumanLipSyncGenerator変数と追加のムード設定機能を使用します。

コピー可能なノード。

テキスト読み上げ (ローカル)

通常

このアプローチでは、ローカルTTSを使用してテキストから音声を合成し、リップシンクを実行します：

標準モデル

1. Runtime Text To Speechを使用してテキストから音声を生成します
2. Runtime Audio Importerを使用して合成されたオーディオをインポートします
3. インポートされたサウンドウェーブを再生する前に、そのOnGeneratePCMDataデリゲートにバインドします
4. バインドされた関数内で、Runtime Viseme GeneratorからProcessAudioDataを呼び出します

コピー可能なノード。

リアリスティックモデル

リアリスティックモデルは、標準モデルと同じオーディオ処理ワークフローを使用しますが、VisemeGeneratorの代わりにRealisticLipSyncGenerator変数を使用します。

コピー可能なノード。

ムード対応リアリスティックモデル

ムード対応モデルは同じオーディオ処理ワークフローを使用しますが、MoodMetaHumanLipSyncGenerator変数と追加のムード設定機能を使用します。

コピー可能なノード。

ストリーミング

このアプローチでは、ストリーミングテキスト読み上げ合成とリアルタイムリップシンクを使用します：

標準モデル

1. Runtime Text To Speechを使用してテキストからストリーミング音声を生成します
2. Runtime Audio Importerを使用して合成されたオーディオをインポートします
3. ストリーミングサウンドウェーブを再生する前に、そのOnGeneratePCMDataデリゲートにバインドします
4. バインドされた関数内で、Runtime Viseme GeneratorからProcessAudioDataを呼び出します

コピー可能なノード。

リアリスティックモデル

リアリスティックモデルは、標準モデルと同じオーディオ処理ワークフローを使用しますが、VisemeGeneratorの代わりにRealisticLipSyncGenerator変数を使用します。

コピー可能なノード。

ムード対応リアリスティックモデル

ムード対応モデルは同じオーディオ処理ワークフローを使用しますが、MoodMetaHumanLipSyncGenerator変数と追加のムード設定機能を使用します。

コピー可能なノード。

テキスト読み上げ (外部API)

通常

このアプローチでは、Runtime AI Chatbot Integratorプラグインを使用してAIサービス（OpenAIやElevenLabsなど）から合成音声を生成し、リップシンクを実行します：

標準モデル

1. Runtime AI Chatbot Integratorを使用して、外部API（OpenAI、ElevenLabsなど）を介してテキストから音声を生成します
2. Runtime Audio Importerを使用して合成されたオーディオデータをインポートします
3. インポートされたサウンドウェーブを再生する前に、そのOnGeneratePCMDataデリゲートにバインドします
4. バインドされた関数内で、Runtime Viseme GeneratorからProcessAudioDataを呼び出します

コピー可能なノード。

リアリスティックモデル

リアリスティックモデルは、標準モデルと同じオーディオ処理ワークフローを使用しますが、VisemeGeneratorの代わりにRealisticLipSyncGenerator変数を使用します。

コピー可能なノード。

ムード対応リアリスティックモデル

ムード対応モデルは同じオーディオ処理ワークフローを使用しますが、MoodMetaHumanLipSyncGenerator変数と追加のムード設定機能を使用します。

コピー可能なノード。

ストリーミング

このアプローチでは、Runtime AI Chatbot Integratorプラグインを使用してAIサービス（OpenAIやElevenLabsなど）から合成ストリーミング音声を生成し、リップシンクを実行します：

標準モデル

1. Runtime AI Chatbot Integratorを使用して、ストリーミングTTS API（ElevenLabs Streaming APIなど）に接続します
2. Runtime Audio Importerを使用して合成されたオーディオデータをインポートします
3. ストリーミングサウンドウェーブを再生する前に、そのOnGeneratePCMDataデリゲートにバインドします
4. バインドされた関数内で、Runtime Viseme GeneratorからProcessAudioDataを呼び出します

コピー可能なノード。

リアリスティックモデル

リアリスティックモデルは、標準モデルと同じオーディオ処理ワークフローを使用しますが、VisemeGeneratorの代わりにRealisticLipSyncGenerator変数を使用します。

コピー可能なノード。

ムード対応リアリスティックモデル

ムード対応モデルは同じオーディオ処理ワークフローを使用しますが、MoodMetaHumanLipSyncGenerator変数と追加のムード設定機能を使用します。

コピー可能なノード。

オーディオファイル/バッファから

このアプローチでは、事前に録音されたオーディオファイルまたはオーディオバッファを使用してリップシンクを実行します：

標準モデル

1. Runtime Audio Importerを使用して、ディスクまたはメモリからオーディオファイルをインポートします
2. インポートされたサウンドウェーブを再生する前に、そのOnGeneratePCMDataデリゲートにバインドします
3. バインドされた関数内で、Runtime Viseme GeneratorからProcessAudioDataを呼び出します
4. インポートされたサウンドウェーブを再生し、リップシンクアニメーションを観察します

コピー可能なノード。

リアリスティックモデル

リアリスティックモデルは、標準モデルと同じオーディオ処理ワークフローを使用しますが、VisemeGeneratorの代わりにRealisticLipSyncGenerator変数を使用します。

コピー可能なノード。

ムード対応リアリスティックモデル

ムード対応モデルは同じオーディオ処理ワークフローを使用しますが、MoodMetaHumanLipSyncGenerator変数と追加のムード設定機能を使用します。

コピー可能なノード。

ストリーミングオーディオバッファ

ストリーミングオーディオデータをバッファから使用するには、以下が必要です：

標準モデル

1. ストリーミングソースから利用可能なfloat PCM形式（浮動小数点サンプルの配列）のオーディオデータ（またはRuntime Audio Importerを使用してより多くの形式をサポート）
2. サンプルレートとチャンネル数
3. オーディオチャンクが利用可能になるたびに、これらのパラメータを使用してRuntime Viseme GeneratorからProcessAudioDataを呼び出します

コピー可能なノード。

リアリスティックモデル

リアリスティックモデルは、標準モデルと同じオーディオ処理ワークフローを使用しますが、VisemeGeneratorの代わりにRealisticLipSyncGenerator変数を使用します。

コピー可能なノード。

ムード対応リアリスティックモデル

ムード対応モデルは同じオーディオ処理ワークフローを使用しますが、MoodMetaHumanLipSyncGenerator変数と追加のムード設定機能を使用します。

コピー可能なノード。

注意： ストリーミングオーディオソースを使用する場合は、歪んだ再生を避けるためにオーディオ再生タイミングを適切に管理してください。詳細についてはストリーミングサウンドウェーブのドキュメントを参照してください。

処理パフォーマンスのヒント

• チャンクサイズ：より応答性の高いリップシンクのために、より小さなチャンクでオーディオデータを処理したい場合は、SetNumSamplesPerChunk関数の計算を調整してください。例えば、サンプルレートを100（10ミリ秒ごとにストリーミング）ではなく150（約6.67ミリ秒ごとにストリーミング）で割ると、より頻繁なリップシンク更新が提供されます。

• バッファ管理：ムード対応モデルは320サンプルのフレーム（16kHzで20ミリ秒）でオーディオを処理します。最適なパフォーマンスのために、オーディオ入力のタイミングがこれに合うようにしてください。

• ジェネレーターの再作成：リアリスティックモデルで信頼性の高い操作を行うには、非アクティブ期間の後に新しいオーディオデータを供給したい場合は、ジェネレーターを再作成してください。

次のステップ

オーディオ処理を設定したら、以下を行うことができます：

• リップシンクの動作を微調整するための設定オプションについて学ぶ
• 表現力を高めるために笑いアニメーションを追加する
• 設定ガイドで説明されているレイヤリング技術を使用して、既存の顔面アニメーションとリップシンクを組み合わせる