Audexとは？テキスト性能を保ちながら音声認識・TTS・音声生成を統合したNVIDIAのマルチモーダルLLM

NVIDIAが提案するAudexは、音声認識・翻訳・TTS・音声生成を単一のTransformerで処理し、LibriSpeech test-cleanでWER 1.4%を達成したマルチモーダルLLM
157.4Bの音声トークンと320.5Bのテキストトークンを用いた多段階学習に加え、Cascade強化学習とオンポリシー蒸留でテキスト推論能力の劣化を最小化
HuggingFace（Nemotron-Labs）でCC-BY-4.0ライセンスのモデル重みが公開済みで、研究者が自由に利用・改変できる

研究の背景

大規模言語モデル（LLM）の発展に伴い、音声・画像・テキストを統合して扱うマルチモーダルなシステムへの関心が高まっています。音声の分野では、音声認識（ASR）・音声翻訳・テキスト読み上げ（TTS）・音声生成など、目的の異なる複数のタスクを別々のモデルが担うのが従来の構成でした。

この分業体制では、パイプラインが複雑になるだけでなく、タスク間での知識共有も難しいという課題があります。一方で、一つのLLMに全タスクを統合しようとすると、音声データとテキストデータの分布が大きく異なるため、既存のテキスト推論能力が損なわれかねません。推論コストの増大も避けられないため、実用上の重大なトレードオフが生じていました。

NVIDIAの研究チームはこの問題を正面から取り上げ、音声タスクを追加してもテキスト性能をほぼ維持する統合アーキテクチャの構築に取り組みました。その成果として発表されたのが、Audex（Nemotron-Labs-Audex-30B-A3B）です。

提案手法：Audexの設計

AudexはMoE（Mixture-of-Experts）ベースのTransformerデコーダーを採用し、30Bのパラメータのうち推論時にアクティブになるのは3Bという効率的な構成です。音声入力はテキストの埋め込み空間にエンコードされ、モデル内部ではテキストと統一的に処理されます。この設計により、アーキテクチャを大幅に改造することなく音声能力を付与できる点が特徴です。

学習には157.4Bの音声トークンと320.5Bのテキストトークンという大規模なデータを使用し、多段階の教師あり学習でまず各タスクの基礎能力を確立します。その後、以下の2種類の高度な学習手法でさらに性能を引き上げます。

1つ目の手法がCascade強化学習（Cascade RL）です。テキスト推論タスクに対して報酬信号を設計し、音声データの学習によって生じるテキスト性能の劣化を積極的に補正します。音声タスクとテキストタスクを段階的に切り替えながら強化学習を行うことで、両者のバランスを保つ仕組みです。通常の強化学習では単一のタスクに偏りが生じやすいところ、Cascade RLでは段階的な報酬設計によってその偏りを制御しています。

2つ目がオンポリシー蒸留（On-Policy Distillation）です。学習中にモデル自身が生成したサンプルを蒸留の対象とし、音声タスクにおける出力品質を継続的に改善します。既存の教師モデルに固定された蒸留とは異なり、モデルが自ら学習データを更新するため、話者の多様性や録音環境の変動といった多様な音声ドメインへの適応が容易になります。

実験結果

音声認識の標準ベンチマークであるLibriSpeechでは、test-cleanでWER（単語誤り率）1.4%、test-otherで2.8%を達成しました。これは既存の専用ASRシステムに匹敵する水準であり、汎用LLMとして設計されたモデルが音声認識単体でも最高水準に到達できることを示しています。

音声翻訳の大規模ベンチマークであるCoVoST-2では、英語からドイツ語へのBLEUスコアが28.2、英語からフランス語で34.5、英語からスペイン語で29.8を記録しました。複数言語ペアにわたって既存の専用翻訳モデルと同等以上の結果を示しており、単一モデルによるマルチタスク処理の実用性を裏付けています。

テキスト能力については、MMLUをはじめとする複数のベンチマークで、ベースとなるテキストLLMとほぼ同等のスコアを維持していることが報告されています。NVIDIAはNemotronシリーズの大規模モデル開発で培った知見を活かし、音声統合後のテキスト性能劣化を最小限に抑えることに成功しました。

まとめと今後の展望

AudexはHuggingFace（Nemotron-Labs/Audex）にCC-BY-4.0ライセンスで公開されており、研究者や開発者が自由に利用・改変できます。音声認識・翻訳・TTS・音声生成・音声間変換という5種類の音声タスクを単一モデルで処理しながら、テキスト推論能力をほぼ維持する点が実用上の大きな価値です。

今後の課題としては、より多くの言語への対応拡大や、リアルタイム処理に向けたレイテンシの低減が考えられます。また、ツール呼び出しや複数ステップの計画を伴うエージェント型AIシステムへの統合においても、Audexの設計は有力な基盤となりうるでしょう。音声インターフェースとテキスト推論が同一モデルで共存することで、より自然なヒューマン・エージェント間の対話が実現に近づくと期待されます。