AI-Papers
- 線形計算量のKDAとグローバル注意のMLAを融合し、Wan-2.1 2B比で最大7.3倍の学習計算効率を達成した
- HeteroPで異なる規模へハイパーパラメータを転移し、画像と動画のChinchilla型スケーリング則を導出した
- 5秒学習から30秒動画へゼロショット外挿しても、FID劣化はわずか6.5%にとどまり長尺生成の実用性を示した
研究の背景
近年の高品質な画像や動画の生成には、Transformerをベースにした拡散モデルが広く使われています。ただしTransformerの中核である全注意（すべてのトークン同士の関係を計算する仕組み）は、扱うトークン数の2乗に比例して計算コストが増える性質があります。
動画は1フレームだけでも多数のトークンを必要とし、それが時間方向に何十フレームも積み重なります。そのため高解像度や長尺の動画を生成しようとすると、計算量とメモリ消費が急激に膨れ上がり、学習も推論も現実的でなくなってしまいます。
この論文が提案するChimeraは、計算量を抑える複数の仕組みを1つのバックボーンに組み合わせ、さらに大規模モデルの設計指針となるスケーリング則まで体系的に導いた点に特徴があります。効率的な動画生成をどう設計しスケールさせるか、その全体像を扱った研究です。
3種類の注意を役割分担
Chimeraは、テキストのトークンとノイズを加えた視覚トークンを1本の系列にまとめて処理する、単一ストリームの潜在拡散Transformerです。各ブロックの中で、計算の役割を3つの仕組みに分担させている点が設計の要になります。
1つ目はKimi Delta Attention（KDA）です。これはトークン数に比例する線形計算量（O(N)）で長い文脈を追跡できる線形注意で、系列が長くなっても計算コストが2乗に膨らみません。2つ目はMulti-head Latent Attention（MLA）で、離れたトークン同士の大域的な相互作用を担当します。
3つ目が、KDAの処理の前に置かれるモダリティ対応短畳み込み（mShortConv）です。これは各モダリティが本来もつ幾何構造に沿って局所的な文脈を混ぜ合わせる役割を果たします。従来手法が1次元の短畳み込みに複数方向のスキャンを組み合わせて空間を捉えていたのに対し、Chimeraは単一のスキャンパターンで空間と時間の局所性をまとめて扱えるよう工夫しています。
これらの注意層はおおむねKDAとMLAを3対1の比率で配置し、線形注意で大部分を処理しつつ、要所で大域的な注意を効かせる構成になっています。
フィードフォワード部分にはスパースなMixture-of-Experts（MoE、複数の専門家ネットワークから一部だけを選んで使う仕組み）を採用し、計算量を抑えたまま総パラメータ数を拡張しています。学習時には補助損失を使わずに専門家間の負荷を分散させる工夫を入れており、これによって特定の専門家に処理が偏る崩壊を防いでいます。
HeteroPとスケーリング則
大規模モデルを設計するとき、小規模で見つけた学習率などの設定をそのまま大規模へ持ち込めると、試行錯誤のコストを大きく減らせます。しかしChimeraのように性質の異なる層が混在するハイブリッド構造では、単純な転移がうまくいきません。
そこで著者らはHeteroPと呼ぶ手法を導入しました。これは各テンソルへの入力数（ファンイン）とモデルの深さに基づいてハイパーパラメータを調整し、幅や深さが変わっても安定して設定を引き継げるようにするものです。これにより異種構造でも小規模から大規模への信頼できる転移が可能になります。
さらに著者らは、学習に使う計算量に対して最適なモデルサイズと学習データ量の配分を求める、Chinchilla型のスケーリング則を画像と動画の両方について導出しました。興味深いのは、画像と動画のデータ混合比に関する分析です。画像側の損失を最適化する比率は計算量の増加とともに4対1から3対1へゆっくり移り、動画側の損失を最適化する比率は動画を最も多く含む1対1のまま安定するという傾向が示されました。
実験結果
Chimeraは総パラメータ11B、そのうち実際に活性化するのは2Bという構成で学習されています。同規模で条件をそろえた比較では、密結合版のバックボーンだけでもWan-2.1の2Bベースライン比で約1.7倍の計算効率を示し、MoEなどを含む完全な構成では7.3倍の効率に達しました。
長い系列を扱う場面での利点も明確です。KDAを主体とした構成は、トークン数が増えてもメモリ消費と処理遅延の伸びが全注意型のバックボーンよりゆるやかで、長尺動画の生成に向いています。この効率性は、生成の高速化を狙う並列デコード蒸留のような推論高速化の研究とは異なり、バックボーン設計そのものから計算量を削減する点に特徴があります。
特に注目されるのが、長さの外挿性能です。5秒の動画で学習したモデルを、追加学習なしにそのまま30秒の動画生成へ拡張しても、後半5秒間の画質指標であるFID（生成画像の分布と実画像の分布の近さを測る指標）の劣化はわずか6.5%にとどまりました。動画の時間的品質を測るFVDについても同様に破綻しにくい傾向が確認されています。学習時間の6倍に相当する長さへゼロショットで外挿できることは、実運用での柔軟性を大きく高めます。
生成品質の面でも、4Kや2K解像度の画像をゼロショットで生成できることや、81フレームのテキストから動画への生成が示されており、効率性と品質を両立していることがうかがえます。
まとめと今後の展望
Chimeraは、線形注意のKDA、大域注意のMLA、局所処理のモダリティ対応畳み込みを役割分担させ、さらにMoEとスケーリング則を組み合わせることで、効率的な視覚拡散Transformerを設計から体系立てた研究です。Wan-2.1比7.3倍の計算効率と、長尺動画へのゼロショット外挿という実用的な成果を示しました。
一方で、報告されている性能の多くは比較的低い解像度での動画評価に基づいており、高解像度かつ長尺の動画を同時に高品質で生成できるかは、今後さらに検証が求められる部分です。線形注意とハイブリッド構造の組み合わせは大域的な整合性の維持に課題を残す可能性もあります。それでも、計算コストを抑えつつ動画生成をスケールさせる具体的な設計指針を提示した点で、効率的な生成モデルの研究に有用な土台を与える成果だといえます。
