AI-Papers
- オンポリシー蒸留で生徒が序盤に推論を誤り最後まで引きずる「prefix failure」を、教師と生徒の継続挙動の差から検出する
- 教師が要所だけ一時的に引き継ぐ軌跡リレー方式で修正し、生成トークンのわずか0.35%が教師由来で済む
- Qwen3-1.7Bで標準OPD比+5.73%を達成し、学習軌跡長を50%以上短縮、GitHubでコードも公開されている
研究の背景
大規模言語モデル（Large Language Model、LLM）の推論能力を小型モデルへ引き継ぐ手法として、オンポリシー蒸留（On-Policy Distillation、OPD）が注目されています。これは、生徒モデル自身が生成した推論の道筋に対して、教師モデルがトークン単位でお手本を与えて学習させるやり方です。生徒が実際にたどる文脈の上で指導するため、生徒が自力で解く力を伸ばしやすいという利点があります。
ただし、この方式には見過ごせない弱点がありました。生徒モデルは推論の序盤で方向を誤ると、その誤った前提を引きずったまま最後まで書き進めてしまいます。本論文ではこの現象を「prefix failure」（前半の失敗）と呼んでいます。誤った出だしのまま長い推論を続けても、その大部分は学習の役に立たない無駄なトークンになってしまうのです。
従来の対策として、生徒の生成を決まった長さで打ち切るFastOPDのような手法もありました。しかしこれは、実際にどこで推論が破綻したかとは関係なく機械的に途中で切ってしまうため、失敗からの立て直しを学ばせることができませんでした。自己蒸留の工夫を扱ったVCSDのような蒸留手法とは異なり、教師と生徒の間で「いつ」「どこで」介入すべきかという問いが未解決のまま残されていたのです。
継続挙動の差に着目
本論文の出発点は、失敗した前半部分に対する教師と生徒の反応の違いにあります。著者らはこれを「continuation asymmetry」（継続挙動の非対称性）と名付けました。同じ誤った文脈が与えられたとき、教師モデルは「But」「Wait」「However」といった振り返りを促すトークンを選び、推論の向きを修正しようとします。一方で生徒モデルは、そのまま誤った方向に沿って書き進めようとするのです。
この差こそが、生徒が軌道修正を必要としている合図になります。明示的に「ここが間違い」というラベルを付けなくても、教師と生徒の次トークンの好みを比べるだけで、介入すべき地点を見つけられるという発想です。
提案手法Relay-OPD
提案手法のRelay-OPDは、この非対称性を手がかりに教師が要所だけ一時的にバトンを引き継ぐ仕組みです。核となるのが「handoff trigger」（引き継ぎの合図）で、次の条件が満たされたときに教師が介入します。教師が最も選びたいトークンが振り返り系のトークンに含まれ、なおかつ生徒の上位K個（K=5）の候補にはそうしたトークンが一つも入っていない、という状況です。
この条件はあらゆる細かな違いで発動するわけではなく、教師が明確に方向転換したいのに生徒が気づいていない、本当の食い違いだけを選んで捉えます。合図が出ると教師が短く生成を担当し、その後すぐに生徒へ制御を返します。こうして生徒の軌跡と教師の軌跡が交互に並ぶ「relay trajectory」（リレー軌跡）が組み立てられるのです。
介入の範囲は「relay budget」（引き継ぎの予算）と呼ばれる2つの値で制御します。Mは教師が引き継げる最大回数（既定値2回）、Lは1回の引き継ぎで教師が生成する段落数（既定値3段落、1段落あたり約23.2トークン）です。この控えめな設定により、最終的に教師が生成するトークンは全体のわずか0.35%に収まりながら、精度を大きく押し上げます。
効率的な実装の工夫
教師と生徒を切り替えながら生成すると、モデルを行き来する手間で処理が重くなりそうに思えます。Relay-OPDはこれを避けるため、生成の全工程を1つの投機的デコーディング（speculative decoding）エンジンにまとめました。投機的デコーディングとは、小さいモデルが素早く下書きを作り、大きいモデルがまとめて検証する高速化技術です。
ここでは生徒を下書きモデル、教師を検証モデルとして使います。生徒が担当する区間では生徒の下書きをそのまま受け入れ、教師が担当する区間では通常の検証を行います。うまい点は、検証のときに計算する教師のロジット（各トークンの選ばれやすさ）が、そのまま教師の好みと引き継ぎ判定の材料も兼ねることです。介入すべき地点の判定を追加コストなしで得られるため、余計な計算を発生させずに済みます。
実験結果
実験では教師にQwen3-4B-Instruct-2507を用い、生徒として0.6Bと1.7Bの小型モデルを訓練しました。8種類の数学推論ベンチマークで評価した結果、1.7Bモデルにおいて標準的なOPDと比べて+5.73%、打ち切り型のFastOPDと比べても+1.49%の性能向上を確認しています。
効率の面でも成果が明確です。学習に使う軌跡の長さを50%以上短縮できました。誤った出だしを長々と書き続ける無駄が減るため、同じ計算資源でより多くの有効な学習ができることになります。以下の表に主な結果をまとめます。
比較対象 | 1.7Bモデルでの精度差 | 特徴 |
|---|---|---|
標準OPD | +5.73% | 生徒だけの軌跡で学習、prefix failureに弱い |
FastOPD | +1.49% | 固定長で打ち切り、立て直しを学べない |
難関の数学コンテストであるHMMT（2026年2月版・2025年11月版）を対象としたPass@k評価でも、Relay-OPDは標準OPDを上回りました。Pass@kは、k回まで解答を試したときに正解を含められる割合を測る指標です。さまざまなサンプリング予算にわたって一貫して高い成績を示しており、複数回試したときの当たりやすさでも優位が確認されています。
学習の動きと考察
訓練の経過を追うと、Relay-OPDの適応的な性質がよく見えてきます。教師が生成するトークンの割合は学習開始時こそ約13%ありますが、およそ20ステップで急速に下がり、2〜3%で落ち着きます。生徒が上達するにつれて教師の助けが要らなくなっていく様子がうかがえます。
引き継ぎ予算を使い切る軌跡の割合も、序盤の75〜85%から50〜60%へと徐々に減っていきました。さらに、方策のエントロピー（生成の多様さ）は最初の60ステップで標準OPDやFastOPDより高く保たれます。教師の介入が生徒のたどる文脈を変えることで、生徒の探索の幅が広がるためだと説明されています。
一方で課題も残ります。振り返りトークンを合図に使う仕組みは、そうした語彙を持つモデルや数学推論のようなタスクでは効きやすいものの、他の領域でどこまで一般化するかは今後の検証が必要です。引き継ぎ予算や上位Kの値といったハイパーパラメータの調整も、タスクに応じた見極めが求められます。
まとめと今後の展望
Relay-OPDは、オンポリシー蒸留の弱点だったprefix failureに対して、教師が要所だけバトンを引き継ぐという直感的な解決策を示しました。誤りを明示的に判定するラベルを必要とせず、教師と生徒の継続挙動の差だけで介入地点を見つける点が新規性の中心です。投機的デコーディングによる一体化した実装で、追加コストを抑えながら効率化を両立させています。
小型の推論モデルを低コストで訓練したい場面で、この手法は実用的な選択肢になり得ます。コードはGitHub（zju-real/Relay-OPD）で公開されており、再現性が確保されている点も評価できます。数学以外の領域への応用や、他の教師と生徒の組み合わせでの効果検証が、今後の発展の焦点になりそうです。
