NVIDIA Blackwell GPUの非対称ハードウェアスケーリングに対応したFlashAttention-4が登場。完全非同期MMA・softmax最適化・CuTe-DSL Python実装により、cuDNN比1.3倍・Triton比2.7倍の高速化を実現した仕組みを解説します。
推論候補解を粒子として扱い、PRM（プロセス報酬モデル）のスコアで逐次洗練するアルゴリズム「PRISM」を解説します。gpt-oss-20bでAIME25 90.0%・GPQA Diamond 71.4%を達成し、6倍大きなモデルと同等の性能を計算効率よく実現。
拡散言語モデル（DLM）が並列デコードを謳いながら自己回帰的に収束する根本原因を特定。訓練データの逐次的構造が問題と診断し、独立推論軌跡を使うNAP手法でGSM8Kの256ステップ精度を14.4ポイント改善しました。
LLMの強化学習訓練で問題となるポリシー陳腐化に対処するVESPOを解説します。変分定式化と分散削減を統合した閉形式カーネルにより、gbs/mbs=64という極端な条件でもGRPOを14ポイント上回る安定訓練を実現します。
大規模推論モデルの「overthinking」問題を解決するBFS-POを解説。最大エントロピーノードでバックトラッキングし、最短正解パスを探索することでDAPO比1.37倍の高速化と精度向上を同時に達成した強化学習手法を紹介します。
Qwenチームが開発した初の大規模オープンWebシミュレータ「WebWorld」を解説。106万件のWeb操作データで訓練され、WebArenaで+9.2%改善しGPT-4o相当の性能を達成した仕組みと成果を紹介します。
StepFun社のオープンモデル「Step 3.5 Flash」を解説。110億の活動パラメータのみでGPT-5.2やGemini 3.0 Proに匹敵する性能を達成。スパースMoE設計と強化学習の革新に迫ります。
ユーザーの好みに合わせてLLMの出力を調整する新手法TPOを提案 テスト時にユーザーのフィードバックを活用し、損失関数を用いた出力の最適化 TPOは再トレーニング不要でコスト削減を実現しながら競争力を持つ性能 論文：Te […]
本記事で使用している画像は論文中の図表、またはそれを参考に作成した画像を使用しております。 本論文の概要 この論文では、Mixture-of-Experts (MoE) モデルの学習における「Load-balancing […]
本記事で使用している画像は論文中の図表、またはそれを参考に作成した画像を使用しております。 本論文の概要 この論文では、より高度なLLM（大規模言語モデル）の推論能力を育成するための新たなアプローチとして「Mind Ev […]
本記事で使用している画像は論文中の図表、またはそれを参考に作成した画像を使用しております。 本論文の概要 本論文では、大規模な基盤モデル「MiniMax-01」シリーズを紹介し、特にTransformerベースのアテンシ […]
Transformerの注意機構を再設計する新手法「Tensor Product Attention（TPA）」を解説。テンソル分解によりKVキャッシュのメモリ使用量を大幅削減し、モデルの軽量化を実現する仕組みを紹介します。
ゴールドマン・サックスがClaude AIを会計業務に導入 — 金融AI活用の最前線
NVIDIAが日本語特化LLM「Nemotron 2 Nano 9B」を公開 — ソブリンAI実現に向けた性能を解説
AIエージェントフレームワーク比較【2026】LangGraph・CrewAI・OpenAI Agents SDKの選び方
開発者向け検索AI「Phind 2」登場、視覚的検索強化！
Step 3.5 Flashとは？110億パラメータでGPT-5.2級の性能を達成したオープンモデル
AI-Papers
