67モデル・21プロバイダの実験から、全LLMが同時に失敗する確率βが組み合わせシステムの性能上限を決定することが判明。ペアワイズ相関はこの上限を2.5倍過小評価していました。
LLM推論を高速化する投機的デコーディングの根本的な限界を克服した「JetFlow」が登場。ツリー因果注意マスクにより、MATH-500で最大9.64倍の高速化を達成しています。
RoPE（回転位置エンコーディング）の数学的構造を活かしKVキャッシュをブロック単位で量子化するBlock-GTQを解説。MAE（平均絶対誤差）を32〜80%削減し、fp16比3.24倍の圧縮と1.34倍の高速化を両立します。
ByteDance Seedが開発したiLLaDA 8Bは、完全双方向Attentionと12兆トークン学習でLLaDAをBBH+21.6点で大幅に上回り、自己回帰型Qwen2.5 7Bと競合水準を達成した拡散型言語モデルです。
静的な埋め込みモデルの限界を超え、逐次更新される潜在メモリで文脈に応じた動的ベクトルを生成する「EvoEmbedding」を解説。Qwen3-Embedding-8Bなど大規模モデルを凌ぎ、RAGやエージェント記憶に直接応用できます。
Uniform Diffusion LMを7Bパラメータ・1.5兆トークンでフルスクラッチ訓練し、知識・推論・コーディングで自己回帰モデルと同等性能を実証した初の大規模研究を紹介します。
7BパラメータのループTransformer「LoopCoder-v2」が2ループ動作でSWE-bench Verified 64.4点を達成しました。ループ3回以上で性能が逆に低下する非単調効果の仕組みを解説します。
トランスフォーマーの均一幅設計を問い直す「>＜former」を解説。×字型アーキテクチャとパラメータ不要の残差リサイジングにより、FLOPs 22%・KVキャッシュ 15%削減を達成します。
フル再計算のレイテンシが文脈長とともに最大17.6倍に膨らむのに対し、KVEraserはわずか24%の増加のみで同等精度を実現する局所消去手法です。ICML 2026 Workshop Oral採択。
NVIDIAが公開したMoE×Mambaハイブリッドの大規模言語モデル「Nemotron 3 Ultra」を解説。550億パラメータながら推論スループットが最大6倍に向上した仕組みを詳しく紹介します。
LLMエージェントの長期記憶を「検索」から「能動的な再構成」へ転換するMRAgentを解説します。Cue-Tag-ContentグラフとLLMによる多段階推論で、LoCoMoで23.3%、LongMemEvalで約32.8%の精度改善とトークン削減を同時に達成しました。
ICML 2026採択。軽量な予測ネットワークがLLMの各レイヤーをスキップ・反復する「Program-of-Layers（PoLar）」を動的生成し、訓練不要で数学推論の精度と計算効率を同時に改善する手法を解説します。
Agents-A1とは？35Bモデルで1兆パラメータ超の性能を達成するエージェント水平スケーリング
Mage-Flowとは？4Bで1024px画像を0.59秒生成する基盤モデル
プロンプトエンジニアリングとは？主要手法の仕組みと使い方
LLMはなぜ日本文化に偏る？ 欧州研究が明かすAIの隠れた文化バイアス
PP-OCRv6: わずか34Mパラメータで235B超の大規模VLMを超えた軽量OCRシステム
AI-Papers
