Sakana AI、小規模高性能日本語モデル発表！

Sakana AI、高性能小規模言語モデル「TinySwallow-1.5B」発表
最新技術「TAID」でLLMの知識を効率的にSLMへ転移
オフライン対応の「ChatUI Local」提供、利便性向上

※ AIによる要約

Sakana AIは、2025年2月4日、高性能ながらも小規模な日本語言語モデル「TinySwallow-1.5B」を発表。

このモデルは、最新の知識蒸留技術「TAID（Temporally Adaptive Interpolated Distillation）」を活用して開発され、同規模のモデルの中で最高水準の性能を達成。

この度、新手法「TAID」を用いて学習された小規模日本語言語モデル「TinySwallow-1.5B」を公開しました。https://t.co/U7qpbz2BgL

私たちは、大規模言語モデル（LLM）の知識を効率的に小規模モデルへ転移させる新しい知識蒸留手法「TAID (Temporally Adaptive Interpolated… pic.twitter.com/OUCy71ho42
— Sakana AI (@SakanaAILabs) January 30, 2025

Sakana AIが開発した「TAID」技術では、LLMが持つ知識をSLMへ効率的に転移させる新たな手法を採用。SLMの学習進度に応じて段階的に「中間教師」を設定し、スムーズに高度な知識を吸収させることで、計算資源を抑えつつ高い性能を実現。

「TinySwallow-1.5B」は、約32Bパラメータを持つLLMから、1.5BパラメータのSLMへ知識を転移することで構築。その結果、日本語言語モデルのベンチマークにおいて、同規模のモデルの中で最高性能を達成したと報告されています。

また、スマートフォンやPCにも対応しており、ウェブアプリ「TinySwallow ChatUI」では、APIを介さずにブラウザ上で直接モデルを動作させることが可能。さらに、ネットワーク接続なしで使用できる「TinySwallow ChatUI Local」も提供されており、Pythonベースのインターフェースを通じてオフライン環境でも利用できる利便性を備えているとのこと。

この「TinySwallow-1.5B」のモデルデータは、現在「Hugging Face Hub」で公開されており、誰でも利用可能です。