AI-Papers
- Meta社、700億パラメータの言語モデル「Llama 3.3 70B Instruct」を発表
- 公開データセットと1,000万件の人間注釈で訓練し、多様なタスクで高性能を実現
- 英語を中心に30以上の言語をサポートし、コード生成やテキスト生成にも対応
※ AIによる要約
Meta社は、新たな大規模言語モデル「Llama 3.3 70B Instruct」を発表。
このモデルは700億パラメータを持ち、指示タスクに特化した設計がされているとのこと。公開されている指示データセットと、1,000万件を超える人間注釈データを活用することで、多様なタスクで高い性能を発揮。
特に複数ターンの会話では優れた能力を示し、他のオープンソースモデルと比較しても優位性が確認されています。
As we continue to explore new post-training techniques, today we're releasing Llama 3.3 — a new open source model that delivers leading performance and quality across text-based use cases such as synthetic data generation at a fraction of the inference cost. pic.twitter.com/BNoV2czGKL
— AI at Meta (@AIatMeta) December 6, 2024
例として、Smaug-Llama-3-70B-Instructは、MT-BenchというベンチマークでGPT-4-Turboに匹敵する性能を記録。このモデルは英語を中心に30以上の言語をサポートしており、特に英語での性能が際立っています。
さらに、コード生成やテキスト生成の分野でも高い能力を発揮し、ユーザーの多様なニーズに応えることが可能。
また、Meta社は商業利用におけるライセンス条件を明確にしており、月間アクティブユーザーが7億人を超える企業は、事前にMeta社の許可を得る必要があります。このライセンス条件は、商業用途での適切な利用促進を図っているとのこと。
Llama 3.3 70B Instructは、最新技術と大規模なデータセットの融合により、あらゆるタスクで高い性能を提供する注目のモデルです。
