最終更新日：2024-04-19

Meta社、競合モデルを凌駕する性能を持つLLM「Llama 3」をオープンソースとして公開

AIニュース

米Meta社は、2024年4月18日（現地時間）、オープンソースのLLM（大規模言語モデル）として「Llama 3」を発表した。

「Llama 3」は、競合モデルを上回る能力を持ち、コーディング／歴史的知識といった面で特に優れた性能を発揮するというLLMだ。80億パラメータ／700億パラメータの事前トレーニング済みモデル2種が用意され、同社の生成AIアシスタント「Meta AI」は既にこの「Llama 3」を搭載している。

＜本ニュースの10秒要約＞

コーディング／歴史的知識といった面で特に優れた性能を発揮する「Llama 3」
トレーニング用データセットは「Llama 2」の7倍、推論などの能力が大幅向上
Meta社の生成AI「Meta AI」には既に搭載、クラウドサービスでも提供開始予定

3点において最新の知見を導入

Meta社は、現在入手可能な最高モデルと同じレベルの能力を備えたオープンモデルのLLMを実現すべく、「Llama 3」の構築に取り組んだ。開発に際しては、「モデルアーキテクチャーの革新」「事前学習のスケールアップ」「ポストトレーニング手順の改善」という3点において最新の知見を導入している。

モデルアーキテクチャについては、比較的標準的なデコーダーのみの「Transformer」を選択し、より効率的な言語エンコードが可能な128,000トークンの語彙を持つトークナイザーも使用。また、推論効率を向上させるためにグループ化クエリアテンション (GQA) も採用している。

事前学習についても多額の投資を行い、公開済みソースから収集された15Tを越えるトークンでのトレーニングを遂行。トレーニング用データセットの規模は「Llama 2」の7倍にまで増大し、
多言語ユースケースに備えるべくその5％以上が非英語データで構成されている。またトレーニングの効率は、「Llama 2」と比較して約3倍向上した。

トレーニング後のアプローチは、教師あり微調整（SFT）／拒否サンプリング／近接ポリシー最適化（PPO）／直接ポリシー最適化（DPO）を組み合わせた形で実施。PPO／DPO を介した優先ランキングからの学習によって、「Llama 3」の推論／コーディングタスクにおける能力は大幅に向上した。誤った拒否率の大幅な減少も実現し、モデルの応答の多様性も増加している。

競合モデルをしのぐ性能を発揮

「Llama 3」開発においてMeta社は、現実世界のシナリオに合わせたパフォーマンスの最適化も実施。この最適のために同社は、「アドバイスを求める」「ブレーンストーミング」「コーディング」「推論」「クリエイティブライティング」「書き直し」「要約」など12の主要なユースケースをカバーする1,800のプロンプトを含んだ人間評価セットも新たに開発した。

こうして開発された「Llama 3」は、幅広い業界ベンチマークで最先端のパフォーマンスを実証し、推論の改善といった新機能の提供も実現。80億パラメータ／700億パラメータの2モデルは、それぞれ競合する「Mistral 7B」「Gemma 7B」「Gemini Pro 1.5」「Claude 3 Sonnet」をしのぐ性能を発揮したと、Meta社は自負している。

コミュニティと協力しながら性能向上を図る

「Llama 3」の開発についてMeta社は、同モデルをオープンソースとして公開することによってコミュニティと協力しながら性能向上を図る意思を表明。また安全性については、責任ある開発／配備のためにシステムレベルのアプローチを行い、問題のある回答を出さないよう継続的なモデルのチューニングを行うとしている。

「Llama 3」は、Meta社の生成AIアシスタント「Meta AI」には既に搭載されており、AWS（Amazon Web Services）やGoogle Cloudといったクラウドサービスでの提供開始も予定。AMD／Dell／Intel／NVIDIAといったメーカーのハードも、サポートを予定している。

参照元：Meta

LLMについて詳しく知りたい方はこちらの記事もご参考ください。