ELYZA、グローバルモデルにも匹敵する700億パラメータの日本語LLM「ELYZA-japanese-Llama-2-70b」開発

株式会社ELYZAは、2024年3月12日、700億パラメータの日本語LLM（大規模言語モデル）「ELYZA-japanese-Llama-2-70b」を開発したと発表した。

同社は、東京大学松尾研究室の知見を活かしてLLMの社会実装に取り組む企業だ。「ELYZA-japanese-Llama-2-70b」は、グローバルモデルにも匹敵する性能を持つLLMであり、同社はこのモデルを含むLLM群を「ELYZA LLM for JP」シリーズとして提供を開始する。

＜本ニュースの10秒要約＞

• グローバルモデルに匹敵するLLMを目指して開発された「ELYZA-japanese-Llama-2-70b」
• 「Llama 2 70B」をベースとする700億パラメータのLLMとして開発、他の日本語LLMを凌駕
• 「AI橋渡しクラウド」で学習、グローバルモデル以外の新たなAI選択肢を企業に提供へ

グローバルモデルに大きな差をつけられていた国内モデル

2022年11月にOpenAI社の「ChatGPT」が登場して以来、LLMは「国家／企業の競争優位の源泉になりうる技術」と広く認識されるようになった。OpenAI社に加えてGoogle社／Anthropic社／Meta社といった米国企業を筆頭として、様々なプレイヤーがモデル開発を推進している。

こうした動きに対抗すべく日本国内においても、2023年からは大手ITベンダーを中心に70億／130億パラメータのLLMを開発。国もLLM開発に予算を割り当て、国産LLM開発プロジェクト「GENIAC」などを通じて開発を支援してきた。その一方で、2023年末時点における国内モデルの性能は、グローバルプレイヤーが開発するモデルに未だ大きな差をつけられている。

先端技術の研究開発とコンサルティングによって言語生成AIの導入実装を推進しているELYZAは、国内でグローバルモデルに匹敵する水準のLLMを開発する必要があると判断。今回の「ELYZA-japanese-Llama-2-70b」開発に至った。

グローバルモデルに匹敵するレベルに到達、他の日本語LLMを凌駕

「ELYZA-japanese-Llama-2-70b」は、Meta社の基盤モデル「Llama 2 70B」をベースとして開発された、700億パラメータの日本語LLMだ。その性能は、OpenAI社の「GPT-3.5 Turboシリーズ」やAnthropic社の「Claude 2シリーズ」、Google社の「Gemini 1.0 Pro」といったグローバルモデルに匹敵するレベルに到達。また、同じ「Llama 2 70B」をベースとする他の日本語LLMの性能も凌駕し、国内モデルの中では最高レベルのLLMとなった。

同じ「Llama 2 70B」をベースとする他の日本語LLMより「ELYZA-japanese-Llama-2-70b」が優れた性能を発揮した点についてELYZAは、同社独自の事後学習による部分が大きいと自負。なお「ELYZA-japanese-Llama-2-70b」の学習は、産業技術総合研究所の計算インフラストラクチャ「AI橋渡しクラウド」の第2回「大規模言語モデル構築支援プログラム」を利用して行われている。

グローバルモデル以外の新たな選択肢として開発／展開

ELYZAは今後、「ELYZA-japanese-Llama-2-70b」を含むLLM群を「ELYZA LLM for JP」シリーズとして、提供する予定だ。このシリーズのターゲットとして同社は、セキュリティやカスタマイズ性を重視する企業や、自社サービス／事業にLLMを組み込みたい企業などを想定。グローバルモデル以外の新たな選択肢として、「ELYZA LLM for JP」シリーズの開発／展開に取り組むとしている。

同社は「ELYZA LLM for JP」のサービスを、2024年春以降に順次提供を開始する予定だ。また「ELYZA-japanese-Llama-2-70b」については、チャット形式のデモサイトを既に公開している。

参照元：PRTIMES

AI開発会社をお探しの方はこちらのプロ厳選会社紹介記事もご参考ください。

関連記事：「日本語特化LLMおすすめ徹底解説！なぜChatGPTだけでは不十分？現状と今後の期待」