楽天グループ、日本語に最適化したLLMの基盤モデル「Rakuten AI 7B」をオープンモデルとして公開

楽天グループ株式会社は、2024年3月21日、日本語に最適化したLLM（大規模言語モデル）の基盤モデル「Rakuten AI 7B」をオープンモデルとして公開した。

「Rakuten AI 7B」は、仏Mistral AI社のオープンモデル「Mistral-7B-v0.1」を基にして開発された日本語基盤モデルだ。楽天グループは今回、「Rakuten AI 7B」を基にしたインストラクションチューニング済モデル「Rakuten AI 7B Instruct」とチャットモデル「Rakuten AI 7B Chat」も、併せてオープンモデルとして公開している。

＜本ニュースの10秒要約＞

• Mistral AI社モデルを基に開発された70億パラメータの基盤モデル「Rakuten AI 7B」
• 日本語に最適化された形態素解析器を使用、事前学習や推論のテキスト処理が効率的
• インストラクションチューニング済モデルなども含めて、オープンモデルとして公開

AI領域の研究開発を進めてきた楽天グループ

楽天グループは、顧客の課題解決に向けてテクノロジーの活用に取り組んでおり、その中で多様なAIモデルやデータサイエンス／機械学習モデルといった領域の研究開発も進めてきた。特にAIについては、「AI化」を意味する造語「AI-nization」をテーマとして掲揚し、活用の取り組みを推進している。

また同社は、LLMが昨今のAI革命を引き起こした生成AI（ジェネレーティブAI）を支える中核のテクノロジーと考え、研究目的での開発も推進。社内においてモデルを実際に開発することでLLMの知識と専門性を高め、コスト／品質／性能の面で様々な顧客ニーズを解決するツールの提供を進めるとともに、楽天エコシステム（経済圏）をサポートするモデルの作成も目指している。

同社が今回公開した「Rakuten AI 7B」も、こうした取り組みの一環として開発された。

「LM Evaluation Harness」の基準においても高い評価を実証

「Rakuten AI 7B」は、フランスのAIスタートアップであるMistral AI社のオープンモデル「Mistral-7B-v0.1」を基に開発された、70億パラメータの日本語基盤モデルだ。インターネット上に存在する膨大な日本語／英語のデータによって「Mistral-7B-v0.1」の事前学習を繰り返し、またフィルタリング機能とアノテーション作業によって、さらなる高性能を実現した。

「Rakuten AI 7B」はまた、日本語の言語に最適化された独自の形態素解析器を使用している点も特徴となっている。形態素解析器は、文章をトークンと呼ばれる小さな単位に分割するプログラムのことであり、楽天グループではこの形態素解析器においてトークンあたりの文字数を増加。従来の形態素解析器と比較すると、事前学習や推論のテキスト処理をより効率的に行うことができる。

「Rakuten AI 7B」の日本語性能は、言語モデル評価ツール「LM Evaluation Harness」においても高い評価を獲得した。同ツールは「Rakuten AI 7B」の日本語性能について、平均69.8ポイントと判定。オープンな日本語LLMとして優れたモデルであることが、明らかになった。

オープンソースコミュニティと共有、日本語LLMの開発と発展に貢献

「Rakuten AI 7B」の公開と同時に楽天グループは、「Rakuten AI 7B」にファインチューニングを施したモデルで「Rakuten AI 7B Instruct」と、「Rakuten AI 7B Instruct」基にして開発したチャットモデル「Rakuten AI 7B Chat」も、オープンモデルとして公開した。「Rakuten AI 7B Instruct」も日本語性能は高く、「LM Evaluation Harness」では平均77.3ポイントのスコアを獲得している。

楽天グループは今後、同社が得た知見を「Rakuten AI 7B」の開発を通じてオープンソースコミュニティと共有し、日本語LLMのさらなる開発と発展に貢献するとしている。

参照元：PRTIMES

LLMについて詳しく知りたい方はこちらの記事もご参考ください。基盤モデルとは？代表的なモデルは？こちらの記事で詳しく説明していますので併せてご覧ください。

関連記事：「日本語特化LLMおすすめ徹底解説！なぜChatGPTだけでは不十分？現状と今後の期待」