rinna、Meta社「Llama 3 8B」の日本語能力を拡大する継続事前学習モデル「Llama 3 Youko 8B」を公開

rinna株式会社は、2024年5月7日、Meta社のLLM（大規模言語モデル）「Llama 3 8B」の日本語継続事前学習モデル「Llama 3 Youko 8B」を開発したと発表した。

「Llama 3 Youko 8B」は、「Llama 3」が持つ高いテキスト生成能力を日本語環境でも十二分に活かせるよう、220億トークンにおよぶ日本語／英語の学習データを用いて継続事前学習を行ったモデルだ。「Meta Llama 3 Community License」を継承する形で既に公開されており、「Llama 3」の日本語へのいち早く導入を可能にしている。

＜本ニュースの10秒要約＞

• 「Llama 3」が持つ高いテキスト生成能力を日本語環境でも活かす「Llama 3 Youko 8B」
• アリババ社「Qwen」やMeta社「Llama 2」の日本語事前学習も手がけてきたrinnaが開発
• 220億トークンの日本語／英語データで継続事前学習を実施、カスタムLLMの開発も容易に

「人とAIの共創世界」を目指すrinna

rinnaは、「人とAIの共創世界（Co-creation world between humans and AI）」というビジョンに掲げてAI事業を手がける企業だ。テキスト／音声／画像／動画などを生成するAIモデルの研究開発や人工知能によるデータ分析を強みとし、また研究成果である各種AI技術を活用したビジネスソリューションの開発／提供も展開。フラグシップAI「りんな」の技術から生み出したAIキャラクターの展開などにも取り組んでいる。

同社はまた、世界中のAI技術を共有する形での開発も進めており、日本語のタスクに適した「GPT」「BERT」「Stable Diffusion」などの事前学習済み基盤モデルを多数公開。高いテキスト生成能力を持つものの、学習データの大多数が英語であるために日本語性能が十分ではないLLMにも着目し、アリババ社「Qwen」やMeta社「Llama 2」の日本語事前学習を行ってきた経緯も持つ。「Llama 3 Youko 8B」も、こうした経緯から開発と公開に至った。

「Llama 3」の生成性能を日本語に引き継ぐことに成功

「Llama 3 Youko 8B」は、「Llama 3」の80億パラメータ版である「Llama 3 8B」に対して、日本語／英語の学習データ220億トークンを用いて継続事前学習を行ったAIモデルとなる。英語と比較すると十分な性能を発揮することができなかった「Llama 3」について、日本が英語圏の進展に追随できるよう、早い段階で公開された。なおモデル名「Youko」の由来は、妖怪「妖狐（ようこ）」に由来する。

同モデルは、日本語の生成機能において高い性能を持つ。日本語言語モデルの性能を評価するベンチマーク「Stability-AI/lm-evaluation-harness」の9タスク平均スコアは、「Llama 3」が59.82であるのに対して「Llama 3 Youko 8B」は66.15をマーク。「Llama 3」が持つ優れた生成性能を日本語に引き継ぐことに成功した。

「Llama 3 Youko 8B」は、「Meta Llama 3 Community License」を継承する形で公開され、このライセンスに従って利用することが可能だ。rinnaは同モデルを汎用的なベースモデルとしており、利用時にはファインチューニングやモデルマージの実施を推奨している。

カスタムLLMの開発／提供において大きな力になると自負

最近のAI技術は劇的な進化を遂げており、特にテキスト生成技術は「ChatGPT」の登場によって誰もが気軽に利用できるほどに浸透した。しかし、さらなる低コスト化やセキュリティ強化などを図るためには、利用目的に則したカスタムLLMの開発・運用が今後は重要となる。

こうしたカスタムLLMの開発／提供においてrinnaは、「Llama 3 Youko 8B」が大きな力になると自負。今後も、AIの社会実装を進めるために研究開発を続けると共に、研究成果の公開や製品への導入にも取り組むとしている。

参照元：PRTIMES

LLMについて詳しく知りたい方はこちらの記事もご参考ください。