サイバーエージェントが225億パラメータの超LLM（大規模言語モデル）「CyberAgentLM3」を無償公開

2024年7月、株式会社サイバーエージェントは、225億パラメータの日本語LLM（大規模言語モデル）「CyberAgentLM3」を公開した。このモデルはスクラッチで開発され、LLMの日本語能力を評価するNejumi LLM リーダーボード3によると、700億パラメータのMeta-Llama-3-70B-Instructと同等の性能を示している。

2023年5月の初代モデル公開以来、継続的な改良を重ねてきた成果だ。Apache License 2.0で提供され、商用利用も可能となっており、日本の自然言語処理技術の発展に大きく貢献することが期待されている。

＜本ニュースの10秒要約＞

• サイバーエージェントが225億パラメータの日本語LLM「CyberAgentLM3」を開発し、無償公開。商用利用も可能
• スクラッチ開発のオープンな日本語LLMとしてトップクラスの性能を実現。700億パラメータモデルと同等の能力を発揮
• 継続的なモデル改良と公開を通じて、国内の自然言語処理技術の発展に貢献。産学連携にも注力

CyberAgentLM3の技術的特徴と性能

CyberAgentLM3は、サイバーエージェントがスクラッチから開発した225億パラメータの日本語LLM（大規模言語モデル）だ。既存モデルをベースにせず、独自に開発されたこのモデルは、日本語LLMの性能評価基準であるNejumi LLMリーダーボード3において、700億パラメータのMeta-Llama-3-70B-Instructと同等の性能を示している。

これは、オープンな日本語LLMとしてはトップクラスの成績だ。モデルの規模が約3分の1でありながら、同等の性能を発揮できているという点は特筆に値する。

CyberAgentLM3の公開と利用方法

CyberAgentLM3は、Apache License 2.0のもとで公開されており、商用利用も可能だ。この決定は、日本のAI技術の発展と産業界での活用を促進することを目的としている。

モデルはHugging Faceのプラットフォーム上で公開されており、研究者や開発者は自由にアクセスし、利用することができる。さらに、サイバーエージェントはデモページも公開しており、モデルの性能を直接体験することも可能だ。

サイバーエージェントのAI戦略と今後の展望

サイバーエージェントは2023年5月に初代のCyberAgentLMを公開して以来、継続的にモデルの改良と公開を行ってきた。2023年11月にはバージョン2を、2024年6月には視覚機能を付与したVLM（大規模視覚言語モデル）を公開するなど、着実に技術を進化させている。

これらのモデルは同社の「極予測AI」などのサービスにも活用されており、研究と実用の両面で成果を上げている。今後も、LLMの開発とビジネス活用を進めるとともに、産学連携などの取り組みを通じて、国内における自然言語処理技術の発展に貢献していく方針だ。

参照元：サイバーエージェント公式サイト