日本語性能世界最高レベル！Preferred Networks、エッジデバイス向け小規模言語モデル「PLaMo Lite」を提供開始

株式会社Preferred Networks（PFN）は2024年8月28日、子会社のPreferred Elements（PFE）が開発した小規模言語モデル（SLM）「PLaMo Lite」の提供を開始したと発表した。PLaMo Liteは、自動車やロボット、製造設備、PCなどのエッジデバイス上で高速に動作可能なSLMで、10億パラメータの小型モデルながら、日本語性能評価において世界最高レベルの性能を示している。

クラウドを介さずにエッジデバイスやオンプレミス環境で利用できる点が特徴で、今秋予定の大規模言語モデルPLaMo 1.0 Primeの提供に先駆けてリリースされた。

＜本ニュースの10秒要約＞

• Preferred Networks、エッジデバイス向け小規模言語モデル「PLaMo Lite」の提供を開始
• 10億パラメータの小型モデルながら、日本語性能評価で世界最高レベルの性能を実現
• クラウドを介さずエッジデバイスやオンプレミス環境で高速動作が可能、秋にはLLMも提供予定

PLaMo Liteの特徴と性能

PLaMo Liteは、PFEがフルスクラッチで開発した1000億パラメータのLLM（大規模言語モデル）PLaMo-100Bの成果を基に構築された10億パラメータの小型モデルだ。大規模モデルと比較して計算コストを大幅に削減しつつ、高い性能を実現している。

特筆すべき点は、その日本語性能だ。PLaMo Liteは、日本語性能を評価する各種ベンチマークにおいて、同程度のパラメータ数のSLMと比べて圧倒的に高い性能を示している。さらに、Jaster 0-shotおよび4-shotsにおいては、よりパラメータ数の大きなLLMと比較しても遜色ない評価を得ている。

この高い性能の背景には、事前学習データの質と量がある。PLaMo Liteの事前学習には、PLaMo-100Bで生成した日本語と英語の高品質なテキストデータを使用し、PLaMo-100Bの事前学習データの2倍となる合計4兆トークンを学習させている。これにより、小規模ながら高い言語理解能力と生成能力を獲得している。

PLaMo Liteの用途と展開

PLaMo Liteは、クラウドを介さずにエッジデバイス上や企業の自社オンプレミス環境で高速に動作することができる。この特性により、自動車、ロボット、製造設備、PCのような用途での活用が期待される。これらの用途において、PLaMo Liteは高速な応答性と高い日本語性能を両立し、ユーザー体験の向上やプロセスの効率化に貢献することが期待される。

また、PFNグループでは、PLaMo Liteの提供を皮切りに、今秋には大規模言語モデルPLaMo 1.0 Primeの提供も予定している。これにより、エッジからクラウドまで、様々な環境や用途に対応した言語モデルのラインナップを揃えることになる。

PLaMoシリーズの展開と今後の方針

PLaMo（プラモ）は、PFNグループが独自に開発する生成AI基盤モデルのシリーズだ。現在、以下のようなラインナップが展開されている：

1. PLaMo-100B：1000億パラメータのマルチモーダル基盤モデル
2. PLaMo β版：期間限定で無料トライアル中の大規模言語モデル
3. PLaMo Lite：今回発表されたエッジデバイス向け小規模言語モデル
4. PLaMo 1.0 Prime：今秋販売予定の法人向け大規模言語モデル

PFNグループは、今後もLLM、SLM、業界特化型モデル、マルチモーダル基盤モデルなど、様々な産業ニーズに対応したモデルの開発を進めていく方針だ。これにより、生成AI基盤モデルの社会実装を推進し、日本の産業の技術革新に貢献することを目指している。

AI Market の見解

PLaMo Liteの登場は、日本の生成AI市場に大きなインパクトを与える可能性がある。特に、エッジデバイスでの高性能な日本語処理を実現した点は注目に値する。これにより、プライバシー保護が必要な環境や、リアルタイム性が求められる用途での日本語AIの活用が加速すると予想される。

技術的には、大規模モデルの知識を小規模モデルに効率的に転移させる手法が用いられており、今後のAIモデルの軽量化研究にも影響を与えるだろう。また、日本語に特化したモデル開発により、日本市場での競争力を高めている点も評価できる。

ビジネス面では、エッジAIの需要が高まる中、PLaMo Liteは多くの産業分野で採用される可能性がある。特に自動車産業や製造業での活用が期待され、日本企業の国際競争力向上にも寄与する可能性がある。

今後は、PLaMo Liteの実際の導入事例や性能評価結果が注目される。また、秋に予定されているPLaMo 1.0 Primeとの連携や、他社の類似サービスとの差別化戦略も市場に大きな影響を与えるだろう。PFNグループの一連の取り組みは、日本のAI産業全体の底上げにつながる可能性があり、その動向を注視する必要がある。

参照元：Preferred Networks

LLMについて詳しく知りたい方はこちらの記事もご参考ください。