PKSHA Technology、新技術「RetNet」を世界で初めて活用した日英LLMを開発。4月から実運用へ

株式会社PKSHA Technologyは、2024年3月28日、新技術「RetNet（Retentive Network）」を世界で初めて活用した日英LLM（大規模言語モデル）を開発したと発表した。

PKSHA Technologyは、AIソリューションの開発などを手がける企業だ。「RetNet」は学習速度と長文入力時の推論速度が優れた新技術であり、同社はこの「RetNet」を用いたLLM開発を日本マイクロソフト株式会社より技術支援を受けて推進。同年4月以降に運用を開始し、コンタクトセンターや社内ヘルプデスクにおける生産性向上を支援するとしている。

＜本ニュースの10秒要約＞

• 「Transformer」の後継としての期待も高い新技術「RetNet」を、世界初活用
• 学習速度と長文入力時の推論速度が優れ、従来モデルの約3.3倍速で出力が可能
• 2024年4月頃よりコンタクトセンターや社内ヘルプデスクで生産性向上を支援

新技術「RetNet」を活用して先進的なAIを開発

PKSHA Technologyは、自社開発した機械学習／ディープラーニング領域のアルゴリズムを用いたAIソリューションの開発やAI SaaSの提供を行う企業だ。自然言語処理技術を用いた自動応答や画像／動画認識、予測モデルなど多岐にわたる技術をベースとしてサービスを展開し、AIによるビジネスの課題解決をリードしている。

同社は、2022年11月の「ChatGPT」登場によって生成AIの進化が加速し、国内外でも様々なモデルの研究／開発が進んでいることに注目。一方で、既に公開されているLLMはその大半が基盤となるアーキテクチャに「Transformer」を使用していることにも着目し、さらに先進的なAIを開発すべく、新技術である「RetNet」を活用したLLMを開発するに至った。

効率的な長文理解と優れた回答速度を両立

「RetNet」は、米Microsoft社の研究開発機関であるMicrosoft Researchによって開発された新技術だ。学習速度と長文入力時の推論速度が優れており、従来と同等以上の精度を持つことも示されている。また「RetNet」はメモリ効率も優れているため、従来モデルよりも少ないGPUで運用することが可能。コスト面でも「Transformer」より優れており、「Transformer」の後継としての期待も高い。

この「RetNet」のアーキテクチャを使用することでPKSHA Technologyは、効率的な長文理解と優れた回答速度を両立する日英対応のLLMを実現した。モデルの開発にはMicrosoft社のディープラーニングフレームワーク「DeepSpeed」を採用し、日本マイクロソフトから提供されたLLM学習ノウハウなども活用。70億パラメータのモデルとして開発されたこのLLMは、日本語の新聞紙2ページの情報量を入力した場合、従来モデルの約3.3倍におよぶ速度で出力が可能となっている。

2024年4月頃よりビジネス現場での実運用を開始

「RetNet」を用いて開発したLLMについてPKSHA Technologyは、コンタクトセンターや社内ヘルプデスク領域での活用を想定している。コンタクトセンターではCRMのリアルタイム提供による顧客満足度の向上を、社内ヘルプデスク領域では従業員問い合わせの高度化を、それぞれ実現。同社がこれまで両領域にて手がけてきたに6,000件以上のAI活用の実績も活かし、同LLMの活用を進める予定だ。

今後同社は、同LLMのさらなる検証と改善を行った後、2024年4月頃より段階的にビジネス現場での実運用を開始する。

参照元：PRTIMES

LLMについて詳しく知りたい方はこちらの記事もご参考ください。