OpenELMとは？Apple社の狙いや商用利用可否、始め方・メリット・注意点を徹底紹介！

2024年4月24日、Apple社からOpenELMと呼ばれるオープンソースのLLM（大規模言語モデル）が発表されました。

OpenELMは、iPhoneでもスムーズに稼働する軽量型のLLMです。LLMの多くが膨大なリソースを必要とし、ハイスペックなGPU環境やクラウド環境に利用が限定されていた中で、OpenELMはより身近にLLMを利用できる可能性を切り開いています。

本記事では、OpenELMの商用利用の可否や始め方、活用することで得られるメリット、さらには導入時に注意すべきポイントまで包括的に紹介します。OpenELMやLLMの導入を検討している企業担当者は必見です。

関連記事：「LLMとは？ChatGPTとの違い・企業活用事例・種類・導入方法」

【完全無料】LLMに強い会社・サービスが見つかる

今年度LLM相談急増中！紹介実績1,000件超え！

・ご相談からご紹介まで完全無料
・AIのプロが最適な会社を選定
・お客様満足度96.8%超
・GPT、Claude、Gemini、Llama等の複数モデルに対応

完全無料・最短1日でご紹介 AIのプロに紹介してもらう

LLMの導入支援ができるAI開発会社について知りたい方はこちらで特集していますので併せてご覧ください。

OpenELMとは？

OpenELMは、Apple社がリリースしたiPhoneをはじめとするモバイルデバイスでも稼働できる軽量なLLMです。エッジLLMとしての活用が期待されています。

500B（5000億）を超えるパラメータを持つLLMも多い中で、OpenELMは「270M・450M・1.1B・3B」の小規模なパラメータ構成のシリーズが提供されています。その点で、Microsoft社のPhiシリーズ同様、SLM（小規模言語モデル）とも言えます。

しかし、性能は十分で、実際に行われたベンチマークでは同規模のモデルよりも高性能な推論結果を示しています。

OpenELMが省リソースで高性能を実現できたのは、トランスフォーマーモデルの設計が大きく関係しています。具体的には、入力に近い層ではパラメータ数を少なくし、出力に近い層では多くする設計を採用することで、モデル全体のパラメータ利用効率を向上させ、精度向上に成功しました。

iPhoneへの搭載も想定されるOpenELM

OpenELMはiPhoneなどのAppleデバイスでの活用を想定しており、推論やファインチューニングのために「MLXライブラリ」に対応した変換コードも同時に公開されています。

具体的には、270M、または450Mモデルを以下のようなAppleデバイス上で利用可能です。

• モバイル機器
• スマートウォッチ
• AR眼鏡
• スマートホームデバイス
• 車載機器

上記のデバイスに搭載できるようになったことで、Apple社のハードウェアを活用したLLMソリューション開発のハードルが大幅に下がりました。

例えば、スマートフォンでは高精度な自然言語処理や音声認識を実現し、AR眼鏡ではリアルタイムでの言語翻訳や画像認識が可能となります。また、スマートホームでは、スマートスピーカーやIoTデバイスにおいて自然な対話機能を提供することが期待されています。

このように、OpenELMはハードウェアとソフトウェアの開発を簡便化し、これまで以上に高度なLLMを小型デバイスに統合することを可能にします。

したがって、OpenELMによってLLMがより実用的な存在となり、あらゆる人々の日常やビジネスを変えることになるでしょう。

他のオープンLLMとOpenELMの違い

以下の表にて、競合の軽量オープンソースLLMであるMobiLlamaとOLmoの特徴や推論精度をOpenELMと比較しました。

参照：arXiv：OpenELM: An Efficient Language Model Family with Open Training and Inference Framework

上記の比較からも言えるように、OpenELMは幅広いデバイスでの適用と精度のバランスが優れているLLMです。それぞれはパラメータのサイズや機能性が異なるため、ニーズやタスクに合わせて選ぶと良いでしょう。

OpenELMのほかにスマートフォンで活用できるモデル

エッジデバイス×AI（人工知能）のニーズ増加に伴い、スマートフォンをはじめとするエッジデバイスでの自然言語処理に活用できるエッジLLMが増えてきています。

以下が代表的なエッジLLMです。

• Llama 3.2 1B/3B：Meta社が提供する高速かつ省メモリ稼働でモバイルデバイス環境特化型のLLM
• OpenELM：Apple社がリリースしたiPhoneで動作するオープンソースのLLM
• TinyLlama-1.1B：エッジデバイス向けに最適化されたオープンソースLLM
• Gemma-2B：Google社が開発した、大規模データ処理に対応しつつ、分散型エッジ環境での推論に最適化されたモデル
• Phiシリーズ：Microsoft社のSLMで、スケーラビリティと効率性を両立する。サイズと特化目的の異なるPhi-1、Phi-1.5、Phi-2、Phi-3、Phi-3.5、Phi-4がある。
• tsuzumi-7B：NTTグループが開発した独自の産業用に特化した日本語LLM。NTT SPEKTRAによるクラウドとエッジデバイス間でのモデル転送による連携が特徴

用途に応じて適切なモデルを選定することで、エッジコンピューティング導入の成功につながります。

【完全無料】LLMに強い会社・サービスが見つかる

今年度LLM相談急増中！紹介実績1,000件超え！

・ご相談からご紹介まで完全無料
・AIのプロが最適な会社を選定
・お客様満足度96.8%超
・GPT、Claude、Gemini、Llama等の複数モデルに対応

完全無料・最短1日でご紹介 AIのプロに紹介してもらう

OpenELMのメリット

OpenELMは、性能や活用上においてさまざまなメリットがあります。以下では、他のLLMと比較しながらOpenELMのメリットを紹介します。

柔軟性

他のエッジデバイス向けのLLMシリーズでは、特定のモデルサイズのみなどモデル展開が限定的です。一方、OpenELMは豊富なパラメータサイズのバリエーションを提供しており、さまざまなエッジデバイスに対応可能です。

具体的には、以下のような幅広いパラメータサイズが展開されています。

• 270M
• 450M
• 1B
• 3B

これにより、スマートフォンやタブレットといった比較的性能が限られるデバイスから、高性能なエッジデバイスまで、それぞれのスペックに合わせて最適なモデルを選択できます。

例えば、低スペックのデバイスでは軽量な270Mモデルを、より複雑な処理を必要とする場合には1Bや3Bのモデルを利用するといったように選択でき、デバイスのリソースに合わせて効率的な運用が可能となります。

ハードウェアのスペックに合わせて柔軟に実装できる点は、エッジデバイス向けLLMとしての大きな強みと言えるでしょう。

分野特化への拡張性

他のLLMでは、主にモデルの重みや推論コードのみが提供されており、汎用性は高いものの、専門性の高い分野では適用できないことも多くあります。一方で、OpenELMは以下の全てがオープンソース化されており、モデルのトレーニングや評価に必要な完全なフレームワークを提供しています。

• モデルの重み：事前学習済みの重みが公開されており、ファインチューニングに活用可能
• トレーニングコード：学習プロセスを再現するためのコードが公開されており、独自のデータセットを使用してモデルを再学習が可能
• トレーニングログ：学習の進捗状況やモデル性能の変化を追跡できるログが提供されており、過去の学習プロセスを参照しながら改善が可能
• 複数のチェックポイント：学習プロセス中のモデルのチェックポイントが公開されており、性能比較や特定の段階のモデルを利用可能
• 事前トレーニング構成：アーキテクチャやハイパーパラメータなど、事前学習中の設定が公開されており、同じ条件での再現や改善が可能
• 評価用フレームワーク：ゼロショットタスクやLLM360リーダーボードタスクなど、性能評価のためのフレームワークが含まれ、再評価が可能

上記をオープンソースとして利用できることから、開発者はOpenELMをもとにして分野に特化したモデルへカスタマイズすることが可能です。

例えば、医療分野では診療データを用いてファインチューニングを行うことで、疾患予測や診断支援に特化したモデルを開発することが期待できます。同様に、法務や金融といった専門性の高い分野においても、固有のデータを用いて特化型モデルを構築することで、これまで汎用型LLMでは難しかったタスク解決が可能となります。

少量のパラメータで高度な推論ができる

OpenELMは、少量のパラメータモデルでありながら、標準的なゼロショットタスクにおいて高い精度を示しました。

ゼロショットタスクとは、モデルが事前に学習していない新しいタスクに対して、追加学習なしで応答する能力を測定するもので、モデルの汎用性や推論力の高さを示す重要な指標とされています。

ゼロショットタスクにおいて、1.1BパラメータのOpenELMが、同等規模のLLM「OLMo」と比較して平均で1.28%高い精度を達成しています。また、LLM360リーダーボードでのタスクにおいても高い精度を挙げました。

リーダーボードとは、LLMの性能を評価するための標準化された枠組みであり、自然言語処理やテキスト生成、文脈理解といった多様なタスクでモデルの精度を測定するものです。

リーダーボードのタスクでは、1.1BのモデルがOLMoを平均にして1.72%上回る精度を記録し、優位性を証明しました。

それぞれの結果から言えるように、OpenELMは軽量ながら、同規模のLLMよりも高精度な推論を可能にしています。

学習データの透明性が高い

他のLLMでは、独自のデータを用いて学習されていることが多く、そのプロセスを完全に再現するのが難しい場合も少なくありません。一方で、OpenELMは公開されているデータセットのみを使用して事前学習されており、学習プロセスやデータセットにおける透明性が高くなっています。

具体的には、OpenELMで使用されたデータは以下のとおりです。

• RefinedWeb：高品質なWebコンテンツを収集し、不要な情報を排除したクリーンなデータセット
• 重複排除されたPILE：テキストの重複を排除し、幅広い分野のデータを含む多様性の高いデータセット
• RedPajamaの一部：オープンソースのデータ収集プロジェクトで作成されたデータセット
• Dolma v1.6の一部：学術論文や書籍など、高品質な文章を中心としたデータセット

OpenELMは上記の公開データセットを組み合わせ、合計約1.8兆トークンの大規模データセットを使用しています。公開データを利用することで、OpenELMは実験結果やモデルに対する再現性を確保し、モデル改善や新しいモデル開発を促進しています。

OpenELMを使うには？

OpenELMは、Hugging Faceを通じて簡単に利用を開始できます。具体的な手順は、以下のとおりです。

1. Hugging Faceでアカウントを作成し、トークンを取得
2. OpenELMリポジトリをクローン

これらの手順を通じて、OpenELMの導入が完了し、iPhoneやiPad上で活用できるようになります。

また、Appleは、CoreNetと呼ばれるツールキットもGitHub上で提供しています。

GitHub｜CoreNet

OpenELMの商用利用は？

OpenELMは、「apple-sample-code-license」（Hugging Face上のOpenELM-270M-Instruct/LICENSEページ）のもとで提供されており、特定の条件を満たすことで商用利用が可能です。具体的には、ライセンス通知、及び事前の書面許可を含めることにより、商用利用やモデルの改変、再配布も認められています。

商用利用の可否は今後変更される可能性もあるため、商用利用時には公式サイトを通じて詳細を十分に確認しておくと良いでしょう。

【完全無料】LLMに強い会社・サービスが見つかる

今年度LLM相談急増中！紹介実績1,000件超え！

・ご相談からご紹介まで完全無料
・AIのプロが最適な会社を選定
・お客様満足度96.8%超
・GPT、Claude、Gemini、Llama等の複数モデルに対応

完全無料・最短1日でご紹介 AIのプロに紹介してもらう

OpenELM活用時の注意点

OpenELMには、出力内容や速度においていくつか注意点があります。以下では、OpenELM活用時の注意点を紹介します。また、それぞれのリスクに対する対策についても解説しますので、参考としてご覧ください。

安全性が保証されていない

OpenELMモデルは、一般に手に入る公開データセットをもとに学習されており、出力内容の安全性が保証されているわけではありません。学習に使用されるデータの性質や範囲が制約されていないため、モデルがユーザーのプロンプトに対して、不正確な情報や差別的な内容を生成する可能性があります。

そのため、OpenELMをより安全に利用するためには、以下のような出力を評価・監視する対策が必要です。

• 徹底的な安全性のテスト：使用する場面や目的に応じてモデルの出力を評価
• 適切なフィルタリングメカニズムの実装：ユーザー向けの実装では、不適切な出力や偏見のある情報を除外するフィルタリングメカニズムの導入

これらの措置を講じることで、安全なLLMソリューションの提供が可能となります。

推論速度が遅い

OpenELMは効率的な正規化手法が十分に検討されておらず、推論速度の遅さが課題として挙げられます。この課題に対する解決策の一つとして、ハードウェア最適化が有効です。特定のハードウェアに合わせて最適化された実装を開発することで、推論速度を大幅に向上できる可能性があります。

実業務導入時は、推論バッチサイズの最適化と量子化手法の組み合わせが鍵となります。例えば、以下のような対策が考えられます。

• GPU向けの最適化：高性能なGPUに対応した並列処理アルゴリズムを採用することで、推論プロセスを加速できます。特に、大量のデータ処理が求められる場合に有効です。
• Appleシリコン向けの最適化：各Appleシリコンにコードを最適化することで、ハードウェアリソースを最大限に活用し、効率的な推論を実現

上記により、推論速度の課題を解決できれば、OpenELMはより広範なユースケースに適応しやすくなり、エッジデバイスでの適用範囲を広げられます。

OpenELMについてよくある質問まとめ

まとめ

OpenELMは、iPhoneやiPadなどのエッジデバイス上でLLMを稼働できるオープンソースLLMです。大きいモデルでも3Bと軽量ながら、同規模のモデルに比べて高性能な推論能力を持ちます。

また、学習プロセスや評価フレームワークが全て公開されており、透明性が高く、再現性のある開発が行える点も大きな魅力です。オープンソースであることを活かし、OpenELMを適切に調整できれば、コーディングレビューや社内FAQなどさまざまな分野の業務効率化を実現できます。

しかし、その活用には、安全性や推論速度など、考慮すべき点も存在します。より専門的な知識や具体的な導入支援が必要な場合は、AIソリューションの専門家にご相談いただくことをお勧めします。