Hugging Faceとは？Hugging Face Hubの機能や使い方・ライブラリをわかりやすく解説！

AI開発は難しく手間がかかる、生成AIを作りたいけどモデルの開発や学習のためのデータセットの用意が大変といったお悩みはないでしょうか？そのようなお悩みを解決するのが、AIに関する様々なモデルやデータが共有・公開されているHugging Faceがおすすめです。

AI開発とは？システム構築の手順は？こちらの記事で詳しく説明していますので併せてご覧ください。

この記事では、Hugging Faceとは一体何か？どんな機能があるのか？公開されているライブラリとは？といったHugging Faceに関する詳しい内容を紹介していきます。

AI開発を効率的に行いたい、生成AIの開発を行いたいという方は是非最後までご覧ください。

AI MarketではAI開発実績豊富なAI開発会社の選定・紹介を行っています。貴社に最適な会社に手間なく数日で出会えます。貴社の要望に応えることが可能な企業複数社の紹介が可能で、相見積もり・比較もすぐに実施可能。

プロのAIコンサルタントが貴社の代わりに数社選定しますので、開発会社の選定に迷ったり、相談方法がわからなかったら、累計1,000件以上の相談実績を持つAI Marketへ、いつでもお気軽にご相談ください。

実績豊富なAI開発会社を自力で選びたい方はこちらで特集していますので併せてご覧ください。

Hugging Faceとは？

Hugging Faceとは、AI開発・機械学習のために必要な下記を提供するオープンソースプラットフォームです。提供するのはサービス名と同じHugging Faceという2016年に設立されたアメリカの企業です。

• AI開発・機械学習のためのプラットフォーム「Hugging Face Hub」
• AIの開発や研究に役立つさまざまなオープンソースライブラリの提供

Hugging Face社は、当初はチャットボットを開発する企業として設立されました。しかし、現在は、AIコミュニティの協力と共有を促進することを目的として、AIモデルやデータを共有し、AI開発・機械学習をサポートするためのツールを提供しており、AI開発者必須のツールとなっています。

特に、ChatGPTの出現から注目を集めている自然言語分野や生成AI分野のモデル・データセットも豊富に揃っています。

また、MetaやOpenAI、Googleなどの大手IT企業もHugging Faceで多くのAIモデルを公開しています。

関連記事：「生成AIとは何かが5分でわかる！代表ツールを種類別に徹底解説！仕組み・使い方は？」

ユーザーも自作モデルをアップロードし公開できる双方向プラットフォーム

ユーザーは、AIモデルやデータセットをアップロードし、他のユーザーに共有できます。そして、アップロードされているモデルやデータセットを検索して利用することも可能です。

また、クラウド環境でAIモデルやデータセットを簡単に実行できるデモ、それらを扱うための学習コンテンツといったサービスも提供されています。

モデルやデータセットを共有「Hugging Face Hub」

「Hugging Face Hub」は、Hugging Face社が運営するAI開発・機械学習のためのプラットフォームです。ユーザーは、自ら開発したモデルやデータセットを公開し、公開されたものを自由に使用することができます。モデルやデータセットを共有するプラットフォームとしては、Civitaiと並んで人気があります。

Hugging Face Hubの具体的な機能は以下の通りです。

• モデルを公開・検索できる「Models」
• データセットを公開・検索できる「Datasets」
• クラウド環境でデモを実行できる「Spaces」
• サイト内の機能に関する学習コンテンツ「Docs」

Models

Hugging Face Hubの最大の特長は、予めトレーニング済みの高品質なAIモデルを簡単に利用できる点です。Hugging Face HubのModelsでは、自然言語処理モデルや音声モデル、画像モデルなど、様々な分野のAIモデルを公開・検索することができます。それらを自社のシステムに組み込むことで、開発期間を大幅に短縮できます。

公開されているモデルはカテゴリ分けされており、目的のモデルを探しやすいようになっています。

Modelsにアップロードされているモデルには、アップロードしたユーザーが使い方や特徴、使用上の注意点を解説した「Model Card」があります。Model Cardには、以下のような情報が記載されています。

• モデルの説明や目的
• モデルの制限
• トレーニングに使用したパラメーターやデータセットモデルの評価結果

Model Cardに従いながら操作することで簡単に公開されたモデルを利用することができます。高品質なモデルを一から開発するには、膨大な計算リソースと専門知識が必要ですが、Hugging Face Hubではそれらを低コストで利用できます。

Datasets

Hugging Face Hubには、自然言語処理、画像認識、音声認識などの様々なタスクのためのデータセットが公開されており自由に使用することが可能です。例えば、Hugging Face Hubでは、Wikipediaの記事やニュース記事、SNSの投稿など、多様なテキストデータが提供されています。

これらのデータセットを活用することで、高精度な言語モデルを短期間で開発することが可能になります。各データセットには「Dataset Card」があり、ModelsのModel Cardと同じように、データセットの言語やライセンス、タグなどの情報が説明されています。

上部ナビゲーションの検索バーやメイン データセット ページを使用して、データセットを簡単に検索できます。結果をフィルタリングすることもでき、ユーザーが探しているなデータセットを見つけやすくなっています

Spaces

Hugging FaceのSpacesは、AIモデルをデプロイしデモを作成して共有できるサービスです。AIモデルの実用化とデモンストレーションを大幅に促進してくれます。自社のAIモデルを迅速に実装し、ステークホルダーに効果的にアピールすることは重要な課題でしょう。Spacesは、その課題を解決するための強力なツールを提供しています。

ユーザーは、機械学習モデルのWebアプリケーションデモを簡単に作ることができるフレームワークであるGradioやStreamlit、Dockerを使用して、AIモデリングのデモを開発し公開することが可能です。自分が開発したアプリケーションを自身のスペース上で公開し、ポートフォリオとして利用できます。

ユーザーは、2つの仮想CPU、16GBのメモリ、50GBのストレージを無料で使用でき、これを超える場合には、有料となります。中小規模のAIモデルであれば、追加コストなしでデモを公開することができます。

また、ユーザーは公開されたAIモデルのデモを実際に試してみることもできます。現在、Spacesでは企業や個人のデモが公開されており、多くの機械学習モデルを使用することができます。有名な画像生成AIである「Stable Diffusion」もHugging FaceのSpaces上で使用できます。

Docs

Hugging Face HubのDocsは、Hugging Faceの機能やHugging Face内で公開されているモデル・データセット・ライブラリの詳細を学ぶことができるドキュメントです。Hugging Faceの各機能について、詳細な説明や使用方法、ベストプラクティスが記載されています。

例えば、Transformersライブラリの使い方や、Datasetの活用方法、Spacesでのデモ作成手順などが、ステップバイステップで解説されています。これらの情報を活用することで、開発者は効率的にAIシステムを構築することができます。

また、Docsでは、Hugging Face内で公開されているモデル、データセット、ライブラリについても、詳細な情報が提供されています。各リソースの特徴や性能、使用上の注意点などが丁寧に説明されており、開発者はその情報を基に、自社のニーズに合ったリソースを選択することができます。

Hugging Faceが提供するライブラリ紹介

Hugging Face社のユニークな点は、単なるプラットフォーマーではなく、自社でもAIの開発や研究に役立つための多くのオープンソースライブラリを開発・提供しているベンダーである点です。（どちらかというとこちらが先です）

ユーザーは、既に学習済みの様々なライブラリを簡単に使用することができます。ゼロからモデルを学習するために必要な時間とリソースを削減し、AIの開発や研究に集中することが可能となります。「ライブラリ」でAIシステム開発ツールを提供し、「HUB」でライブラリを使って作られた成果物（モデルなど）を共有する場所として機能しています。

Hugging Face社で開発されている主なライブラリは以下の通りです。

• Transformers
• Datasets
• Tokenizers
• Accelerate

Transformersライブラリ

Hugging Face Transformersライブラリでは、自然言語処理や画像検出、音声認識などに関する学習済みモデルが提供されています。BERT、GPT-2、ViT、Wav2Vec 2.0のような有名なモデルが公開されており、自然言語を使ったAIを開発するのに役立てることが可能となっています。これらのモデルは、大規模なデータセットで事前学習されており、そのまま使用するだけでも高い精度を発揮します。

また、新たなデータセットでの事前学習やモデルの微調整を行うためのツールも提供されています。自社のデータを用いて簡単に微調整することもできるため、自社のタスクに特化した高性能なモデルを短期間で開発することが可能です。

PyTorchやTensorFlow、JAXといった有名なディープラーニングのライブラリと一緒に使うことでより効率的なAI開発を行うことができるようになります。発者は慣れ親しんだフレームワークを使いながら、Transformersの機能を最大限に活用することができます。

こうしたTransfersのライブラリを使用することで、自然言語に関する研究開発コストや二酸化炭素の排出量を削減でき、またゼロからモデルを学習するために要求される時間と人的リソースを節約することができます。

Datasetsライブラリ

Hugging Face Datasetsライブラリは、AI開発・機械学習の研究に必要となる様々なデータセットを公開しているライブラリで、自然言語処理 (NLP) を初めとする様々なタスクのためのデータセットを使用できます。

AIがタスクを正しく行うためには多くのデータを集め、学習させる必要があります。Datasetsライブラリには多数のデータセットが提供されており、公開されているものを活用することで、すぐに学習を実装できます。

公開されているデータセットは1 行のコードで読み込むことができ、AIの学習・トレーニングを素早く行うことが可能です。また、データの変換やフィルタリングなど、前処理の機能も含まれており、より効率的に機械学習を行うことができるようになります。

Tokenizersライブラリ

Tokenizersライブラリは、テキストの文字列をモデルに使用するために最小単位で分解する「トークン化」のプロセスを補助するためのライブラリです。

自然言語処理モデルでは、テキストデータをそのまま処理することはできず、「トークン化」を行う必要があります。Tokenizersライブラリは、このトークン化を効率よく行うためのライブラリとなっています。

Tokenizersライブラリを使用することで、以下のような処理を簡単に行うことができます。

• テキストをトークンと呼ばれる最小の単位に区切る
• それぞれのトークンにIDを振る
• モデルの入力に必要な情報となるスペシャルトークンを入力テキストに追加する

トークン化は、使用する学習済みモデルごとで方法が異なりますが、Tokenizersライブラリではさまざまなモデルのトークン化を行うためのライブラリが揃っています。

Accelerateライブラリ

Accelerateライブラリは、以下のような異なる計算リソースを共通のコードで実行できるライブラリです。

• CPU：機械学習を実行するために使用する汎用的なプロセッサ
• GPU：高速な画像処理を行う
• TPU：ディープラーニングの計算を高速化する

機械学習において、学習時の計算リソース環境の違いによって、コードが動かないということがありました。しかし、Accelerateライブラリを使用することで、わずか 4 行のコードを追加するだけで、あらゆる分散構成で学習を実行でき、大規模なトレーニングと推論がシンプルかつ効率的に行えるようになります。

Hugging Faceについてよくある質問まとめ

まとめ 

Hugging Faceは、学習済みのモデルやデータセットを公開・使用することができ、AIの研究や開発に役立てることができます。特に、最近話題の自然言語系マルチモーダルに関するAIモデルやデータセット、トークン化などのライブラリが数多く存在しており、生成AIを効率的に開発することができます。

また、開発したAIを公開しユーザーに使用してもらうことや、ユーザーが開発したAIを使用できるSpaceもあり、よりよいAIにするための研究を行うこともできます。AIの導入・開発が進む現代において、Hugging FaceはAI開発をさらに加速させるツールとなるでしょう。

AI MarketではAI開発実績豊富なAI開発会社の選定・紹介を行っています。貴社に最適な会社に手間なく数日で出会えます。貴社の要望に応えることが可能な企業複数社の紹介が可能で、相見積もり・比較もすぐに実施可能。

プロのAIコンサルタントが貴社の代わりに数社選定しますので、開発会社の選定に迷ったり、相談方法がわからなかったら、累計1,000件以上の相談実績を持つAI Marketへ、いつでもお気軽にご相談ください。