画像認識AIやRAGで使用するデータセットとは？教師データとの違い・種類・機械学習を解説

AI（人工知能）が読み込んだ画像を認識して処理を行うためには、その読み込んだ画像が何であるのかをAIが理解する必要があります。この画像認識を行うために、AIにとって学習のモデルとなるデータベースが必要となります。

これらの情報を蓄積した教科書となる画像データベースをデータセットや教師データと呼びます。AIの認識精度はデータセットに含まれる画像の質と量によって大きく左右されますので、求められる目的に応じて最適のデータセットを選ばなければなりません。

尚、画像認識に限らず、RAGを搭載したLLMチャットボットなど、様々なAIでデータセットは必要となります。

この記事ではAIのためのデータセットの特徴と代表的なデータセットを紹介します。

こちらで画像解析とは何か、どんな種類があるかを詳しく説明しています。

＼今年度、AI導入相談増加中！／

データセットとは？

データセットとは、機械学習をするためにプログラムで処理されるデータの集合体です。データセットのうち、AIの機械学習に用いる例題と正解の形式で整理されたデータは教師データと呼ばれます。

例えば、読み込ませた画像に写っている物体が何かを判断する技術が画像認識です。人間は写真に写る人や車を見てそれが何であるかを判断することができます。

これは人間が実世界で人や車を見て、事物を学習しているからです。AIに同様の判断をさせるためには、人と同様にAIに学習をさせる必要があります。

典型的な画像認識としてはOCR（光学文字読取）が挙げられます。このような手書き文字読み取りには文字データのサンプルを蓄積したデータセットによる機械学習が利用されています。

「【10製品比較】AI-OCRを徹底理解！AI-OCR活用のメリットとは？」の記事では、OCR製品の比較も行っていますので、ご参考ください。

機械学習とデータセット

AIによる画像認識では、読み込まれたピクセルデータから画像の構成を特徴量として取り出し、数学的な演算によってモデルデータと比較して判定します。この作業を繰り返すことでAIは画像を学習し、正答率を高めていくのです。

AIに学習させたいデータに意味付け（タグ付け）を行って、教師データを作成していく作業をアノテーションといいます。AI開発における非常に重要な役割をもっており、アノテーションによってAIの精度が変わるといっても過言ではありません。

大量の画像を読み込み、学習を重ねることでAIは画像の差異を理解していきます。Facebookが2012年に開発した顔認証AIは、ディープラーニング（深層学習）を使って画像に写った顔が同一人物であることを人間とほぼ同精度で判定しました。

また、Googleの開発したAIは人間の手を借りずに自ら「猫」の画像を判別する能力を身に付けています。類別された多量の画像データを読み込むことで、AIは自らその対象物の見分け方を学ぶことができます。

この時に学習の基礎になるラベル付けされたデータの集合体としてデータセットが必要になるのです。

アノテーションの代表的な手法、実施方法、注意点についてはこちらの記事で分かりやすく解説しています。

画像認識に強いAI会社の選定・紹介を行います

今年度AI相談急増中！紹介実績1,000件超え！

・ご相談からご紹介まで完全無料
・貴社に最適な会社に手間なく出会える
・AIのプロが貴社の代わりに数社選定
・お客様満足度96.8%超
・物体検出、異常検知、類似画像検索等

完全無料・最短1日でご紹介 画像認識に強いAI会社選定を依頼する

教師データを収集する際の重要ポイント

アノテーションの品質を左右する教師データ（データセット）を集めるうえでは、以下のようなポイントがあります。

• データの種類
• データの量
• データの質

それぞれについて説明します。

データ収集の代表的手法、コツをこちらの記事で詳しく説明していますので併せてご覧ください。

データの種類を決める

構築したいAI（人工知能）モデルによって、必要となるデータセットの種類が変わります。画像認識モデルを構築するのであれば、識別対象となる画像データを大量に収集する必要があります。

このように、構築したいモデルに合わせてインプット対象となる元データを集めていきます。

プロ厳選！AI学習用データ収集に強い会社の記事では、AI学習に必要なデータ収集についてやおすすめの会社を紹介しております。あわせて、ご覧ください。

膨大なデータ量が必要

AIの精度向上のためには膨大なデータ量を集めなければなりません。少ないデータでは学習量が足りず、精度の高いAIを実現することはできません。

そのため、AIを導入したとしても精度が悪く意味のないものになってしまいます。

無償のデータセットは活用できる？

近年AI（人工知能）の活用が盛んになってきており、大学や研究機関などが、アノテーション済みのデータセットを無償公開するケースも増えています。これらのデータセットを活用すること自体はもちろん可能ですし、自社が構築したいAIモデルに合致した適切なデータであれば、ぜひ活用しましょう。

公開されているデータの多くは、訓練用、検証用、テストデータ用に既にアノテーション済みになっており、活用できる形式になっています。

ただし、自社で構築したいモデルは、多くの場合において、自社専用の固有モデルであり、これらのデータセットが活用できるかどうかはしっかりと見極める必要があります。

例えば、自社工場で製造した部品の不良品を識別するためには、その自社工場で製造した部品の画像が必要になりますが、このデータは当然ながら自社でしか手に入りません。

顔認識のモデルのように、汎用的なモデルであれば、活用できるデータセットは多くありますので、探してみるとよいでしょう。

尚、公開されているデータセットのなかには、商用利用ができないデータセットもありますので、その観点でデータセットを確認することも必要です。

AIによる画像認識の導入活用事例についてはこちらで詳しく解説しています。

有償データセット提供サービスも

データセットと聞くと、上述のような無償データセットを思い浮かべる方が多いかもしれませんが、実は民間の会社が提供しているデータセットも多くあります。

このデータセットでは、無償で提供されているデータセットには含まれていないようなニッチなデータ（マスク付きの顔写真画像やキーポイントアノテーション済みの顔画像データ、赤ちゃんの泣き声など）を提供している場合もありますので、データセットの購入を検討してみるのも良いかもしれません。

また、データセットを提供している会社を厳選して紹介するAI学習用データ収集が可能なプロ厳選の会社紹介記事もぜひご参考ください。

データの質が重要

アノテーションでは、データの質も非常に重要です。データの扱い方や教師データに間違いがあった場合、AIが思うように学習できず間違った判断をしてしまうなど、品質低下につながりかねません。

品質管理を行う上で、アノテーション作業者の習熟度も重要な要素ですが、最も重要になるのは、アノテーション作業要件と言えるでしょう。アノテーション作業要件とは、対象となるデータに対して、どのような判断ロジックでどのようにアノテーションを行うのか、を明示化することを指します。

この要件がブレると、どれだけ作業者が正確にアノテーション作業を行おうとしても、品質はほとんどの確率でバラつきます。

これを防ぐためにも、アノテーション作業を行う前に、可能な限りアノテーション要件を明確に定め、また、アノテーション作業を行う方と認識を統一できるように進めていきましょう。

ただし、判断ロジックに人の判断が入ってしまう場合などもどうしても出てきます。その場合は、極力作業者とその理解を統一し、その判断ブレの許容範囲を決めておくと、作業品質として明確化ができてよいでしょう。

関連記事：「LLMで学習データはなぜ重要？必要なデータ種類、収集方法、前処理・アノテーションの手法まで徹底解説！」

データセットの種類

データセットには処理するべき画像の種類によっていくつかの種類があります。

画像データセット

画像データセットは、一般の写真などの画像データの集合体です。スマートフォンやセキュリティシステムで用いられる顔認証用のデータセットや手書きの数字、カメラに写った動物や服装を分類判別するためのものなど、様々な分野が用意されています。分類クラスの情報が整理されたアノテーション付きのデータセットが利用可能です。

動画データセット

動画データセットは、YouTubeなどの動画や独自に撮影したビデオデータから抽出した画像にその動きを判別するための情報を添付したデータセットです。また、このデータセットは、動画認識の分野でも活用され、より高度な動作解析が可能となります。

主に人の動きを対象として、動画画像の人物が何をしているのかを判別するための学習素材になっています。

画像認識に強いAI会社の選定・紹介を行います

今年度AI相談急増中！紹介実績1,000件超え！

・ご相談からご紹介まで完全無料
・貴社に最適な会社に手間なく出会える
・AIのプロが貴社の代わりに数社選定
・お客様満足度96.8%超
・物体検出、異常検知、類似画像検索等

完全無料・最短1日でご紹介 画像認識に強いAI会社選定を依頼する

データセットの入手方法

AIで画像認識を行うためにはAIが学習するためのデータセットが必要です。ではそのための画像データをどうやって準備すればよいでしょうか。下記よりデータセットの入手方法を解説します。

データセットを自作する

一つの方法は自作することです。必要なだけの画像データを集めてラベルを付け、オリジナルのデータセットを作成します。

特に自社仕様のAIを開発する場合には、その目的に沿ったデータセットを生成することが重要です。

ただし、画像の入手やラベル付けにはかなりの手間とコストがかかります。

手間をかけず、効率よく画像データセットを作成するなら、アノテーションツールの利用を検討しましょう。代表的なソフトとしてMicrosoftのVoTTがあります。YOLOやTensorFlowのアルゴリズムにはそのままの形式で出力でき、動画にもタグ付け可能です。

アノテーションに必要な元データを収集したい場合は「データ収集代行でおすすめのプロ厳選会社」でデータ収集代行会社を紹介していますので、こちらもぜひご参考ください。

公開データセットの利用

データセットを自作する場合、機械学習の精度を高めるためには数万枚の画像データを作成する必要があります。自作する時間、コストがかけられない場合は公開されているデータセットを使うことも効率的な方法の一つです。

こういったオープンデータは多数の研究機関や機械学習サイトで手に入れることができます。さまざまなクラス情報が付与された数千万枚の画像データが利用可能です。

必要なクラスのデータセットを選択することで、AIの学習効率を高め、高精度の画像認識を実現できます。

ImageNet

代表的な画像データセットとして挙げられるImageNetはスタンフォード大学の研究室が中心となって管理されるデータセットです。

自然物を中心に1,400万枚、22,000カテゴリの画像がラベル付けされ、無償で公開されています。

2万種類以上のクラスが登録されているため、自分の目的とするデータセットを文字で検索して抽出できる使い勝手の良さも魅力です。標準的なデータセットとして、各種モデル間での学習パフォーマンスを比較するためのベンチマークツールとしても利用されています。

参照：「ImageNet」

機械学習のためのデータセット

機械学習に便利な公開データセットのうち、いくつか代表的なものを紹介します。それぞれに適用しやすい用途や特徴がありますので、自分の課題に合ったものを選んで使用を検討してみても良いかもしれません。

MNIST

MNISTは手書き数字の画像データセットです。0～9までの数字の手書き画像データ7万件が集められています。AIの学習プロセスについて学びたい初心者向けのデータセットで、現実のデータを使ってAIのパターン認識について理解するための入門用として作られています。

アメリカ国立標準技術研究所（NIST: National Institute of Standards and Technology）によるデータベースから抽出された画像データをもとに修正されたもので、データセットとしてはサイズが小さく、実験用データとして扱いやすいのが長所です。

MNISTは、主にCNN（畳み込みニューラルネットワーク）の画像認識用の基本的なデータセットとして利用されています。

TensorFlowなどのディープラーニングの汎用的なライブラリでは、自分でダウンロードしなくても予めMNISTのローディングが用意されているものが少なくありません。

参照：「MNIST」

TensorFlow

TensorFlowはGoogleが開発しているAI学習用のオープンソースライブラリです。ネット業界から医療業界まで様々な企業が導入しており、Pythonを使用したネットワークライブラリKerasと合わせて使いやすいインターフェースが特長です。

TensorFlowには、TensorFlow Datasets（TFDS）というデータセットライブラリが用意されています。

テキスト、画像、動画、音声、物体検出、質疑応答など幅広い分野の多数のデータセットが収録されており、数行のコードでロードして学習に利用できます。

参照：「TensorFlow Datasets」

関連記事：「TensorFlowとは？特徴・使い方・Pytorchとの違いを徹底解説！」

CIFAR-10

CIFAR-10は、AlexNetの開発者として知られるAlex Krizhevsky氏らによって作成されたデータセットです。10クラス各6000画像のCIFAR-10と、100クラス各600画像のCIFAR-100が提供されています。

CIFAR-100ではクラス構造が二段になって20のスーパークラスに分類されており、より詳細な画像データを選択できます。

ネット上から収集された約8,000万枚の小型画像のデータセット「80 Million Tiny Images」から抽出してラベリングしたデータセットで、機械学習の研究において最も広く使われているデータセットの一つです。

TensorFlowなどのライブラリからもロードできます。

なお、抽出元の「80 Million Tiny Images」は、不適切なラベルが含まれていたことから2020年にMITが公開を取り下げています。

CIFAR-10/100自体は現在も公開されていますが、データの出自に関する経緯として押さえておくと良いでしょう。

参照：「CIFAR-10」

Open Images

Open ImagesはGoogleによって公開されている約900万画像のデータセットです。画像単位のラベルに加え、600のクラスを対象に物体の境界区画（バウンディングボックス）やセグメンテーションマスク、物体間の関係性などのアノテーションが付けられており、ディープラーニングによる画像認識に最適なデータセットになっています。

広い範囲の画像が集められていますので様々な用途の画像認識に適用でき、一つの画像に複数の物体が写っているような写真にもラベルが付けられています。

ImageNetと同様の汎用画像データセットとして、ディープラーニングの訓練データに好適です。

参照：「Open Images」

関連記事：「バウンディングボックスとは？活用事例・4つのメリット・4つの注意点を徹底解説！」

画像認識に強いAI会社の選定・紹介を行います

今年度AI相談急増中！紹介実績1,000件超え！

・ご相談からご紹介まで完全無料
・貴社に最適な会社に手間なく出会える
・AIのプロが貴社の代わりに数社選定
・お客様満足度96.8%超
・物体検出、異常検知、類似画像検索等

完全無料・最短1日でご紹介 画像認識に強いAI会社選定を依頼する

データセット使用にあたっての注意

データセットは画像の集合ですから、使用にあたってオリジナル画像の著作権が問題となる可能性があります。

一般にネットにアップロードされた写真や画像を私的利用の目的としてダウンロードすることは違法ではありません。ただし、その画像を加工したり修正したりする行為は著作物の改変にあたるため、著作権の侵害となります。

著作権法上、著作物の利用に関して「情報解析」を目的とする場合は著作権の侵害とならないと定められています。AIの開発はこの「情報解析」にあたるものです。

したがってAIの開発を目的として他社の著作物を使用することは著作権の侵害にはあたりません。ただし、これは日本の著作権法上の規定ですので、他国でも同様に保護されるとは限りません。

開発が日本国外で行われる場合には画像データの使用が制限される可能性があります。ご注意ください。

上記については、顧問弁護士などと相談するなどして、合法な形でデータを活用するように注意しましょう。

また、無料で公開されているデータセットは、利用規約で利用範囲を制限されている場合もありますので、こちらも注意が必要です。

AI画像認識についてよくある質問まとめ

まとめ

今回の記事ではAIにおけるデータセットについて説明しました。

AIが画像認識を行う場合、機械学習の訓練プロセスにおいて教師データとなるデータセットは重要な要素となります。

学習データを自前で作成する場合には大量のデータを入手し整理することが必要となります。また、公開データセットについても、日々、新しいデータセットが生成されて続けられている状態です。

AIによる画像認識システムを構築するにあたっては、データセットの準備や入手、学習モデルの選定や学習の進め方など、検討するべき多くの条件があります。

また、データセットの作成やデータセットの元となるデータの収集に課題がある場合は、AI Marketがアノテーション会社やデータ収集代行会社も紹介可能ですので、いつでもご相談ください。