PoCとは？AI開発のワークフロー・失敗しないポイントを解説

近年AI（人工知能）の導入のニュースを聞く事が増えていませんか？しかし、AI導入の事例の裏には、PoCを繰り返して結局導入できないというケースも多くあります。本稿では、AIの導入を検討している皆様に向けて、そもそもAI開発のプロジェクトにおいてPoCとは何を目的にしているのか、PoCを行う上での重要な点や、どのような進め方をするのか、そしてなぜPoCで失敗が起きているのかの理由などをご紹介します。AI開発プロジェクトを進める上で、ぜひ参考にしてください。

PoCとは

PoCはとは、新たなアイデアやコンセプトの実現可能性や得られる効果について検証することです。
PoCはProof of Conceptの頭文字をとった用語で、日本語では概念実証と訳されています。
PoCによってアイデア／コンセプトの実現可能性を見極め、期待した効果が得られると判断できればプロジェクトを進めていきます。

AI開発プロジェクトにおいて最も重要なのがPoCです。プロジェクトを進めている時に、いきなり開発に進んでしまうと、技術的な問題が発生してしまったり、想定していたような成果が出ないなどリスクがあります。その結果、プロジェクトをはじめた配位が、投資対効果が悪いということやプロジェクトが途中で頓挫してしまうということもあります。このような状況を避けるためにも最小限のコストで想定できるリスクを検証するのがPoCです。

PoCでの実証実験が重要

AIプロジェクトの成功には、学習アルゴリズムだけでなく、データの量や質への依存など様々な要素が影響します。プロジェクトを進める上で、データがどれくらい必要なのか、データの質のレベル、どれくらいで目標の精度に達するのかという課題が出てきます。また、AIプロジェクトは一度では目標の精度に達しないケースがほとんどです。その他実用に向けて、処理速度やGPUなども考慮する必要があります。このようにAIプロジェクトはやってみないとわからない面が多くあります。そこでPoCでの実証実験を行い、実用に向けての課題を解決したり、精度を上げていくなど検証、改良を繰り返すことがとても重要です。

AI開発プロジェクトの流れ

AI開発プロジェクトは大きくの5つのステップにわかれます。

1.　企画

2.　アセスメント

3.　PoC

4.　開発

5.　実用

まず、企画ではAIを活用して何をするのかを規定します。どんな課題を解決するのか、ビジネスでどのように解決するのかなど検討し、テーマ、スコープを設定します。続いてアセスメントでは、優先度、実現性などを鑑みて費用対効果の算定など事業計画を立てます。事業計画に続いて行うのがPoCです。PoCはProof Of Conceptの略であり、概念実証と訳され、いわゆる実証実験です。事業にしていく上で十分な精度があるのか、予測していなかったリスクが無いのかなどを実験することで検証します。PoCで成果につながると、実際の開発、実用につながります。

PoCで進められる作業と目的

それでは具体的にPoCをどのように進めていくのかで進める作業、目的についてご紹介します。PoCの中で行うべき作業はデータの取得・確認、アノテーションと費用対効果の確認、実現性の確認です。

データの取得と確認

PoCの最初のステップでは、まずどのようなデータが必要なのかを検討します。よくある失敗はAI開発プロジェクト用に習得していたデータの画質が悪くてAIが識別出来ず収集していたデータが使えないということです。このようなことを避けるために集めるデータの種類やデータの質、データを取得する方法を検討します。

データの種類や取得方法が決まったら、実際にデータを取得します。その際の注意点は集めるデータの量や質からどれくらいデータの保管ストレージが必要なのかをあらかじめ検討しておくことです。例えば、映像データでもAIで識別できるほど画質のデータを保管しようとすると膨大なストレージが必要になるが、ストレージが足りていないとAIに必要なデータ量が集まらないということがあります。また、データを取得したあとにはデータを選別することになるため、検索性の担保もしておきましょう。

アノテーションと費用対効果の確認

データを収集できたら、収集したデータを教師データにするためのラベル付け作業である「アノテーション」を行う必要があります。例えば、画像認識の場合、どの画像が犬なのか、猫なのかなどとラベル付けをし、機械学習のための基準とします。アノテーションの質が今後のモデルにも大きく影響するためとても重要な作業ですが、現状アノテーションは手作業で行うことが多いのも事実です。そのため専門的になるほど時間やコストがかかってしまいます。アノテーションを進めるとともに、実際にAIモデルを開発するためにはどれくらいのコストや時間がかかるのかを確認しておきましょう。なお、このアノテーションを専門で行うサービスも多くありますので、アノテーションを行う必要がある場合は、これらのサービス会社への相談もおすすめします。

プロ厳選のアノテーションサービス会社紹介

実現性の確認

コストの確認ができたら、入力したデータを出力データに変換するモデルを作成します。モデルを作成する際のポイントは、学習環境の検討や既存のモデルを使うのか、ゼロから開発するのかなどを検討することです。実際にモデルが開発できたら、教師データを学習し、評価の確認をします。しかし、一度で良い結果につながるわけではありません。モデルを開発して結果を評価した上で、その原因がデータの量が足りていなかったのか、教師データの質はどうであったのか、モデルが課題とあっているのかということなどを検討を繰り返して良い成果が得られるのかを模索しましょう。

PoCやAI開発プロジェクトで失敗する理由と課題

PoCの説明をしてきましたが、PoCやAIプロジェクトを進めていても、失敗している事例が多くあります。よくある失敗の理由や課題をご紹介します。

開発予定期間を越えてコストがかさむ

1つ目の失敗例は、コストがかさんでしまい投資対効果が得られないことです。例えば、当初想定していた精度が出ないなど結果につながらないのに投資を続けてしまっていたり、計算コストが想定より多く発生してしまって利益が出ない状況になってしまっていることなどがあります。このようなことが起きる原因としては、適切な目的が設定できていないということややっていることとやりたいことに齟齬がある場合があります。

AIやIoTが流行しているという理由だけでプロジェクトをはじめてしまい適切な目的が設定できていない場合、現状のシステムや機器にセンサーをためてクラウドにデータを習得したり、モデルを作成して面白い知見を得られたが、実際の事業のアイディアがないという結果につながります。また、プロジェクトを推進したはいいが、コストだけがかさんでしまい何もアウトプットにつながらないということもあります。このようなことを避けるためにもAI開発のプロジェクトを始める際に、AIで何をしたいのか、どのような課題を解決したいのかを明確にしておきましょう。

100％を求めすぎる

2点目は100％を求めすぎてしまうことです。現状のAIは、過去のデータを学習することでモデルを作成するため、過去に起きたことがないことに関しては正しく分析を行うことが出来ません。例えば、過去に発生したことがない状況でも人が判断する場合、それが失敗か成功かの判断できる場合があります。しかし、AIでは過去に発生したことがなければ判断出来ません。例えば、ある作業をAIで完全自動化を目指してプロジェクトを作成してしまうと、膨大の量の教師データが必要になったり、学習アルゴリズムも改善を繰り返さなければならないなど余計なコストがかかります。そのためAIだけで100％を目指すのではなく、人力と協業体制などプロセスを検討することがおすすめです。

データ量が少なすぎる

3点目は、学習用データが少なすぎることです。上述した通り、100％の精度を求めすぎることもプロジェクトに失敗する原因ではありますが、一方で、精度をある程度のところまで出すためには、教師データは一定量必要となります。画像認識であれば、対象となる画像とその判定方法、分析を行うのであれば、過去に取得・蓄積した数値データなどが教師データとなります。これらのデータを保有せずにプロジェクトを開始しても、教師データがない以上は、プロジェクトは前に進みません。そのため、プロジェクトを成功に導くためにも、予めどのように教師データを用意するのか、その準備にはどれだけの期間と費用がかかるのか、教師データの精度に問題はないのか、も含めて検討しておくことは必須と言えるでしょう。

外注に頼りすぎる

最後に、AI開発プロジェクトを外注に頼りすぎていることです。AIプロジェクトにはじめて取りかかるとき、自社で専門の組織がないため、既存の情報システムの部署や新規事業の部署を作成し担当させるというパターンがよくあります。しかし、社内にナレッジがなく、どう進めればいいのかわからないため、AIのベンダーに外注することになります。うまく連携できれば問題ないですが、内容がわからないまま丸投げしてしまい、わかりやすい実績だけを求めてしまうという場合も少なからずあります。その結果、PoCだけは進めたが、開発や運用の場面になってプロジェクトが進まないということがあります。

また、ベンダーを選ぶ際に、AIのナレッジはあるがシステム開発のナレッジが少なくプロジェクトが進まないということもあります。このように外注に頼りすぎてしまった結果、自社内でプロジェクトを進める意思が弱くなってしまったり、プロジェクトの重要なフェーズで頓挫してしまうということがあります。このようなことを避けるためにも、外注をする場合でも自社内でAIの技術や知識を持つ人材の育成を進めていくことがおすすめです。

最近ではAI開発会社で開発を行った上で、開発会社からナレッジの共有を受け、以降のメンテナンスなどは社内で行う、という内製化も進んでいます。開発会社を選定する際には、内製化への協力観点なども含めて相談してみると良いかもしれません。

事業戦略が明確でない

4点目は、事業戦略が明確でないことです。AIを導入した時に何を以って成功とみなすのかの判断基準が明確になっていなかったり、期待値をコントロール出来ていなかった結果、追加投資などのプロジェクトの継続判断がつかなく、失敗に終わってしまうということがあります。例えば、検品のプロジェクトで人力で行った場合99.9％の精度が出ていたが、逆に不良品のデータが少なくAIの精度が99％となってしまった場合、それが成功か失敗かをみなす判断が事前に決まってないため、プロジェクトが失敗とみなされてしまうケースなどがあります。

また、AIの新規プロジェクトを立ち上げることが優先になりすぎて現場の理解が得られず、データの取得ができなかったり、システムを開発したが利用されないというケースがあります。このようなことを避けるためにもAI開発プロジェクトを立ちあげる際に何をもってプロジェクトの成功とするのかなどの判断基準を明確にしたり、プロジェクトを全体のプロセスの中での利用方法を設定したり、社内の理解を深めるための教育を行うことなどが有効です。

PoCがAI開発成功の鍵を握る！

いかがでしたでしょうか。AI開発プロジェクトを行う際に重要なのがPoCです。PoCがうまく行かなければAI導入はうまくいきません。よくある失敗する理由もご紹介しましたが、プロジェクトを進める上で自社が失敗する状況に当てはまっていないのかを確認しながらしっかり対策することが重要です。まずは自社のAIプロジェクトのフローを見直すところから初めてはいかがでしょうか。

◆AIの活用についてお悩みなら

なお、AI Marketでは、AI導入を検討されている方向けに、最適なAI開発会社の紹介を行っています。自社の業務にAIを活用したいけど誰に頼んでよいかわからない、どんなことができるのかわからない、といったお悩みがございましたら、いつでもご相談ください。

AI Marketの専門のコンサルタントがお客様の課題のヒアリングから適切な会社の紹介までサポートします。
いつでもお気軽にご相談ください。

AIの活用・導入について相談する

以下の記事では、AI MarketがオススメするAI開発会社を紹介していますので、ぜひこちらもご参考ください。
AI開発に強いプロ厳選のAI開発会社