オプティカルフロー(Optical Flow)とは？動きをとらえる画像認識の仕組み、用途、欠点までを徹底解説！

製造現場での異常検知や自動運転における物体追跡、セキュリティシステムでの不審行動の察知など、ビジネスの現場では動画内の動きを正確に検出・分析したいという「動き」を捉える技術へのニーズが高まっています。

そこで有効な技術が、動画解析技術の一つであるオプティカルフローです。

この記事では、オプティカルフローの基本、画像解析や動画解析との違い、主な用途、欠点を解説していきます。映像分析の精度を高める技術について知りたい、自社で導入したいと検討している方は、ぜひ本記事を参考にしてみてください。

製品開発や品質管理、安全管理などの現場で、より正確な動き検知を実現するためのヒントが得られます。

関連記事：「画像認識とは？種類・活用方法・企業での導入ステップ・注意点を徹底解説！」

画像認識に強いAI会社の選定・紹介を行います

今年度AI相談急増中！紹介実績1,000件超え！

・ご相談からご紹介まで完全無料
・貴社に最適な会社に手間なく出会える
・AIのプロが貴社の代わりに数社選定
・お客様満足度96.8%超
・物体検出、異常検知、類似画像検索等

完全無料・最短1日でご紹介 画像認識に強いAI会社選定を依頼する

動画解析・画像解析に強いAI開発会社をご自分で選びたい場合はこちらで特集していますので併せてご覧ください。

オプティカルフローとは？

オプティカルフロー(Optical Flow)とは、連続する画像や動画の中で物体や特徴点がどのように動いているかを計算する技術です。コンピュータビジョンや画像処理において、画像フレームごとの物体の動き、またはカメラの動きによって生じる見かけ上の動きを捉えるために使われます。

近年では、フレームベースのカメラに加えて、画素ごとの輝度変化を非同期に出力するイベントカメラを活用することで、高速かつ高ダイナミックレンジな環境下でのオプティカルフロー推定が注目を集めています。

オプティカルフローの基本的な考え方は、時間差のある二つのフレーム間での輝度変化から、ピクセル単位での動きのベクトルを推定することです。この動きのベクトルがオプティカルフローと呼ばれ、各ピクセルがどの方向にどの程度移動したかを示します。

この情報を基にして、映像内の動きのパターンや動きの速度等を解析することが可能になります。

オプティカルフロー技術は、カメラの動きや物体の移動を定量的に評価するために広く使用されています。例えば自動運転車ではカメラ映像を分析し、道路上の車両や歩行者の動きを把握することで安全な運転を支援します。

また、オプティカルフローを用いることで、フレーム間の連続的な動きをベクトル場として表現でき、物体や特徴点の移動を視覚的に確認することが可能となります。

オプティカルフローの推定手法は、従来の古典的なアルゴリズムから、近年ではAI、特にディープラーニング（深層学習）を活用する方向に大きく進化しています。

オプティカルフローが活用されている分野

オプティカルフローは、画像や動画における物体の動きを捉える重要な技術で、以下に挙げるような「動きを理解し、分析する」ことが必要な様々な分野で幅広く活用されています。

• 自動運転・先進運転支援システム(ADAS)
• ロボティクス
• 監視・セキュリティシステム
• スポーツ分析
• 映像制作・エンターテインメント
• 医療画像処理
• 気象解析
• 製造業の外観検査
• 動画圧縮

オプティカルフロー・画像解析・動画解析の違い

オプティカルフロー、画像解析、動画解析の違いを簡潔に説明すると以下のようになります。

• オプティカルフロー：連続する画像フレーム間での物体や表面の動きを捉える
• 画像解析：1枚の静止画像から情報を抽出し、分析する
• 動画解析：連続する画像（動画）全体から情報を抽出し、分析する

つまり、オプティカルフローは動きの検出に特化した技術であり、画像解析は静止画の分析、動画解析はそれらを含む総合的な映像分析技術と言えます。

オプティカルフローは動画解析の一部の技術と言えます。主に動きの情報を抽出することに使用され、連続するフレーム間での各ピクセルの動きを2次元ベクトルとして表現し、物体追跡や動き検出などに利用されます。

画像解析は1枚の静止画像を対象とし、その画像から色、形、テクスチャなどの特徴を抽出し、物体認識や分類などを行います。医療画像診断や製品の品質検査などでよく活用されています。

動画解析は、連続する画像（動画）全体を対象とし、時間的な変化も含めて分析を行います。オプティカルフローや画像解析の技術を組み合わせて使用することが多いです。監視カメラの映像分析、スポーツ選手の動作解析、自動運転システムなど幅広い分野で応用されています。

画像認識に強いAI会社の選定・紹介を行います

今年度AI相談急増中！紹介実績1,000件超え！

・ご相談からご紹介まで完全無料
・貴社に最適な会社に手間なく出会える
・AIのプロが貴社の代わりに数社選定
・お客様満足度96.8%超
・物体検出、異常検知、類似画像検索等

完全無料・最短1日でご紹介 画像認識に強いAI会社選定を依頼する

オプティカルフローの計算に用いられるアルゴリズム

オプティカルフローの計算には、さまざまな手法が用いられます。それぞれの手法は、異なるアプローチで画像内の動きを推定し、計算の精度や速度に特徴があります。

以下に代表的な手法を紹介し、特徴と利点について解説していきます。

Lucas-Kanade法

Lucas-Kanade法（ルカス・カナデ法）は、画像のごく局所的な領域に対して、領域内すべてのピクセルが同じ速度で動き、物体の輝度は変化しないと仮定します。そのうえで最小二乗法を用いて動きのベクトルを計算する手法です。

最もシンプルなオプティカルフロー推定アルゴリズムで、小さな物体の動きを追跡する場合に有効です。あるピクセルの動きをその周囲のピクセルの動きと関連付けることで、滑らかなオプティカルフロー場を推定します。

Lucas-Kanade法は局所的な計算のため、比較的高速でリアルタイムの映像解析に適している利点があります。また、複数のピクセルの情報を使用するため、単一ピクセルベースの手法よりもノイズに強いのがメリットです。

ただし、ピクセルの動きが大きい場合や、輝度が大きく変化する領域での精度が低下することがあり、限られた条件下で最適に機能する特徴を持っています。

物体追跡や動きの検出、動画の圧縮など、様々な応用で広く利用されています。

Horn-Schunck法

Horn-Schunck法は、画像全体の動きを一貫したベクトル場として求める手法です。各ピクセルの動きを滑らかに変化させることを前提とし、画像全体の輝度変化と動きの一貫性を同時にグローバルな最適化問題として計算します。

隣接ピクセル間のオプティカルフローベクトルの変化を抑えることで、滑らかな結果を導き出します。

Horn-Schunck法では画像全体を一括で解析するため、大域における動きの推定が可能です。しかし、滑らかさを優先するために、急激な動きや境界部分での動きの精度が低下することがあります。

また、計算量が多いため、リアルタイム処理には適さない場合があるという課題もあります。

動画像解析や形状復元などの用途で有用なアルゴリズムとして広く利用されています。

Farneback法

Farneback法は、連続するフレーム間の動きを高精度で推定することができる手法です。フレーム内の局所的な領域を多項式で近似し、その領域の変形を解析することで各ピクセルの動きを算出します。

Farneback法の利点は、計算精度が高く、画像全体の滑らかな動きの推定が可能である点です。Horn-Schunck法に比べて、急激な動きや物体の境界での精度が向上しています。それでも、滑らかな変位場を仮定しているため、不連続な動きを適切に捉えられない可能性があります。

また、比較的計算量が少なく、リアルタイムでの処理が可能であるため、実際の映像解析や追跡システムで広く用いられています。

Pyramidal Lucas-Kanade法

Pyramidal Lucas-Kanade法は、Lucas-Kanade法を拡張した手法で、大きな動きの推定を可能にするためにピラミッド構造を利用します。大きな動きも捉えられるように、画像を段階的に粗くしていって動きを推定する手法です。

この方法では、画像をピラミッド状に複数の解像度レベルに分割し、低解像度から高解像度へ段階的にオプティカルフローを計算していきます。まず低解像度の画像で粗い動きの推定を行い、それを高解像度に適用しながら動きを補正することで、最終的な動きのベクトルを得ることが可能です。

各レベルではLucas-Kanade法を適用し、動きの推定を徐々に精緻化していきます。

Pyramidal Lucas-Kanade法によるアプローチは、大きな動きや急激な変化があるシーンでも高い精度でオプティカルフローを推定できます。また、階層的に動きを計算するため、計算負荷を軽減しつつ、精度の高い解析が可能です。

しかし、複数の解像度での処理が必要になるため、単純なLucas-Kanade法に比べて計算時間が長くなることがあります。

物体追跡、動き解析、ビデオ安定化などに活用されています。

ディープラーニングベースの手法

ディープラーニングベースの手法は、よりも高度な精度を達成するためにAI、特にディープラーニング（深層学習）技術を活用するアプローチです。大量の映像データを用いてニューラルネットワークを訓練し、フレーム間の動きの特徴を学習することで、ピクセルレベルでの動きのベクトルを予測します。

従来の古典的なアルゴリズムから、近年ではディープラーニングを活用する方向に大きく進化しています。特に、畳み込みニューラルネットワーク（CNN）やFlowNetを利用したモデルが多く開発されています。

ディープラーニングを用いたオプティカルフロー推定では、大規模な動きや複雑な背景でも高い精度を維持することが可能です。従来の手法が困難とする急激な動きや輝度変化にも対応できるため、映像のノイズや遮蔽がある場合でも高精度な結果を得ることができます。

さらに、事前学習されたモデルを利用することで、推定速度の高速化も図ることが可能です。

しかし、ディープラーニングベースの手法では大量のデータと計算リソースが必要です。また、学習に用いるデータセットの品質や多様性に依存するため、汎用性に限界がある場合もあります。

自動運転、ロボティクスにおける視覚機能などに用いられています。

オプティカルフローでできること

オプティカルフローは、画像や映像内の動きを正確に解析する技術として、さまざまな分野で活用されています。その応用範囲は広く、物体検出から動画像解析、3D復元まで多岐にわたります。以下では、具体的な用途について解説します。

物体検出・追跡

オプティカルフローは、物体検出・追跡において有用な計算技術です。映像内の物体がフレーム間でどのように移動するかを捉えることで、カメラに映る対象をリアルタイムで追跡することができます。

以下に挙げるような、さまざまな場面で活用されています。

• 監視カメラの映像解析
• 自動運転システムでの歩行者や他車の追跡
• スポーツ映像における選手の動きの分析

この技術を応用することで、侵入検知システムや交通監視システムなどでの自動アラート機能も実現されており、安全性の向上に貢献しています。

動画像の解析

オプティカルフローによって映像内の動きの変化を詳細に捉えることで、シーンの理解や動作の分類が可能となります。動画像の解析にオプティカルフローを活用することで、特定の動きのパターンや異常な動作を検出することが可能です。

例えば、監視映像での異常行動検知では、通常の動きのパターンから外れた動作を自動的に識別し、アラートを発するシステムの基盤として利用されています。

また、スポーツ選手の動作分析や、医療分野での動体撮影による診断支援など、映像内の情報を深く理解するために活用されています。

さらに、映画やゲームの制作においても、キャラクターやカメラの動きをよりリアルに見せるための動画像処理にオプティカルフローが用いられています。映像の自然なブレ補正や、スローモーション効果の生成など、多様な映像編集技術を支える基盤技術としての役割を果たしています。

形状復元

オプティカルフローは、2D映像から3D形状を復元する分野でも活用されています。動画像から物体の形状を再構築することで、3Dモデルの生成や物体の動態解析に役立っています。

特に、映像内の動きから物体の表面形状や構造を推定する際に有効です。

形状復元のプロセスでは、物体の奥行きや立体感を推測します。例えば、カメラが異なる角度から物体を撮影した映像を解析することで、対象物の3D形状を逐次的に復元することが可能です。

この技術は、ロボティクスや拡張現実（AR）などで、物体を正確に認識して操作するための基盤技術として用いられています。

三次元動画の復元

オプティカルフローは三次元動画の復元にも応用されており、2D映像から3Dシーンを再構築する技術として重要です。シーン内の奥行きや立体的な構造を推定することで、映像の中でのカメラや物体の動きを捉え、三次元的な情報を付加した動画を生成することが可能になります。

三次元動画の復元は、映画やゲームの制作における特殊効果や、バーチャルリアリティ（VR）・拡張現実（AR）のコンテンツ生成において有用です。カメラの動きや被写体の動態を3D空間で正確に再現することで、視覚的なリアリティを高め、ユーザーに没入感のある体験を提供することができます。

最新の研究では、オプティカルフローを3Dシーンフローにアップグレードする手法が提案されています。

動画像の圧縮

動画や画像のデータを圧縮する際に、オプティカルフロー技術を活用することで、データ量を大幅に削減することができます。

データの圧縮については、各フレームの差分のみをエンコードする手法が一般的です。近年は、ディープラーニングを活用した新しいアプローチが提案されています。

これによって動画圧縮の効率が向上し、データ転送の負荷を軽減できます。特に、ストリーミングサービスやビデオ通話など、リアルタイムで大量の映像データを扱う場面では、オプティカルフローを用いた圧縮が不可欠です。

圧縮後の映像でも高い画質を維持しつつ、ファイルサイズを縮小することが可能となります。

さらに、映像解析や編集の分野でも、圧縮された動画データから動き情報を抽出することで、効率的な編集作業が行えるメリットがあります。オプティカルフローを活用することで、従来のフレーム単位の圧縮技術よりも高い圧縮率と画質のバランスを実現し、幅広い用途での映像処理を支えます。

画像認識に強いAI会社の選定・紹介を行います

今年度AI相談急増中！紹介実績1,000件超え！

・ご相談からご紹介まで完全無料
・貴社に最適な会社に手間なく出会える
・AIのプロが貴社の代わりに数社選定
・お客様満足度96.8%超
・物体検出、異常検知、類似画像検索等

完全無料・最短1日でご紹介 画像認識に強いAI会社選定を依頼する

オプティカルフローの欠点

オプティカルフローは多くの分野で有用ですが、いくつかの制約があります。以下では、オプティカルフローを使用する際に考慮すべき欠点について解説します。

大規模なデータ処理が必要

オプティカルフローの計算には、大規模なデータ処理が必要となることが課題とされています。各フレーム間のピクセルごとの動きを解析するために、多くの計算が求められます。

特に高解像度の動画や長時間の映像を解析する場合、処理負荷が大きくなり、計算時間や必要なリソースも増加します。

この問題はリアルタイムでの処理が求められるシステムで顕著です。例えば、自動運転車のように映像を解析し続ける必要がある場合、オプティカルフローの計算にかかる時間が応答性に影響を及ぼす可能性があります。

ただし、GPUを活用した並列処理や、エッジコンピューティングの導入により、リアルタイム処理の実現性が高まっています。

急激な動きの検知は得意ではない

オプティカルフローは、急激な動きの検知に対して精度が低下する傾向があります。物体がフレーム間で大きく移動したり、方向を急に変えたりするシーンでは、計算されたオプティカルフローが実際の動きとずれることがあります。

低フレームレートの映像や高スピードで動く物体の解析においては、動きの連続性が失われ、正確な動きの解析が難しくなります。また、背景と物体の動きが混在しているシーンや動きの方向が複雑な場合も、オプティカルフローの計算が不安定になることがあります。

急激な動きを検知するためには、ピラミッド構造を使った手法や、補助的なアルゴリズムを組み合わせることで精度を向上させる工夫が必要です。

また、ディープラーニングを用いた手法は、従来の手法に比べて大きな動きにも対応できるようになっています。特に、PWC-NetやRAFTなどのニューラルネットワークモデルは、従来の手法よりも大きな動きに対して頑健です。

遮蔽によって解析精度が低下する

オプティカルフローの解析精度は、物体が遮蔽される状況で低下することがあります。遮蔽とは、視界内の物体が他の物体や背景に隠される現象で、フレーム間で追跡するべきピクセルの動きが途切れることで正確なオプティカルフローの計算が難しくなります。

特に、シーンの中で物体が部分的に隠れた後に再び露出するような場合や、複数の物体が交差する状況では、オプティカルフローが物体の本来の動きを捉えられなくなります。これにより、物体追跡の精度が低下し、解析結果にも影響が出ます。

遮蔽の問題を軽減するために、ディープラーニングベースの補完技術や、複数のカメラからの情報を統合して3D情報を活用する手法などが効果的とされています。特にディープラーニングは遮蔽の問題を大きく改善できるケースもあるため、オプティカルフローにおいても活用するのがおすすめです。

照明条件に依存する

オプティカルフローは、照明条件に大きく依存するという欠点があります。フレーム間のピクセル輝度の変化に基づいて動きを推定するため、照明の変化があると解析精度が低下することがあります。

例えば、光の強さや方向が変わると、同じ物体であってもピクセルの輝度が変わり、本来の動きと異なるベクトルが計算される可能性があります。特に、屋外での撮影や自然光を使用した環境では、雲の動きや日照時間による光の変化が影響しやすく、正確なオプティカルフローの推定が難しくなります。

照明に不変な特徴量を用いる手法や、照明変化をモデル化して補正する手法が研究されています。また、事前学習済みのディープラーニングモデルを用いることで、様々な照明条件に対して頑健なオプティカルフロー推定が可能になっています。

オプティカルフローについてよくある質問まとめ

まとめ

オプティカルフローは、画像や映像の動きを解析するための重要な技術であり、物体検出や動画像解析など多様な分野で幅広く利用されています。

しかし、オプティカルフローには限界も存在します。大規模なデータ処理が必要であったり、急激な動きや遮蔽による解析精度の低下など、さまざまな制約があります。それらの課題に対処するためには、ディープラーニングを活用した工夫が不可欠です。

オプティカルフローを実用化するには、高性能なソフトウェアを揃えるだけでなく、使用環境や要求精度に応じた適切なアルゴリズムの選定や、照明条件の制御、計算リソースの確保など技術的なフォローも必要になります。オプティカルフローの導入を検討している方は、AI開発会社などの専門家に相談しましょう。