最終更新日：2023-04-24
センサーフュージョンとは？使用例、AIによるデータの処理・統合方法を徹底解説！
多様なセンサーを用い、一度に多くの項目を取得し、分析を行うセンサーフュージョン技術。上手に活用すれば、これまで何回も行っていた分析を一度にまとめられたり、センサー間の情報を融合してより詳細な解析ができるようになります。
しかしセンサーフュージョンは、データ処理方法や統合方法が複雑であるため、しっかりとした知識がなければ、適したセンサーと解析方法を選ぶのは難しいです。
本記事では、センサーフュージョンのデータ処理・統合方法や、活用事例を徹底解説。最後までお読みいただければ、センサーフュージョンの概要や活用イメージを掴むことができます。
AI Marketでは、
貴社に最適な会社に手間なく数日で出会えます
目次
センサーフュージョンとは？
センサーフュージョン（sensor fusion）は、複数のセンサーを使用して取得した多種類のデータを、AI等を活用して分析、合成することで、1つのデータからでは得られない高度な情報を抽出する技術です。
例えば、自動運転技術では、標識や信号機を認識できるカメラと、対象物までの距離を測定できるミリ波レーダーを組み合わせることにより、信号機の指示と距離を読み取ることが可能です。また、サーマルカメラと画像認識AIカメラを組み合わせると、加工食品内部の温度や状態を一度に測定することができます。
センサーフュージョンは、各センサーの長所と短所を補完し合い、より信頼性の高い情報を得ることができます。そのため、ロボット工学、自動運転車、ドローン、医療技術など、多くの分野で重要な技術とされています。
製造業におけるセンサーフュージョン
製造業において、センサーフュージョンは品質管理、生産効率の向上、安全対策など様々な分野で活用されています。以下にいくつかの例を示します。
品質管理
カメラ、温度センサー、圧力センサーなどの複数のセンサーから得られるデータを組み合わせることで、製品の欠陥や寸法誤差をより正確に検出できます。これにより、不良品の出荷を防ぎ、顧客満足度を向上させることができます。
関連記事：「AIを活用した品質管理とは？導入メリット」
生産効率の向上
製造ラインの自動化や最適化にセンサーフュージョンが活用されます。例えば、ロボットアームを使った組立作業では、視覚センサーや触覚センサーのデータを組み合わせることで、より正確な位置決めや力の制御が可能になります。
これにより、生産速度を向上させ、ダウンタイムを減らすことができます。
安全対策
作業員と機械の衝突を防ぐために使用されます。例えば、光学センサーや超音波センサーを組み合わせて、作業員が機械に近づいた際に警告を発するシステムがあります。これにより、事故を未然に防ぐことができます。
予防保守
センサーフュージョンを用いた予防保守は、機械の状態を監視し、故障の兆候を検出できます。振動センサーや音響センサー、温度センサーなどの複数のセンサーのデータを解析することで設備の異常を早期に発見し、修理や交換が必要な部品を特定できます。
関連記事：「AIによる予知保全の活用事例」
センサーフュージョンのデータ処理方法
センサーフュージョンは複数のセンサーを用いてデータを集めますが、そのデータをどのように統合するかによって得られるデータは変わります。
ここでは、集めたデータの処理方法を4つご紹介します。
複合形態｜相補・加法的な処理
複合形態は「足りないところを補う」処理方法で、四則演算でいう足し算の考え方です。独立した指標をそれぞれのセンサーで測定する際に利用されます。
例えば、顔認証の入退室システムに体温測定を導入する際、顔を認証するためのカメラと、体温を測定するサーマルカメラが必要になります。この場合の処理方法は、AIが顔認証で個人を識別、そのデータに体温データを付け足すという処理方法になります。
このように、それぞれのデータが変化することなく、相互関係を考えない処理方法が「複合形態」です。センサーの欠点を補い合い、精度を向上させることができます。
統合形態｜乗法的な処理
統合形態は「データを組み合わせる」処理方法で、四則演算でいう掛け算の考え方です。それぞれのデータをそのまま保存するのではなく、演算係数として利用します。
例えば、溶液のpH測定が統合形態の例です。pHは溶液の温度によって多少変化するため、溶液温度の違うpHを比較する際には測定したpH値に温度計数を掛ける必要があります。
真のpH値は、測定pH値に測定温度に対応する「温度係数」という係数をかけることで求められるため、データ同士がお互いの影響を受けます。このように、データとデータを組み合わせることで初めて結果がわかる処理方法が「統合形態」です。
センサー間の協力が重要であり、異なるタイプのセンサーが連携してより正確な情報を生成します。
融合形態｜協調・競合的な処理
融合形態は「データを一体化させる」処理方法です。複数のデータを基に新たな情報を生み出します。
例えば、人間の両眼が画像データを認識しているのは融合形態の例です。右目と左目では異なる映像情報が入ってきますが、それを脳で融合することにより、1つの情報となって私たちはあらゆるものを見ることができています。
このように、データ同士が協調し、1つの新たな情報を作り出すのが融合形態です。各センサーは、他のセンサーからの情報を考慮してデータを処理し、全体としてより正確で信頼性の高い情報を得ることができます。
連合形態｜連想的な処理
連合形態は「データを理解する」処理方法です。データ間の情報を基に最適な解を導き出します。
AI予測やモデル形成が連合形態の例です。センサーから得られたデータ間の関係を理解して、AI自身が事象を学習・理解します。連合形態は、何らかの結果を導き出すのではなく、異常を検知したり、情報間の関係を理解する役割を持ちます。
これにより、AIが情報間の関係をより深く理解し、正確な解を導き出すのに役立ちます。この方法は実装が容易であり、異なるタイプのセンサーからの情報を迅速に組み合わせることができますが、精度や信頼性はAIに依存します。
センサーフュージョンのデータ統合方法
センサーフュージョンでは、データをどこで統合するかにより、出力結果や出力コストが多少変化します。ここでは、センサーフュージョンのデータ統合方法の違いを3つご紹介します。
集中型フュージョン
集中型フュージョンは、得られたデータを全てCPU（中央処理装置）やGPU（グラフィックス処理装置）などのデータ処理装置に送る統合方法です。高い処理能力を持つ装置で解析できるため、高い精度で解析することができます。
その反面、高性能なデータ処理装置が必要になる上、データ送信量が多くなるため、データの処理が遅延する可能性が高いです。
センサーフュージョンは、自動車や工場などの遅れが許されない場面で利用される場合が多く、遅延の可能性があるフュージョン方法は好まれません。そのため、集中型フュージョンは、高精度でのフュージョンは可能ですが、実用性が低いフュージョン方法です。
分散型フュージョン
分散型フュージョンは、センサーごとで情報を一度処理してからデータ処理装置にデータを送信し、データを統合する方法です。センサーごとに情報を処理するため、データ処理装置に送るデータ量が減り、遅延が起こりにくいというメリットがあります。
一度センサーで処理をしてしまうため、データ処理装置では処理されたデータを統合することとなります。よって、生データを統合する集中型フュージョンよりは統合精度が落ちてしまいます。
ただし、センサー内で最適な処理を行えば、結果が大きく変わることはありません。精度よりも処理速度を優先したい場合に有効なフュージョン方法です。
ハイブリッドフュージョン
ハイブリッドフュージョンは、先ほど紹介した集中型フュージョンと分散型フュージョンを組み合わせたフュージョン方法です。精度に大きく関わる情報は生データで送信し、精度よりも速度が重視される情報は処理を行ってからCPUに送信できます。
それぞれのデータ特性に応じて良いところ取りできるというメリットがありますが、システムが複雑になるため、コストが高くなるというデメリットがあります。
ただし、精度と速度を両立できるため、最も有用性の高いフュージョン方法と言うことができるでしょう。
AI Marketでは、
貴社に最適な会社に手間なく数日で出会えます
センサーフュージョンの使用例5選
ここからは、実際にセンサーフュージョンを利用している例を紹介します。
- ADAS（先進運転支援システム）
- MMS（移動体計測システム）
- 地下鉄や空港ロビーなどの不審物検出
- 完全自動飛行ドローン
- 体温・温度測定
それぞれの使用事例について説明します。
ADAS（先進運転支援システム）
ADASは、自動車（特に自動運転車）の安全性を高めるために導入されているシステムです。
ADASでは、以下のような多くのセンサーが導入されています。
- カメラ
- ミリ波レーダー
- LiDAR
- 超音波センサーなど
センサーフュージョンを通じて環境情報が統合され、AIが、統合された情報を元に車両の制御や経路選択、衝突回避などの判断を行います。
これらのセンサーの中でも「自動運転車の目」と言われ重要視されているのは、LiDARです。LiDARは赤外線を照射して対象物との距離を測ることができます。
LiDARが自動運転車の目と言われている理由は、測定可能な距離が大きいためです。超音波センサーは10m以内、ミリ波レーダーは150m前後と言われていますが、LiDARは300m以上先の障害物を測定できます。
また、2022年4月には、NECが南紀白浜エアポートと共同開発している「長距離3D-LiDAR」が、最長1km先の障害物を捉えることが可能になったと発表しています。
『「長距離3D-LiDAR」は、3D-LiDARに、長距離・大容量光送受信技術と3D点群データ解析技術の2つのNEC独自技術を組み合わせたセンサーシステムです。通常の3D-LiDAR では200m前後の検知が、最長1kmの長距離で検知可能となります。』
※引用：NEC 長距離3D-LiDARを活用して滑走路上の異物検知を行う実証実験を実施する覚書締結
ただしLiDARは、悪天候時に精度が落ちたり、標識を認識できないという欠点があるため、カメラやミリ波レーダーを同時に活用していく必要があります。
こちらで自動運転でのAI技術の仕組み、活用事例を詳しく説明しています。
MMS（移動体計測システム）
MMSは、移動しながら周囲の三次元情報を取得できるシステムです。MMSには、以下のような多くのセンサーが搭載されています。
- 位置情報を取得するGNSS
- 速度や傾きを検出するIMU
- 色を判別するカメラなど
MMSは走りながら地形データを測定できるため、効率的に道路状況を測定することに役立っています。AIは、この統合された情報を使って、物体の認識、把握、移動などのタスクを効率的かつ正確に行うことができます。
三次元情報を取得できるため、地図アプリでの景観確認や、土木・建設コンサルタントの調査などにも十分活用できます。また、MMSは道路だけでなく、空港の滑走路や河川の点検にも活用されています。
関連記事：「建設・建築業界のAI活用事例解説」
地下鉄や空港ロビーなどの不審物検出
センサーフュージョンは、警備が比較的緩い地下鉄や空港ロビーなどの不審物検出にも役立てられています。カメラや赤外線センサーなど複数のセンサーを組み合わせて、より正確に不審物を検出することができます。AIは、統合された情報からパターンや異常を検出し、警報を発するかどうかを判断します。
近年、世界各国で人が集まりやすく警備が比較的緩い、地下鉄や空港ロビーなどの「ソフトターゲット」を標的としたテロが増加しており、対応手段が模索されていました。そこで、令和元年から令和三年度にかけて大学や国立研究開発法人、民間企業がセンサーフュージョンを活用した不審物検出システムの開発を行いました。（総務省 移動物体高度認識レーダー基盤技術の研究開発）
移動物体高度認識レーダー不審物を検出できるミリ波レーダーと、現場の状況を取得できるカメラをフュージョンした結果、不審者は75.8%、不審物は66.1%の精度で検出できるようになりました。
完全自動飛行ドローン
センサーフュージョン技術を用いて、各種センサーからのデータを組み合わせ、正確な飛行制御や農薬散布、生育診断を行うことができます。ナイルワークスは「開始ボタン」を押すだけで、農薬の散布・生育診断できるドローンを、センサーフュージョン技術を用いて実現しました。
ドローンには、以下を始めとする12種類のセンサーが搭載されています。
- 姿勢を維持する加速度3軸や角速度3軸
- 位置情報を取得するRTK-GNSS
- 1株ごとに生育環境を観察できるカメラなど
これにより、細かい生育管理や省力化が実現し、良質な農作物をより簡単に生育できるようになります。
こちらでAIを搭載したドローンの仕組みとメリット、活用例を詳しく説明しています。
体温・温度測定
温度を測定するセンサーフュージョンは「サーマルフュージョン」とも呼ばれています。サーマルフュージョンは、体温や温度測定にも活用されています。
人の手では測定困難な場合に有効な手段です。温度センサーとカメラなどの複数のセンサーを組み合わせることで、より正確な温度測定や不良品の検出が可能となります。
身近な例では、顔認証による勤怠管理と体温の同時管理に、工場などの産業界では食品や材料の温度測定に利用されています。温度測定だけで十分な場合もありますが、カメラを導入することで不良品を見分けられたり、同時に他要素の点検も可能です。
センサーフュージョンについてよくある質問まとめ
- センサーフュージョンとは？
センサーフュージョン（sensor fusion）は、複数のセンサを使用することで、単一のセンサだけでは得られない情報を抽出する手法です。例えば、自動運転技術では、標識や信号機を認識できるカメラと、対象物までの距離を測定できるミリ波レーダーを組み合わせることにより、信号機の指示と距離を読み取ることが可能です。詳しくはこちらにジャンプ。
- センサーフュージョンを利用している実例は？
ここからは、実際にセンサーフュージョンを利用している例を紹介します。
- ADAS（先進運転支援システム）
- MMS（移動体計測システム）
- 地下鉄や空港ロビーなどの不審物検出
- 完全自動飛行ドローン
- 体温・温度測定
それぞれの使用事例について詳しくはこちらにジャンプ。
まとめ｜適切なセンサーを組み合わせることで精度が向上する
本記事では、センサーフュージョンの原理や活用方法を解説してきました。センサーフュージョンは、導入できるセンサーや処理方法、統合方法が豊富で、上手に活用すれば大きな効果を発揮します。
ただし、抱えている課題によって導入すべきセンサーは異なります。適さないセンサーを導入してもコストがかさみ、本来の効果を発揮できません。センサー選びと、そのデータ融合方法こそがデータフュージョンの成功を左右するカギと言っていいでしょう。
AI Marketでは、
貴社に最適な会社に手間なく数日で出会えます
AI Marketの編集部コンテンツです。AI Market編集部は、AI（人工知能）に関する技術や、製品・サービスなどの紹介記事を提供しています。ご興味をお持ちの製品やサービスがありましたら、ぜひご相談ください。
お電話で無料相談
WEBで無料相談
お問い合わせフォームへ