【AI用語解説】マルチモーダルAI

マルチモーダルAI

マルチモーダルAIとは、複数の入力値（画像・動画、音声、テキストなどのデータ）を元に、AIが総合的に対象を識別する処理のことを指します。

画像から、音声から、という一つの入力値を元に判断するのではなく、画像と音声を組み合わせて、対象の判断を行うことから、より人間の感覚に近い処理ができるため、昨今注目を集めています。

例えば、建物の前のカメラが人間を映しているとき、画像認識だけであれば、「そこに人間がいる」という情報しか識別することができませんが、ここに音声認識のAIを加えることで、映っている人間が発している言葉も認識できるため、「人が助けを求めている」などの判断などもできるようになります。

このように、複数の入力値を元にAIが処理を行うことをマルチモーダルAIと言い、昨今開発が進んています。

OpenAI社の提供するChatGPT（GPT-4）は、画像やテキストなど、様々なインプット、アウトプットが可能なマルチモーダルAIです。