最終更新日：2024-09-06

NECが映像認識AIとLLMでリアルタイムハイライト配信に成功

AIニュース

NECは2024年9月3日、有明アリーナで開催された「NTTドコモ Presents Lemino BOXING ダブル世界タイトルマッチ」において、映像認識AIと大規模言語モデル(LLM)を活用した「ハイライトシーンのリアルタイム自動抽出と要約文章の自動生成および投稿」の実証実験を実施した。

この技術により、ラウンド間のインターバル中にハイライト映像と要約文章をSNSにリアルタイム投稿することに成功し、新たなスポーツ観戦体験の可能性を示した。

1 ＜本ニュースの10秒要約＞
2 実証実験の概要と技術的特徴
3 実証実験の結果と成果
4 今後の展望と活用可能性
5 AI Market の見解

＜本ニュースの10秒要約＞

NECがボクシング試合でAIを活用したリアルタイムハイライト抽出と要約文章生成の実証実験を実施
映像認識AIとLLMの組み合わせにより、多角的なハイライトシーン抽出と臨場感ある要約文章の自動生成を実現
ハイライトをラウンド間のインターバル中にSNSへ投稿、新たなスポーツ観戦体験の創出に向けた可能性を示唆

実証実験の概要と技術的特徴

NECが実施した実証実験は、NTTドコモのLeminoでライブ配信されたボクシング試合のストリーミング映像に対して、NECの映像認識AIとLLMを組み合わせて適用するものだった。この技術の中核となるのは、NECのデータ活用基盤ソリューション「NEC Multimedia OLAP」だ。

このシステムは、複数の認識AIを用いたマルチモーダル分析手法により、ストリーミング映像からリアルタイムにハイライトシーンを多角的に抽出する。抽出されたシーンを基に、LLMを活用して臨場感ある表現や特定の選手に焦点を当てた描写など、多様な視点でストーリー性のある要約文章を生成する。

この技術により、ユーザーは場所やシーンを選ばず、より手軽に臨場感あふれる試合情報を入手し、楽しむことが可能となる。

実証実験の結果と成果

実証実験では、井上尚弥選手とTJ・ドヘニー選手の試合を対象に、有効な攻撃やダウンといったハイライトシーンの動画とサムネイル画像、およびそれらの特定シーンを説明する文章を自動で生成することに成功した。

さらに、生成されたコンテンツをラウンド間のインターバル中にSNSへリアルタイム投稿することができた。NECの技術は、単なるハイライトシーンの抽出にとどまらず、LLMを活用することで臨場感ある表現や選手に焦点を当てた描写など、多様な視点でストーリー性のある要約文章を生成できる点が特徴的だ。これにより、ユーザーはより深い理解と興味を持ってスポーツ観戦を楽しむことが可能となる。

今後の展望と活用可能性

NECは本技術の今後の展開について、いくつかの方向性を示している。まず、運営側での配信負担軽減が挙げられる。AIによる自動抽出と生成により、人手による編集作業を大幅に削減できる可能性がある。さらに、ユーザーが求める臨場感のあるハイライトシーン投稿を自動生成するサービス開発への活用も視野に入れている。

NECは、この技術を通じて生成AI活用を推進し、生活者の利便性向上に取り組む方針だ。また、本技術はNECが推進するDX戦略の一環として位置付けられており、「BluStellar（ブルーステラ）」と呼ばれる価値提供モデルの中で、業種横断の先進的な知見と最先端テクノロジーを活用したビジネスモデル変革の一例となっている。