NECが映像認識AIとLLMでリアルタイムハイライト配信に成功

NECは2024年9月3日、有明アリーナで開催された「NTTドコモ Presents Lemino BOXING ダブル世界タイトルマッチ」において、映像認識AIとLLM（大規模言語モデル）を活用した「ハイライトシーンのリアルタイム自動抽出と要約文章の自動生成および投稿」の実証実験を実施した。

この技術により、ラウンド間のインターバル中にハイライト映像と要約文章をSNSにリアルタイム投稿することに成功し、新たなスポーツ観戦体験の可能性を示した。

＜本ニュースの10秒要約＞

• NECがボクシング試合でAIを活用したリアルタイムハイライト抽出と要約文章生成の実証実験を実施
• 映像認識AIとLLMの組み合わせにより、多角的なハイライトシーン抽出と臨場感ある要約文章の自動生成を実現
• ハイライトをラウンド間のインターバル中にSNSへ投稿、新たなスポーツ観戦体験の創出に向けた可能性を示唆

関連記事：「テレビ・ラジオ業界のAI活用方法は？活用事例・導入事例徹底解説！」

実証実験の概要と技術的特徴

NECが実施した実証実験は、NTTドコモのLeminoでライブ配信されたボクシング試合のストリーミング映像に対して、NECの映像認識AIとLLMを組み合わせて適用するものだった。この技術の中核となるのは、NECのデータ活用基盤ソリューション「NEC Multimedia OLAP」だ。

このシステムは、複数の認識AIを用いたマルチモーダル分析手法により、ストリーミング映像からリアルタイムにハイライトシーンを多角的に抽出する。抽出されたシーンを基に、LLMを活用して臨場感ある表現や特定の選手に焦点を当てた描写など、多様な視点でストーリー性のある要約文章を生成する。

この技術により、ユーザーは場所やシーンを選ばず、より手軽に臨場感あふれる試合情報を入手し、楽しむことが可能となる。

実証実験の結果と成果

実証実験では、井上尚弥選手とTJ・ドヘニー選手の試合を対象に、有効な攻撃やダウンといったハイライトシーンの動画とサムネイル画像、およびそれらの特定シーンを説明する文章を自動で生成することに成功した。

さらに、生成されたコンテンツをラウンド間のインターバル中にSNSへリアルタイム投稿することができた。NECの技術は、単なるハイライトシーンの抽出にとどまらず、LLMを活用することで臨場感ある表現や選手に焦点を当てた描写など、多様な視点でストーリー性のある要約文章を生成できる点が特徴的だ。これにより、ユーザーはより深い理解と興味を持ってスポーツ観戦を楽しむことが可能となる。

今後の展望と活用可能性

NECは本技術の今後の展開について、いくつかの方向性を示している。まず、運営側での配信負担軽減が挙げられる。AIによる自動抽出と生成により、人手による編集作業を大幅に削減できる可能性がある。さらに、ユーザーが求める臨場感のあるハイライトシーン投稿を自動生成するサービス開発への活用も視野に入れている。

NECは、この技術を通じて生成AI活用を推進し、生活者の利便性向上に取り組む方針だ。また、本技術はNECが推進するDX戦略の一環として位置付けられており、「BluStellar（ブルーステラ）」と呼ばれる価値提供モデルの中で、業種横断の先進的な知見と最先端テクノロジーを活用したビジネスモデル変革の一例となっている。

AI Market の見解

NECが実施した映像認識AIとLLMを組み合わせたスポーツハイライト自動生成技術は、スポーツエンターテイメント業界に大きな影響を与える可能性がある。

特に、リアルタイム性の高い映像処理とLLMによる自然言語生成を組み合わせた点が注目に値する。これにより、従来の人手による編集作業を大幅に効率化しつつ、質の高いコンテンツ生成を実現している。若年層を中心とした新たな視聴者層の獲得につながり、スポーツ中継やコンテンツ配信の在り方を変革する可能性がある。

スポーツ以外のライブイベントや、ニュース報道など、リアルタイム性が求められる様々な分野への応用が期待される。また、この技術は放送局やコンテンツプロバイダーの業務効率化だけでなく、個人のコンテンツ制作者にも力を与える可能性がある。

参照元：NEC