AIを活用した動画学習の視聴・習得への影響を調査　〜AIで生成した講師動画に対し「6割は自然」と回答。受講状況に大きな影響はなし〜

ビッグデータ、人工知能、機械学習に関する研修・コンサルティング事業を運営する株式会社データミックスは、株式会社ドコモgacco、株式会社データグリッドの3社で、ドコモgaccoが無料オンライン講座プラットフォーム「gacco®(ガッコ)」で提供するAIを活用した学習向け動画コンテンツを使用し、AIで生成した講師動画の視聴者への影響調査の結果を発表した。

【gacco 公式ページ】 https://gacco.org/

＜本ニュースの10秒要約＞

• データミックス、ドコモgacco、データグリッドの3社でAI生成講師動画による視聴者の影響を調査
• AIが生成した講師による動画を活用しても、受講状況や正答率等に影響はなかった
• 受講者は、AIが生成した音声・動画ともに自然であると回答

調査内容

調査は、年齢の平均と標準偏差が近しい値になるようランダムに下記2つのグループに分け、それぞれに対してドコモgaccoが提供するコース「ビジネスマナー」と「異文化コミュニケーション」の動画を視聴してもらい、受講結果を比較・分析した。
(i) AIで生成した講師動画※２(以下、AI動画)を視聴するグループ
(ii) 人間による講師動画(以下、リアル動画)を視聴するグループ

※1調査の計画段階では、下記の想定で進め調査対象者を募集
・今回の分析では、同一コースにおいてAI動画とリアル動画を比較するためにスチューデントのt検定を実施。
・同一コースで同じテストを行うため等分散を仮定。
・その際に、以下の条件下で必要なサンプル数を算出し、調査対象人数を決定。
有意水準:5%、検出力:80%、効果量：0.77（2群の差:0.1/標準偏差:0.13)
取得後、テストの受講者の人数と実際の標準偏差を考慮し以下の条件で検定を実施。
・有意水準:5%、検出力:80%、効果量：0.72（2群の差:0.16/標準偏差:0.22)

※2　AIを活用した動画作成について
https://gacco.co.jp/news/release/news_20210312.html

AIで生成した講師動画と人間による講師動画の受講状況に大きな差はなし

AI動画、リアル動画の両方において、動画が進むにつれて視聴完了ユーザーの割合が低下する傾向にあるが、AI動画、リアル動画を比較すると、AI動画の方が視聴完了ユーザーの割合が高い場合もあることがわかったという。

「ビジネスマナー」コース視聴時にスキップした回数が0回の割合(枠で囲ってある部分)
※縦軸はスキップした人数の割合、横軸はスキップした回数を表示。

また、動画をスキップ（seek）した回数をヒストグラムにし、割合を確認したところ、 「ビジネスマナー」「異文化コミュニケーション」どちらの動画においても、AI動画とリアル動画を比較した場合、AI動画の方が「スキップ（seek）した回数が0回」の割合が高く、スキップ（seek）せずに視聴していることがわかったという。

視聴後のテストの正答率はAI動画、リアル動画で大きな差はなし

各動画の課題提出者を対象にし、平均値と標準偏差を計算したところ、「ビジネスマナー」においてわずかにリアル動画を視聴したグループの方が高かったものの、大きな差はないことがわかったという。

AIで生成された動画は6割が自然だと回答

学習後に行ったアンケートでは、AI動画を視聴したグループのうち6割が「とても自然」「まあ自然」と回答したという。

参照元：PRTIMES