Runway社、マルチモーダルでクリエイティブ用途に特化した次世代動画生成モデル「Gen-3 Alpha」発表

Runway社は、2024年6月17日、マルチモーダルなトレーニングを施した次世代の動画生成モデル「Gen-3 Alpha」を発表した。

同社は、米ニューヨークを拠点として生成AI動画作成モデルの開発に注力するAIスタートアップ企業だ。「Gen-3 Alpha」は、テキスト／静止画像／動画をプロンプトとして高品質でリアルな動画を生成でき、よりクリエイティブな表現を可能にするAIモデルとなっている。

＜本ニュースの10秒要約＞

• マルチモーダルなトレーニングを施した次世代の動画生成モデル「Gen-3 Alpha」
• 想像力豊かな移動シーンなどを実現、表現力が豊かな人間キャラクターの生成も強み
• 映画用語を解釈し、よりクリエイティブな表現も可能に。カスタムバージョンの開発も

クリエイティブに特化した動画生成AIモデル「Gen-3 Alpha」

「Gen-3 Alpha」は、クリエイティブな用途向けに徹底的にトレーニングされた新しい動画生成AIモデルだ。Runway社にとっては、大規模なマルチモーダルトレーニングを施したモデルシリーズの最初の製品であり、忠実度／一貫性／動きを大幅に改善することで同社が目指す「General World Models（一般世界モデル）」構築の一歩となり得るモデルに仕上がった。

同モデルは、非常に説明的で時間的にも密度が高いキャプションを使用してトレーニングを行うことで、想像力豊かな移動シーンや正確なキーフレーミングも実現。幅広いアクション／ジェスチャー／感情などを持つ表現力が豊かな人間キャラクターの生成にも強みを持つ。研究科学者／エンジニアと共にアーティストも参画したチームで開発を行ったため、幅広いスタイルや映画用語の解釈を実現し、よりクリエイティブな表現も可能にしている。

動画／画像の両方を用いたマルチモーダルなトレーニングが実施したため、「Gen-3 Alpha」はテキストからの動画生成に留まらず、画像からの動画生成やテキストの画像生成など、多様なタスクが実行可能だ。また、「Motion Brush」「Advanced Camera Controls」「Director Mode」といった既存ツールにも対応可能となっている。

大手エンタメ企業などに向けたカスタムバージョンも開発

Runway社は今回の発表において、「Gen-3 Alpha」で生成した動画も公開。「Subtle reflections of a woman on the window of a train moving at hyper-speed in a Japanese city.（日本の都市を超高速で移動する電車の窓に映る、女性の微妙な反射）」というプロンプトで生成されたものなど、多数の動画を公開している。

また同社は「Gen-3 Alpha」について、大手エンターテインメント企業やメディア組織に向けたカスタムバージョンの開発も進めている。このカスタムバージョンは、よりスタイルが制御され一貫性を持つキャラクターの生成が可能になるというものだ。特定の芸術的および物語的な要件をターゲットにすることができる仕様となっている。

Runway社は「Gen-3 Alpha」を、新たな安全対策と共に公開する予定であり、数日以内にRunway社製品で利用が可能になるとしている。

参照元：Runway社

生成AI（ジェネレーティブAI）について詳しく知りたい方はこちらの記事もご参考ください。