No.990
2024.12.12
写真やテキストから動画を生成できる動画生成AIモデル
Dream Machine（ドリームマシン）
概要
「Dream Machine（ドリームマシン）」とは、入力された画像やプロンプト（命令文）から、ハイクオリティな動画を無料で生成できるAIサービス。Googleアカウントからログインするだけで、リアルかつ自然な最大5秒間の動画を2分ほどで生成できる（生成速度は1フレーム1秒）。また、プロンプトを自動生成する「Idea」機能や、2枚の画像の間を補完して動画を生成する「キーフレーム」機能など、機能も充実。プロンプト入力と画像入力を組み合わせることで動画制作の幅を広げられるサービスとして、エンターテインメントや広告など多様な分野での活用が期待される。
なぜできるのか？
データの正確な読解を実現するシステム
「Dream Machine」では、テキストや画像といった異なる種類のデータを統合して処理するマルチモーダルAIを採用。さらに、単語間の関係性を重みづけしながら学習するトランスフォーマーアーキテクチャにより、入力された文章や画像の文脈を正しく把握できる。
自然な動画の生成を可能にする動画データの直接学習
モデルのトレーニングにはAmazon Web Services（AWS）と高性能なAI用ビデオボード「NVIDIA H100」を使用した機械学習トレーニングインフラストラクチャ 「SageMaker HyperPod」と協力。動画で直接トレーニングしているため、物理的に正確で自然な動画を生成できる。
プロンプト作成のサポート機能
「Dream Machine」には、「Idea」機能のほか、短いプロンプトを自動で補足する「Enhance Prompt」機能も付属。プロンプトの作成に不慣れなユーザーでもクオリティの高い動画を生成できる。
相性のいい産業分野
- メディア・コミュニケーション
1枚のスチール写真から作ったショート動画広告
- アート・エンターテインメント
写真数枚からで作った、撮影不要の短編映画
- AI
アーティストのキャンバス描画や彫刻が動画になって動き出すインタラクション
- 生活・文化
故人の写真を動画化し命を吹き込むサービス
この知財の情報・出典
この知財は様々な特許や要素技術が関連しています。
詳細な情報をお求めの場合は、お問い合わせください。
Top Image : © Luma AI