ジェネレーティブAIが急速に発展している今、映像生成技術は大手テクノロジー企業の新たな戦場となりつつある。世界的な話題を呼んだOpenAIのSoraに続き、国内ベンダーも独自のAI動画生成ソリューションを発表した。最近、百度の商用研究開発チームは、マルチモーダル生成の大型モデルを発表した。ミューズスチーマーこの製品は、海外の権威ある評価リスト「VBench」で世界1位を獲得しただけでなく、中国の文脈で初めてオーディオとビデオの同時生成を達成した。
MuseSteamerのコア技術力の解剖
強力な中国語の意味理解
MuseSteamerの最大の特徴は、中国語の文脈に深く最適化されていることです。億規模のビデオスライスデータベースを構築し、「スクリーニング-精製-マッチング」の3段階のデータ最適化システムを採用することで、テキスト指示とビジュアル要素間の正確な意味的整合を保証します。このターゲット化されたデータ処理により、モデルは中国語の手がかりのニュアンスや文化的な意味合いを正確に理解することができる。
きめ細かな映像構造記述システム
業界の主流製品とは異なり、MuseSteamerは構造化されたビデオ記述方式を採用しています。この方式は、画像の詳細（被写体、背景、動き、雰囲気、光と影）を含むだけでなく、カメラ言語、被写体の動きの強さ、スタイル記述などの専門的な要素も深く統合しています。この洗練された描写システムは、リアル、シネマティック、サイバーパンク、ヴィンテージフィルム、ミニマリスト、アニメなどの幅広いスタイルタイプをカバーしています。
オーディオとビデオの統合がブレークスルーを生む
MuseSteamerの大きな革新の一つは、音声と映像のリアルな同期生成です。マルチモーダルなスケジューリングと統合された音声と映像の学習モデルにより、「誰が、どのように、どのような環境で話しているか」という3つの核心的な問題を自動的に処理できるため、台詞、背景音、音楽などのマルチトラックオーディオが映像コンテンツと自然に融合し、視聴者の没入感を大幅に向上させます。
さまざまなニーズに応える包括的な製品マトリックス
MuseSteamerは、個人のクリエイターからプロの映画・テレビ局まで、多様なニーズを的確にカバーする製品ラインナップを取り揃えています：
実技試験：能力と限界を同時に試す
意味理解における卓越したパフォーマンス
意味理解テストでは、MuseSteamerは素晴らしいパフォーマンスを見せた。男子高校生が夕方の運動場でバスケットボールのシュートのために飛び上がり、その姿は夕日によって引き伸ばされる」を例にとると、モデルはジャンプとシュートのアクションの流れを完全に正確に再現し、キャラクターの影はアクションと一致し、夕日の光と影の効果は自然でリアルです。MuseSteamerは、アクション理解に乖離のある類似製品と比較して、より強力な意味解析能力を示しています。
アクションの連続性は注目に値する
MuseSteamerは、「ウサギがキーボードを叩き、片手でコップを取って飲み、もう片方の手でキーボードを叩き続ける」というテストにおいて、基本的なアクションの連鎖を完成させるだけでなく、キャラクターに豊かな表情や微小な動きを独自に追加し、静的なグラフィックキャラクターを生き生きとしたものにしました。アクションの連鎖は若干不完全ですが、全体的な整合性は満足のいくものです。
スタイル・コントロールにおける優れたパフォーマンス
ファンタジースタイルのテストでは、MuseSteamerは「ファンタジースタイルで、少女が輝くユニコーンに乗って、色とりどりの泡が浮かぶ谷間を駆け抜ける」というシーンの描写を正確に再現した。出来上がった映像は、柔らかな後光、色とりどりの泡、星の光、ひらひらと舞うスカートなど細かな要素で満たされ、全体的に統一感のあるスタイルにまとまっている。
レンズの移動能力を改善する必要がある
しかし、MuseSteamerは、複雑なカメラ操作の面で大きな欠点を明らかにしている。コウモリ探偵の周囲をカメラで撮影する」テストでは、効果的なカメラ移動がほとんどできなかった。比較的単純な "ズームアウト "コマンドは基本的に完了できるが、画面の端には明らかな継ぎ目の欠陥が見られる。
発電効率の最適化はまだ必要
全体的なテスト経験から、MuseSteamerの生成速度は比較的遅く、一般的に3～5分かかります。これは、素早く作品を反復する必要があるユーザーにとって、ワークフローのスムーズさに影響するかもしれません。
AI映像生成の未来像
MuseSteamerのリリースは、国内のAI映像生成技術が急速に国際的な先進レベルに追いつきつつあることを意味する。特定の複雑なシナリオではまだ改善の余地があるが、中国語の意味理解、スタイル制御、音声と映像の同期化における画期的な進歩は、業界に新たな基準を打ち立てた。
MuseSteamerは、8月にオーディオ版を正式リリースし、Pro版、Lite版を順次発売することで、シーン全体をカバーするAI映像生成のエコロジーを構築することが期待される。コンテンツクリエイターにとって、これは制作ツールのバージョンアップを意味するだけでなく、クリエイティブな表現方法の根本的な変化を意味する。
MuseSteamerのターボバージョンは、現在「EYE」プラットフォームで無料でご利用いただけます。 huixiang.baidu.com この画期的なAI映像生成技術をぜひ体験してください。
