2024年4月にFireflyがバージョンアップ
商用利用が可能なAdobeの画像生成AIのFireflyがImage３としてクォリティが飛躍的に向上しました。
画質やディティール表現・プロンプトの理解力の改善や豊富なオプションなど、よりイメージに近い画像が短時間で生成。
もちろん、スタンドアローンでの利用も可能ですが、Phot shopやExpressなどのデザインツール内でシームレスに活用ができるので、ソフト間の行って来いがなくり効率的に必要な素材の生成が可能になりました。
そこで、今回は動画内で語る女性MCを生成、彼女を動画に合成させスピーチをするシーンを１から作成してみます。
使用するソフト
- Adobe Photo shop Beta版 （人物生成）
- Creative Reality Studio（AI_ナレーション録音）
- Adobe After effects （合成・マスタリング）
① Phot shop Beta版での人物生成
（１）縦1080/横1080_解像度144ピクセルで作成。
（２）背景レイヤーがデフォルトで設定されていることを確認してから
（３）[編集→画像を生成]を選択すると、FireFlyの生成画面が開きます。
（４）「プロンプト生成」に作りたい画像のイメージをテキストで入力していく。
（５）コンテンツタイプからアート（イラスト系）か写真を選択。
（６）効果からイメージするテーマや質感などを選択（複数選択可能）
（７）生成ボタンをクリック
（８）今回はプロンプトを「オフィス 紺のスーツを着た美しい女性 白のブラウス 金髪のロングヘアー ブルーアイズ 二重 ナチュラルメイク 正面のアングル」で設定。構造的に半角を空けて記述。または文章でも可能。
（９）効果は「テーマ→超現実的・効果→ボケ効果・コンセプト→美しい」で設定
複数設定も可能。
一回の生成で３パターンの異なる画像が生成されます。
お気に入りがなければ、再度生成を繰り返えすか、プロンプトを修正または追加して生成をします。
生成の記録は自動的に保存されていきます。
・希望の画像が生成されたら、部分的な修正ができます。
ツールから「オブジェクト選択」で変更したい箇所をざっくりと囲みます。
すると、自動的にブラウスだけを選択してくれます。パスで切る必要はありません
※ここでは、白のブラウスの変更とネックレスをプラスします。
・メニューの[選択範囲→選択拡張]を選択。
差替え画像の合成を馴染ませる為に20ピクセル拡張します。（拡張数値は適宜調整ください）
・予め差替用の参考画像を用意しておきます。（近いアングルの画像）
・参考画像ボタンを押して、画像を選択。
・指定された部分が参考画像をもとに生成され差替えられます。
・後の合成を考え「背景を削除」のボタンで切り抜きます。
・人物の下のレイヤーに明るめのグリーンで背景レイヤーを作成。
※グリーンの色調は「クロマキーグリーン」で検索すれば近似色が得られます。
・人物のレイヤーと背景のグリーンを別々にPNGで書き出し保存します。
これで、Phot shopでの素材作りは完了です。
② Creative Reality Studioで人物のスピーチを録音
・GoogleなどのアカウントでLogIn
無料のトライアルでも可能ですが、出力画像全体にウォーターマークが表示さるので可能でれば、まずはライト版（有料）で行うことをお勧めします。Pro版から商用利用が可能です。まずはトラアルで試してみてください。
[今回はライト版で作成]
・右上にあるオレンジの「Create」から「VIdeo」を選択
・デフォルトのアバター一覧が表示されるので「Upload」をクリックして先ほど作成した人物画像（PNG)を読み込みます。
感情表現や動きなどを内容に応じたものが選択できます。
・ツールの「Script」ボタンを選択して、スピーチ原稿をテキストで入力。
または、ご自分の声をリアルタイムで録音したり、ナレーションなどの音声データをアップロードすることもできます。
・語り手（ナレーター）の選択です。
言語・性別・作品の内容に則したトーン、喋りの速度などの選択、語り手のサンプルボイス等がプレビューできます。
・ツールから「Background」を選択して、素材のgreen.PNGをアップロード
・画面右上の「Generate Video」をクリック
・生成がスタート。
生成データをプレビューしてOKであれば、ダウンロードで動画素材の完成です。
[追記]
人物とグリーンバックを合体させた一枚絵をアップロードして生成した結果、背景が白に切り抜かれてました。そのため、アバターは「人物レイヤーPNG」だけをアップロードし「Backgraund」で「green.PNG」をアップロードして生成をしました。
また、ナレーションの音声はデフォルトの日本語だと選択肢が少なく抑揚などの感情も一切ないので、過去実際に収録した女性のナレーションデータをアップロードしてします。
③ After EffectsまたPremiereProなどの編集ソフトを活用しての切り抜き合成
編集ソフトに先ほどのスピーチ動画のデータをインポートし、エフェクトのキーイングでグリーンを指定して切り抜きます。
元々静止画なので照明のムラなどもなく、１発で簡単に切り抜きができましたが、ディティールなど若干の調整は行なっております。
背景に、適当な動画素材をStoryblocksからダウンロードをして配置。
※生成されたスピーチ動画の画質は若干ボケではいるが然程気にはならなかったが、ジャケットの色が圧縮などの加減で少し薄く褪せていたので、
人物の顔の動きに重ならないラインでマスク（ワイプ）をして、オリジナルのPNGを貼り付けて処理をしてます。
まとめ
【AIキャラクター活用のメリット】
・企業動画の構成(MCやレポーターによる解説)に適している
・実際のキャストを起用する場合に比べ、工数とコストの削減からクライアント承認が得やすい
キャストの使用期間や競合などの縛りがない
【活用が期待できる用途例】
・企業動画での解説・進行役
・プレゼンテーション資料の音声化
【現状の課題と対策】
課 題
・日本語においては抑揚、感情表現の自然さに課題
・日本語AIナレーターの選択肢が限られている
対 策
・重要なナレーションはプロの声優による事前録音データを使用
声に対するの著作権の回避
【結 論】
課題への適切な対応により、「AIキャラクターと人間の音声」を組み合わせることで、コスパの良い企業動画の制作は可能。
社内用の動画であれば、AIのボイスでも十分伝えることは可能。
