ヘッドライン

ホーム >> ヘッドライン >> AnimateDiff AI動画 (yayoiMix使用)

メイン | 簡易ヘッドライン

PC修理のわたなべ

AnimateDiff AI動画 (yayoiMix使用) (2023-10-31 15:36:05)

はじめに

yayoiMixの生成画像を試してみると、日本人の人物を綺麗に表現できた。

今回は、yayoiMixにて、sd-webui-AnimateDiff AI動画にチャレンジしてみました。

→　 CIVIT AI (yayoi_Mix) ?から、ダウンロード可能

AnimateDiff (txt2img)

設定内容

※今回は、かわいらしい小さい女の子を表現できたらと思います

モデル：yayoiMix

プロンプト：

  1loli, ((10yo)), face, hair flower, grin, realistic, 
0: close_eyes, from side
16: open_eyes, from front

※AnimateDiffでは、呪文の単語数が少ないほうが、動きのある動画を表現できるように感じます。

大きさ：600×800

生成された32枚の画像

各画像をより綺麗に(img2img)

img2imgを利用し、生成された画像をより綺麗にしてみる。

ピクチャフォルダに「test_input」フォルダを作成
output用に「test_output」フォルダを作成

「test_input」フォルダに先ほど生成した32枚の画像をコピーする

「 Batch 」タブを選択し、以下のような設定にした。

Resize to

※画像の大きさを作成した画像の大きさに合わせる（600×800）

Resize by

※大きさを1.25倍に拡大（750×1000）

ControlNetを以下のように設定し、各画像の相関性を合わせるようにした

生成すると「test_output」フォルダに32枚の画像が生成される

動画生成（FILM使用）

生成した「test_output」フォルダの32枚の画像を FILMで綺麗な動画に変換しました。

FILMの詳細は、以下をご確認ください。

動画の再生速度を変更(ffmpeg使用）

   動画を2倍速 
 ffmpeg -i input.mp4 -vf setpts=PTS/2 -af atempo=2 output_fast.mp4 
「-vf setpts=PTS/2 -af atempo=2」の箇所で、動画のテンポを変更
「-vf setpts=PTS/2」で動画の速度が2倍
「-af atempo=2」で音声の速度が2倍

※今回は、生成した動画（input.mp4)を12倍速に変更（cmd使用)

   ffmpeg -i input.mp4 -vf setpts=PTS/12 -af atempo=12 output_fast.mp4

編集動画（BGM付き）

【 VideoProc Vlogger 　編集画面】

考察

いろいろなモデルが登場してきました。

日本人モデルも以前に比べると多様な人物を表現できるようになりました。

くわえて、思い通りの動きができるようになれば、短編ムービーも可能になっていけると思います。

以前と比べると、LoRAを使用しなくても、かわいらしい女の子を表現できたのも画期的に感じます。

execution time : 0.039 sec

坂東市のお役立ち情報が満載！