ヘッドライン

ホーム >> ヘッドライン >> AnimateDiff+OpenPose AI動画 (txt2img)

メイン | 簡易ヘッドライン

PC修理のわたなべ

AnimateDiff+OpenPose AI動画 (txt2img) (2023-10-14 19:41:00)

sound

ポッドキャスト : video/mp4

はじめに

前回、sd-webui-AnimateDiff AI動画 (img2img)で動画を生成した。

しかし、AnimateDiffのみを使用した際の滑らかな（ヌルヌルした）動画を作成することができなかった。

そこで、animatediff＋openposeで何かできないかと検索していたところ、以下のようなサイトを見つけた

【AIアニメ】ComfyUIとControlNetでAnimateDiffを楽しむ｜Baku

「AnimateDiff」では簡単にショートアニメをつくれますが、プロンプトだけで思い通りの構図を再現するのはやはり難しいです。そこで、画像生成でおなじみの「ControlNet」を併用することで、意図したアニメーションを再現しやすくなります。必要な準備 ComfyUIでAnimateDiffとCo...

note.com

ComfyUIにて作成していたため、sd-webuiで生成できるように考案した。

準備

Openpose画像（openpose_samples.zip）を以下のサイトから、ダウンロードする
※下記サイト様より、Openpose画像をお借りしました

【AIアニメ】ComfyUIとControlNetでAnimateDiffを楽しむ

【AIアニメ】ComfyUIとControlNetでAnimateDiffを楽しむ｜Baku

note.com

　【こちらからもダウンロード可能（ openpose_samples.zip ）】

連続画像を動画に変換する

Openpose画像を動画にするため、Flowframesを使用した

Flowframes - Fast Video Interpolation for any GPU by N00MKRAD

Video interpolation for everyone. Up to 100x faster than DAIN, compatible with all recent AMD/Nvidia/Intel GPUs.

nmkd.itch.io

編集などの設定は、以下の通りです。

Openpose画像を動画にした
※ゆっくりバージョン

openpose_samples-4x-RIFE-RIFE3.8-16fps.mp4

動画生成

画像準備

モデル： BracingEvoMix_v1.safetensors

プロンプト：

  1girl, grin, smile,standing,hair fluttering, tilting head,wave hand,perfect light,
pink dress, on stage,realistic, best quality, <lora:sweet_dress_style2_v1:0.8> ,

Sampling method: DPM++ 2M Karras

Hires. fix：1.2　

Number of frames：48 （6秒）

ControlNetにて、「OpenPose」を使用

動画元が、 OpenPose 動画のため、Preprocessorを「 none」 に変更　（←※重要）

roopで顔を固定する　（Upscaler scale は R-ESRGAN 4x+ 選択）

完成動画

VideoProc Vlogger使用（BGM追加など）

考察動画

今回作成したAI動画と元のOpenPose動画の比較

考察

連番画像を動画に変更することにより、動作をある程度固定した状態で、綺麗な動画（ヌルヌルした動画）を生成することができた。

なおかつ、Flowframesソフトを活用することにより、OpenPoseを動画にすることも簡単に作成できた。

execution time : 2.906 sec

坂東市のお役立ち情報が満載！