ヘッドライン-Bando! 坂東市タウンなび

AnimateDiff AI動画 (yayoiMix使用) (2023-10-31 15:36:05)

はじめに

yayoiMixの生成画像を試してみると、日本人の人物を綺麗に表現できた。

今回は、yayoiMixにて、sd-webui-AnimateDiff AI動画にチャレンジしてみました。

→　 CIVIT AI (yayoi_Mix) ?から、ダウンロード可能

AnimateDiff (txt2img)

設定内容

※今回は、かわいらしい小さい女の子を表現できたらと思います

モデル：yayoiMix

プロンプト：

  1loli, ((10yo)), face, hair flower, grin, realistic, 
0: close_eyes, from side
16: open_eyes, from front

※AnimateDiffでは、呪文の単語数が少ないほうが、動きのある動画を表現できるように感じます。

大きさ：600×800

生成された32枚の画像

各画像をより綺麗に(img2img)

img2imgを利用し、生成された画像をより綺麗にしてみる。

ピクチャフォルダに「test_input」フォルダを作成
output用に「test_output」フォルダを作成

「test_input」フォルダに先ほど生成した32枚の画像をコピーする

「 Batch 」タブを選択し、以下のような設定にした。

Resize to

※画像の大きさを作成した画像の大きさに合わせる（600×800）

Resize by

※大きさを1.25倍に拡大（750×1000）

ControlNetを以下のように設定し、各画像の相関性を合わせるようにした

生成すると「test_output」フォルダに32枚の画像が生成される

動画生成（FILM使用）

生成した「test_output」フォルダの32枚の画像を FILMで綺麗な動画に変換しました。

FILMの詳細は、以下をご確認ください。

動画の再生速度を変更(ffmpeg使用）

   動画を2倍速 
 ffmpeg -i input.mp4 -vf setpts=PTS/2 -af atempo=2 output_fast.mp4 
「-vf setpts=PTS/2 -af atempo=2」の箇所で、動画のテンポを変更
「-vf setpts=PTS/2」で動画の速度が2倍
「-af atempo=2」で音声の速度が2倍

※今回は、生成した動画（input.mp4)を12倍速に変更（cmd使用)

   ffmpeg -i input.mp4 -vf setpts=PTS/12 -af atempo=12 output_fast.mp4

編集動画（BGM付き）

【 VideoProc Vlogger 　編集画面】

考察

いろいろなモデルが登場してきました。

日本人モデルも以前に比べると多様な人物を表現できるようになりました。

くわえて、思い通りの動きができるようになれば、短編ムービーも可能になっていけると思います。

以前と比べると、LoRAを使用しなくても、かわいらしい女の子を表現できたのも画期的に感じます。

小規模企業景気動向調査「２０２３年９月期調査結果」について (2023-10-31 13:28:22)

全国商工会連合会　産業政策部　産業政策課より、小規模企業景気動向調査「２０２３年９月期調査結果」につきましてご報告がございましたので、下記の通り公開いたします。

２０２３年９月期景気動向調査PDFダウンロード（744KB）

このページのお問い合わせ先

全国商工会連合会　産業政策部　産業政策課

〒100-0006　東京都千代田区有楽町1-7-1　有楽町電気ビル北館19F

TEL：03-6268-0085

一条貫太さん予約キャンペーン模様 (2023-10-28 16:00:00)

ブログが大変遅くなりました。10月25日は一条貫太さんのキャンペーンでした。発売前に予約キャンペーンをしていただきまして「男の漁場」は2回目となりました。平日にもかかわらず応援に来ていただき感謝の気持ちでいっぱいです。また来年2月23日（祝日）小山グランドホテルディナーショーに出ていただくことになりました。一条貫太、朝花美穂、谷島明世さんの3名です。フルコースのお料理付で料金は13,000円です。お申込みは小山グランド　0285-24-5111もしくは岩崎090-8859-5959まで　宜しくお願いいたします...

Frame Interpolation for Large Motion【FILM】 (2023-10-21 17:52:21)

ポッドキャスト : video/mp4

はじめに

AnimateDiffにある FILM の項目に興味をもった。

※FILM（Frame Interpolation for Large Motion）

２枚の画像を入力するだけで、その間の動きを補間して、動かすという技術だそうです。

参考サイト

画像をぬるぬる動かすFrame Interpolation for Large Motion【FILM】

画像をぬるぬる動かすFrame Interpolation for Large Motion【FILM】

ディープラーニングの使いどころはたくさんあると思います。今までいろいろなモデルをいじってきた私が考える、ディープラーニングの使い方の真骨頂は「補間」です。今回、試してみるのは"THE補間"ともいえる技術のFrame In

farml1.com

FILMインストール

Windows インストール手順

https://github.com/google-research/frame-interpolation/blob/main/WINDOWS_INSTALLATION.md

github.com

github

GitHub - google-research/frame-interpolation: FILM: Frame Interpolation for Large Motion, In ECCV 2022.

FILM: Frame Interpolation for Large Motion, In ECCV 2022. - GitHub - google-research/frame-interpolation: FILM: Frame Interpolation for Large Motion, In ECCV 20...

github.com

Anaconda

Anacondaをインストール
CMD.exe PromptのLaunchから起動

  pip install --ignore-installed --upgrade tensorflow==2.6.0
python -c "import tensorflow as tf;print(tf.reduce_sum(tf.random.normal([1000, 1000])))"

frame-interpolation> に「 pretrained_models 」フォルダを作成し、以下のデータをインストールする

pretrained_models - Google ドライブ

drive.google.com

  git clone https://github.com/google-research/frame-interpolation
cd frame-interpolation
pip install -r requirements.txt
conda install -c conda-forge ffmpeg

FILM実行

中間フレーム補間

  python -m eval.interpolator_test --frame1 photos\one.png --frame2 photos\two.png --model_path <pretrained_models>
\film_net\Style\saved_model --output_frame photos\output_middle.png

多数のフレーム間補間

AI画像を生成

同様な画像を少しずつ変化を加えて５枚生成し、４枚を逆順に加える。

画像01.png?09.pngを「 photos 」フォルダ以下に配置

  python -m eval.interpolator_cli --pattern "photos" --model_path <pretrained_models> \film_net\Style\saved_model
--times_to_interpolate 6 --output_video

完成動画

AnimateDiff AI動画 (最新BRA V7使用) (2023-10-21 0:31:38)

ポッドキャスト : video/mp4

はじめに

最新のBRAV7がリリースされました。

最新BRAV7にて、sd-webui-AnimateDiff AI動画にチャレンジしてみました。

　→　 CIVIT AI (BRAV7) から、ダウンロード可能

BRAV7

Beautiful Realistic Asiansの新モデルは、以下のサイトを参考にしました。

待望のBRAV7がリリース！Beautiful Realistic Asiansの新モデル・プロンプトなど

待望のBRAV7がリリース！Beautiful Realistic Asiansの新モデル・プロンプトなど

Stable Diffusion等の画像生成AIで大人気のモデルBeautiful Realistic Asians(BRA)から、新モデルV7がリリースされました。V5、V6との比較や、おすすめのプロンプトなどをご紹介。

ai-freak.com

roop用顔画像 (BRAV7使用)

Beautiful Realistic Asians( BRA )から、待望の新モデル V7 がリリースされました。

早速、生成してみました。

プロンプト：1girl, japanese, cute, smile, realistic, best quality, 8k, pink dress, perfect brightness,

生成画像

画質も一段と綺麗になりました。

参考サイト（AnimateDiff）

AIでアニメーション制作！AnimateDiffの基本的な使い方【Automatic1111】

AIでアニメーション制作！AnimateDiffの基本的な使い方【Automatic1111】 | SoreNuts

Stable Diffusion Web UI(Automatic1111)の拡張機能「AnimateDiff」の使い方です。MotionLoRAの併用方法、MP4の書き出しエラーの対処法などを掲載しています。一貫性のある短いアニメーションならこの拡張機能がおすすめです。

sorenuts.jp

AnimateDiff (txt2img)

設定方法などは、以下をご覧ください。

モデル：beautifulRealistic_v7

プロンプト：

  1girl, japanese, cute, smile, realistic, best quality, 8k, pink dress, perfect brightness,
0: standing
10: close_eyes
16: walking
20: open_eyes
<lora:sweet_dress_style2_v1:0.8> ,

設定内容

FPS８フレーム、総数32フレーム（4秒）

生成された32枚の画像

各画像をより綺麗に(img2img)

img2imgを利用し、生成された画像をより綺麗にしてみる。

ピクチャフォルダに「 sample 」フォルダを作成
output用に「 sample_output 」フォルダを作成

「 sample 」フォルダに先ほど生成した 32枚の画像をコピーする

「Batch」タブを選択し、以下のような設定にした。

より綺麗な画像に変換したいので、画像サイズを1.5倍に上げた

ControlNetを以下のように設定し、各画像の相関性を合わせるようにした

BRAV7で生成したAI画像をroop に用いた

連続画像を動画に変換

連続画像を動画に変換する

Flowframes を使用

詳細は、以下を参考にしてください

編集などの設定は、以下の通りです。

完成動画

sample_output-2x-RIFE-RIFE3.8-16fps.mp4

YouTube用　編集動画

YouTube用に編集した。

VideoProc Vlogger を使用し、BGMやモーション設定などを追加した。

音源

フリーBGM「センチメンタル・リバー (instrumen…」

フリーBGM素材『センチメンタル・リバー (instrumental)』試聴ページ｜フリーBGM DOVA-SYNDROME

無料・著作権フリーのBGM素材「センチメンタル・リバー (instrumental)（作：ioni）」の試聴ページです。

dova-s.jp

【 VideoProc Vlogger 　編集画面】

完成動画（YouTube用）

※高画質に変更してから、ご確認ください

↓（高画質） 1080p60HD で確認するとより綺麗な動画になります↓

三丘翔太さんキャンペーン模様 (2023-10-19 12:20:00)

10月17日（火）三丘翔太さん新曲18日発売前日にキャンペーンをしていただきました。今回の曲は「釧路発5時35分根室行き」です平日でしたので皆さん応援に来て下さるか心配しましたがファンの方も遠方から、そして地元の方も(^_-)-☆やはり翔太君の歌を聴くと元気をもらえるとおっしゃっていました。是非応援して下さいね...

10/26（木）「壮青年部・青年部・女性部　合同献血」のお知らせ (2023-10-17 15:42:11)

例年実施しております「合同献血」を今年度も実施いたします。

詳しい内容や注意事項につきましては下記をご参照ください。

今回の献血では、事前にご予約のうえご協力いただくことが可能です。

献血当日の希望時間帯の180分前までご予約可能ですので、待ち時間の短縮や混雑回避のため、ご活用のほどお願い致します。※もちろん、ご予約なしでもご協力いただけます。

⇒　献血Web会員サービス「ラブラッド」

https://www.kenketsu.jp/Login?startURL=%2FMyPage

献血については、是非こちらの動画もご視聴ください。

【日本赤十字社】What’s KENKETSU??よくわかる献血のはなし?

https://www.youtube.com/watch?v=Tio4jeik1yY

ご協力よろしくお願いいたします。

AnimateDiff+OpenPose AI動画 (txt2img) (2023-10-14 19:41:00)

ポッドキャスト : video/mp4

はじめに

前回、sd-webui-AnimateDiff AI動画 (img2img)で動画を生成した。

しかし、AnimateDiffのみを使用した際の滑らかな（ヌルヌルした）動画を作成することができなかった。

そこで、animatediff＋openposeで何かできないかと検索していたところ、以下のようなサイトを見つけた

【AIアニメ】ComfyUIとControlNetでAnimateDiffを楽しむ｜Baku

「AnimateDiff」では簡単にショートアニメをつくれますが、プロンプトだけで思い通りの構図を再現するのはやはり難しいです。そこで、画像生成でおなじみの「ControlNet」を併用することで、意図したアニメーションを再現しやすくなります。必要な準備 ComfyUIでAnimateDiffとCo...

note.com

ComfyUIにて作成していたため、sd-webuiで生成できるように考案した。

準備

Openpose画像（openpose_samples.zip）を以下のサイトから、ダウンロードする
※下記サイト様より、Openpose画像をお借りしました

【AIアニメ】ComfyUIとControlNetでAnimateDiffを楽しむ

【AIアニメ】ComfyUIとControlNetでAnimateDiffを楽しむ｜Baku

「AnimateDiff」では簡単にショートアニメをつくれますが、プロンプトだけで思い通りの構図を再現するのはやはり難しいです。そこで、画像生成でおなじみの「ControlNet」を併用することで、意図したアニメーションを再現しやすくなります。必要な準備 ComfyUIでAnimateDiffとCo...

note.com

　【こちらからもダウンロード可能（ openpose_samples.zip ）】

連続画像を動画に変換する

Openpose画像を動画にするため、Flowframesを使用した

Flowframes - Fast Video Interpolation for any GPU by N00MKRAD

Video interpolation for everyone. Up to 100x faster than DAIN, compatible with all recent AMD/Nvidia/Intel GPUs.

nmkd.itch.io

編集などの設定は、以下の通りです。

Openpose画像を動画にした
※ゆっくりバージョン

openpose_samples-4x-RIFE-RIFE3.8-16fps.mp4

動画生成

画像準備

モデル： BracingEvoMix_v1.safetensors

プロンプト：

  1girl, grin, smile,standing,hair fluttering, tilting head,wave hand,perfect light,
pink dress, on stage,realistic, best quality, <lora:sweet_dress_style2_v1:0.8> ,

Sampling method: DPM++ 2M Karras

Hires. fix：1.2　

Number of frames：48 （6秒）

ControlNetにて、「OpenPose」を使用

動画元が、 OpenPose 動画のため、Preprocessorを「 none」 に変更　（←※重要）

roopで顔を固定する　（Upscaler scale は R-ESRGAN 4x+ 選択）

完成動画

VideoProc Vlogger使用（BGM追加など）

考察動画

今回作成したAI動画と元のOpenPose動画の比較

考察

連番画像を動画に変更することにより、動作をある程度固定した状態で、綺麗な動画（ヌルヌルした動画）を生成することができた。

なおかつ、Flowframesソフトを活用することにより、OpenPoseを動画にすることも簡単に作成できた。

sd-webui-AnimateDiff AI動画 (img2img) (2023-10-13 2:09:03)

はじめに

前回、sd-webui-AnimateDiff AI動画を生成できた。

img2imgを用いても生成できることが分かった。

画像を2枚用意することによって、最初と最後のポーズを決められる。

これにより、連番のような画像を用意することにより、継続する動画を作成することができるようになると思われる。

参考サイト

sd-webui-AnimateDiffをイメージtoイメージで使う方法【AIアニメーション】

txt2img

連番画像の準備

連番画像生成（６枚）

txt2imgにて、似たような画像（連番画像）を６枚生成

ControlNet> IP-Adapter で衣装をある程度固定する

roopにて、顔画像をある程度固定する。

生成されたAI画像に連番を振る

img2img

先ほど作成した、「 001.png 」をimg2imgに貼り付ける（動画最初の画像）

他の設定などは、以下の通りです。

Latent power より下の場所に、「 002.png 」をimg2imgに貼り付ける（動画最後の画像）

roopにて、顔画像をある程度固定する。

生成途中の画像は、以下のようになる。

１つの動画生成を終了後、 最初の画像 と 最後の画像 を変更する

   最初の画像 を「001.png」から「 002.png
」にする
 最後の画像 を「002.png」から「 003.png 」にする

これを連番ごとに変更することにより、動画の継続性が保たれる。

作成したい動画の最後のフレームを、最初の画像に戻すとループ状に動画が動く

  一番最後の動画生成の 最後の画像 を「 001.png
」にすることにより、全体の動画がループ状となる。
 最初の画像 を「 006.png 」にする
 最後の画像 を「 001.png 」にする

動画編集

img2imgで生成した6つの動画を編集ソフトでまとめる

これで、1つの動画を生成できた。

EBsynth生成（背景交換）

背景をEBsynthを用いて変更する

詳細は、以下をご覧ください。

動画編集 (BGM追加など）

VideoProc Vlogger　使用（BGM追加、フォーカスの動き、ダンスのスピード速度の変更など）

音源(フリー素材）： また明日

フリージングル素材『また明日』試聴ページ｜フリーBGM DOVA-SYNDROME

無料・著作権フリーのBGM素材「また明日（作：カピバラっ子）」の試聴ページです。

dova-s.jp

完成動画

sd-webui-AnimateDiff AI動画 (2023-10-10 1:28:36)

ポッドキャスト : video/mp4

はじめに

AIアニメーションがさらに向上した。

AnimateDiff
PoseMy.Art
FFmpeg
EBsynth
VideoProc Vlogger

参考サイト

【必見】Control netやdeforumと連携したsd-webui-AnimateDiffのアップデートを確認しよう【AIアニメーション】

動画生成

AnimateDiff

AnimateDiffは、以下をご覧ください。

PoseMy.Art

Opening video を作成する。

PoseMy.Artサイトより、ダンスムービーを作成。
Windows10の標準機能にて、画面録画できます。

Windows 10 の標準機能で画面録画の動画とキャプチャを撮る方法「スクリーンショット」

Windows10／11の標準機能のスクリーンショットが強化され、簡単にパソコンの画面を動画で録画するこができま...

www.pasoble.jp

作成したダンスムービーは以下の通りです。

Taggerの設定

ダンス衣装プロンプトをTaggerで生成

tagger:1girl, realistic, solo, smile, dress, pink dress, brown hair, hair ornament, shoes, looking at viewer, standing, long hair, microphone, hair flower, sneakers, flower, grin, full body, brown eyes

AnimateDiffの設定