ホーム
>> ヘッドライン
>>
PC修理のわたなべ
| メイン | 簡易ヘッドライン |
 |
|
PC修理のわたなべ
(2025-4-2 2:15:09)
現在データベースには 486 件のデータが登録されています。
ポッドキャスト :
video/mp4
はじめに
AnimateDiffにある FILM の項目に興味をもった。
※FILM（Frame Interpolation for Large Motion）
２枚の画像を入力するだけで、その間の動きを補間して、動かすという技術だそうです。
参考サイト
画像をぬるぬる動かすFrame Interpolation for Large Motion【FILM】
FILMインストール
Windows インストール手順
github
Anaconda
- Anacondaをインストール
- CMD.exe PromptのLaunchから起動
pip install --ignore-installed --upgrade tensorflow==2.6.0
python -c "import tensorflow as tf;print(tf.reduce_sum(tf.random.normal([1000, 1000])))"
frame-interpolation> に「 pretrained_models 」フォルダを作成し、以下のデータをインストールする
git clone https://github.com/google-research/frame-interpolation
cd frame-interpolation
pip install -r requirements.txt
conda install -c conda-forge ffmpeg
FILM実行
中間フレーム補間
python -m eval.interpolator_test --frame1 photos\one.png --frame2 photos\two.png --model_path <pretrained_models>
\film_net\Style\saved_model --output_frame photos\output_middle.png
多数のフレーム間補間
AI画像を生成
同様な画像を少しずつ変化を加えて５枚生成し、４枚を逆順に加える。
画像01.png?09.pngを「 photos 」フォルダ以下に配置
python -m eval.interpolator_cli --pattern "photos" --model_path <pretrained_models> \film_net\Style\saved_model
--times_to_interpolate 6 --output_video
完成動画
ポッドキャスト :
video/mp4
はじめに
最新のBRAV7がリリースされました。
最新BRAV7にて、sd-webui-AnimateDiff AI動画にチャレンジしてみました。
→ CIVIT AI (BRAV7) から、ダウンロード可能
BRAV7
Beautiful Realistic Asiansの新モデルは、以下のサイトを参考にしました。
待望のBRAV7がリリース！Beautiful Realistic Asiansの新モデル・プロンプトなど
roop用顔画像 (BRAV7使用)
Beautiful Realistic Asians( BRA )から、待望の新モデル V7 がリリースされました。
早速、生成してみました。
生成画像
画質も一段と綺麗になりました。
参考サイト（AnimateDiff）
AIでアニメーション制作！AnimateDiffの基本的な使い方【Automatic1111】
AnimateDiff (txt2img)
設定方法などは、以下をご覧ください。
モデル：beautifulRealistic_v7
プロンプト：
1girl, japanese, cute, smile, realistic, best quality, 8k, pink dress, perfect brightness,
0: standing
10: close_eyes
16: walking
20: open_eyes
<lora:sweet_dress_style2_v1:0.8> ,
設定内容
FPS８フレーム、総数32フレーム（4秒）
生成された32枚の画像
各画像をより綺麗に(img2img)
img2imgを利用し、生成された画像をより綺麗にしてみる。
- ピクチャフォルダに「 sample 」フォルダを作成
- output用に「 sample_output 」フォルダを作成
「 sample 」フォルダに先ほど生成した 32枚の画像をコピー する
「Batch」タブを選択し、以下のような設定にした。
より綺麗な画像に変換したいので、画像サイズを1.5倍に上げた
ControlNetを以下のように設定し、各画像の相関性を合わせるようにした
BRAV7で生成したAI画像をroop に 用いた
連続画像を動画に変換
連続画像を動画に変換する
- Flowframes を使用
詳細は、以下を参考にしてください
編集などの設定は、以下の通りです。
完成動画
sample_output-2x-RIFE-RIFE3.8-16fps.mp4
YouTube用 編集動画
YouTube用に編集した。
VideoProc Vlogger を使用し、BGMやモーション設定などを追加した。
音源
フリーBGM「センチメンタル・リバー (instrumen…」
【 VideoProc Vlogger 編集画面】
完成動画（YouTube用）
※高画質に変更してから 、 ご確認ください
↓（高画質） 1080p60HD で確認するとより綺麗な動画になります↓
ポッドキャスト :
video/mp4
はじめに
前回、sd-webui-AnimateDiff AI動画 (img2img)で動画を生成した。
しかし、AnimateDiffのみを使用した際の滑らかな（ヌルヌルした）動画を作成することができなかった。
そこで、animatediff＋openposeで何かできないかと検索していたところ、以下のようなサイトを見つけた
ComfyUIにて作成していたため、sd-webuiで生成できるように考案した。
準備
Openpose画像（openpose_samples.zip）を以下のサイトから、ダウンロードする
※下記サイト様より、Openpose画像をお借りしました
【AIアニメ】ComfyUIとControlNetでAnimateDiffを楽しむ
【こちらからもダウンロード可能（ openpose_samples.zip ）】
連続画像を動画に変換する
Openpose画像を動画にするため、Flowframesを使用した
編集などの設定は、以下の通りです。
Openpose画像を動画にした
※ゆっくりバージョン
openpose_samples-4x-RIFE-RIFE3.8-16fps.mp4
動画生成
画像準備
モデル： BracingEvoMix_v1.safetensors
プロンプト：
1girl, grin, smile,standing,hair fluttering, tilting head,wave hand,perfect light,
pink dress, on stage,realistic, best quality, <lora:sweet_dress_style2_v1:0.8> ,
Sampling method: DPM++ 2M Karras
Hires. fix：1.2
Number of frames：48 （6秒）
ControlNetにて、「OpenPose」を使用
動画元が、 OpenPose 動画のため、Preprocessorを 「 none」 に変更 （←※重要）
roopで顔を固定する （Upscaler scale は R-ESRGAN 4x+ 選択）
完成動画
VideoProc Vlogger使用（BGM追加など）
考察動画
今回作成したAI動画と元のOpenPose動画の比較
考察
連番画像を動画に変更することにより、動作をある程度固定した状態で、綺麗な動画（ヌルヌルした動画）を生成することができた。
なおかつ、Flowframesソフトを活用することにより、OpenPoseを動画にすることも簡単に作成できた。
はじめに
前回、sd-webui-AnimateDiff AI動画を生成できた。
img2imgを用いても生成できることが分かった。
画像を2枚用意することによって、最初と最後のポーズを決められる。
これにより、連番のような画像を用意することにより、継続する動画を作成することができるようになると思われる。
参考サイト
sd-webui-AnimateDiffをイメージtoイメージで使う方法【AIアニメーション】
txt2img
連番画像の準備
連番画像生成（６枚）
txt2imgにて、似たような画像（連番画像）を６枚生成
ControlNet> IP-Adapter で衣装をある程度固定する
roopにて、顔画像をある程度固定する。
生成されたAI画像に連番を振る
img2img
先ほど作成した、「 001.png 」をimg2imgに貼り付ける （動画 最初の画像 ）
他の設定などは、以下の通りです。
Latent power より下の場所に、「 002.png 」をimg2imgに貼り付ける（動画 最後の画像 ）
roopにて、顔画像をある程度固定する。
生成途中の画像は、以下のようになる。
１つの動画生成を終了後、 最初の画像 と 最後の画像 を変更する
最初の画像 を「001.png」から「 002.png
」にする
最後の画像 を「002.png」から「 003.png 」にする
これを連番ごとに変更することにより、動画の継続性が保たれる。
作成したい動画の最後のフレームを、最初の画像に戻すとループ状に動画が動く
一番最後の動画生成の 最後の画像 を「 001.png
」にすることにより、全体の動画がループ状となる。
最初の画像 を「 006.png 」にする
最後の画像 を「 001.png 」にする
動画編集
img2imgで生成した6つの動画を編集ソフトでまとめる
これで、1つの動画を生成できた。
EBsynth生成（背景交換）
背景をEBsynthを用いて変更する
詳細は、以下をご覧ください。
動画編集 (BGM追加など）
VideoProc Vlogger 使用（BGM追加、フォーカスの動き、ダンスのスピード速度の変更など）
音源(フリー素材）： また明日
完成動画
ポッドキャスト :
video/mp4
はじめに
AIアニメーションがさらに向上した。
- AnimateDiff
PoseMy.Art
FFmpeg
EBsynth
VideoProc Vlogger
参考サイト
【必見】Control netやdeforumと連携したsd-webui-AnimateDiffのアップデートを確認しよう【AIアニメーション】
動画生成
AnimateDiff
AnimateDiffは、以下をご覧ください。
PoseMy.Art
Opening video を作成する。
PoseMy.Artサイトより、ダンスムービーを作成。
Windows10の標準機能にて、画面録画できます。
作成したダンスムービーは以下の通りです。
Taggerの設定
ダンス衣装プロンプトをTaggerで生成
tagger:1girl, realistic, solo, smile, dress, pink dress, brown hair, hair ornament, shoes, looking at viewer, standing, long hair, microphone, hair flower, sneakers, flower, grin, full body, brown eyes
AnimateDiffの設定
ControlNetにて、「OpenPose」と「IP-Adapter」を使用しました。
はじめに
現在、Stable Diffusion でSDXL画像を生成している。
しかし、簡単にSDXL画像を生成するUIが発表されていた。
今回は、SDXLを手軽に扱える「 Fooocus 」を考察したい。
- Fooocus
参考サイト
SDXLを手軽に扱える「Fooocus」のインストール方法・使い方まとめ！簡単操作でハイクオリティな画像を生成しよう
Fooocusのインストールから簡単な使い方を紹介【SDXLを手軽に高速に使える！低スペックでも安心です】Stable Diffusion WebUIのインストール方法
生成AIグラビアをグラビアカメラマンが作るとどうなる？第八回：シンプルで高機能なSDXL専用インターフェースFooocusとFooocus-MREの使いかた (西川和久)
Fooocusのインストール方法
圧縮ファイルをダウンロード
Click here to download から圧縮ファイルをダウンロード
ダウンロードしたファイルを適当な場所に展開してください
※Cドライブ直下がおすすめ
2つのモデルファイルを事前にダウンロード
- sd_xl_base_1.0_0.9vae.safetensors
- sd_xl_refiner_1.0_0.9vae.safetensors
Fooocus> models> checkpoints へ配置
最後に、Fooocus> run.bat を実行
AI画像生成
人物
プロンプト：
(((close up of face))), close up, analog documentary photo,face, looking at viewer,1girl, japanese, detailed eyes,
18yo,Pretty, loli_face, distant eyes,
detailed face, round face, small chin, grin, smile,
high nose, round face, thin pink lips, ( tears in eyes ),(streaming tears),
realistic, blurry
background, A bustling outdoor market,kosina,leogirl,
ultra high res,(realistic:1.4),deep shadow,(best quality, masterpiece),highly detailed, depth of
field, film grain, crying,
(redness around the eyes), (masterpiece,best quality:1.5),jpn-girl,
Model：sdxl10ArienmixxlAsian_v30Pruned.safetensors
Lora：japanese_girl_v1.1.safetensors, 幼?美kosina.safetensors
犬
プロンプト：1dog,realistic, blurry background,ultra high res,(realistic:1.4),deep shadow,(best quality, masterpiece),highly detailed, depth of field, film grain,
猫
プロンプト：1cat,realistic, blurry background,ultra high res,(realistic:1.4),deep shadow,(best quality, masterpiece),highly detailed, depth of field, film grain,
アンドロイド
プロンプト：cyborg, realistic, blurry background,ultra high res,(realistic:1.4),deep shadow,(best quality, masterpiece),highly detailed, depth of field, film grain,
考察
Stable Diffusion でSDXL画像を生成していた。
しかし、Fooocusを用いることによって、SDXL画像をお手軽に生成できることが分かった。
今後、SDXLを用いて、Lora学習をしてみたい。
Fooocus（SDXL）を用いることにより、飛躍的に画像生成が綺麗になったことが理解できた。
はじめに
Stable Diffusion V1.6にバージョンアップしたため、AI動画を再確認している。
今回は、アニメーション動画『Deforum』を考察してみる
参考サイト
アニメーション動画『Deforum』考察 (Stable Diffusion)
↑ 『 Deforum』の構築方法などは、こちらを参考にしてください↑
AI動画生成
考察
Stable Diffusion V1.6にバージョンアップしたため、以前と比較すると格段に良くなっている。
画像１枚１枚も画質が向上しているし、何よりひとつ前の画像を継承してAI画像をそれぞれ生成しているように見える。
ポッドキャスト :
video/mp4
はじめに
現在、AI画像からAI動画へと発展してきている。
Stable DiffusionでAI動画にチャレンジしてみる。
参考サイト
Stable Diffusionで動画生成AnimateDiff
AnimateDiffインストール
Extensions> Load from> animatediffで検索
→ 「Install」をクリックしてインストール
※インストール後、再起動してください
AnimateDiffのモデル
- mm_sd_v14.ckpt
mm_sd_v15.ckpt
mm_sd_v15_v2.ckpt
stable-diffusion-webui> extensions> sd-webui-animatediff> model に配置する
AI動画生成
設定例
- AnimateDiffのメニューを開く
Motion module:mm_sd_v15_v2.ckpt (おすすめ)
Enable AnimateDiff：チェックを入れる
→Generate
生成結果
考察
Stable Diffusion V1.6 にアップデートし、モデルをmm_sd_v15_v2.ckptにしたことにより、かなり現実味のあるAI動画が完成した。
今回は2秒程度、AI動画を生成できた。
数分単位でAI動画ができるようになれば、ようやく実用性も出てくると思う。
はじめに
従来SDと新規SDXLが混合しているため、Loraを含めて、不具合が生じてきた。
そのため、最新Stable Diffusionを再インストールした。
参考サイト
2023年最新！Stable Diffusionローカル環境構築インストール方法
インストール手順
Cドライブ直下にて、コマンド(cmd)入力
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
「stable-dffusion-webui」> 「webui-user.bat」を書き換え
@echo off
set PYTHON=
set GIT=
set VENV_DIR=
set COMMANDLINE_ARGS= --no-half-vae --opt-channelslast --xformers --medvram-sdxl
call webui.bat
「webui-user.bat」をダブルクリックし、実行！
作業画面に、VAEを表示する。
Settings> User interface> Quicksettings list> sd_vae を追加
以下のファイルを準備
- sd_xl_base_1.0.safetensors
- sd_xl_refiner_1.0.safetensors
- sdxl_vae.safetensors
AI画像生成
プロンプト
1girl, solo, japanese, 20yo, pretty, black hair, smile, looking at viewer, standing, black eyes, lips, brown hair, brown
eyes, bangs, pink lips,slender, big eyes, distant eyes,
cute_eyes,slender, small breasts, ponytail,small mouth, high nose, small chin, ((baby_face)), makeup, eyeliner,teeth,
realistic, best quality, ultra high res, (photorealistic:1.4), loli face, arms_up, smile,
earrings, jewelry, makeup, necklace, simple background,
ネガティブ
(Worst Quality:2.0), muscular constitution,
Stable Diffusion checkpoint：yumyumfusionXLBETA_v01Beta.safetensors
SD VAE: sdxl_vae.safetensors
Refiner: sd_xl_refiner_1.0.safetensors
生成AI画像
考察
Loraなしでも、かなりきれいな画像を生成できた。
1024*1024で生成したこともあり、きめ細やかな表現が実現されていると思う。
SDXLモデルを用いたLoraを、自分で学習できるようになれるように、これからもいろいろと勉強していきたい。
はじめに
stable diffusionを更新し、version: v1.6.0にアップデートした。
それに伴い、roop for stable diffusionをインストールした。
しかしながら、roopタグが現れず、エラーメッセージが出てきた。
ValueError: This ORT build has ['TensorrtExecutionProvider', 'CUDAExecutionProvider', 'CPUExecutionProvider'] enabled. Since ORT 1.9, you are required to explicitly set the providers parameter when instantiating InferenceSession. For example, onnxruntime.InferenceSession(..., providers=['TensorrtExecutionProvider', 'CUDAExecutionProvider', 'CPUExecutionProvider'], ...)
参考サイト
Need help with face swapping extensions
解決方法
- go to roop extension folder and rename install.py to install.py_backup
- Open the “CMD” program in your “venv/Scripts” folder and execute the following commands:
-
Activate -
pip uninstall onnx onnxruntime onnxruntime-gpu -
pip install onnx on_nx==1.14.0 onnxruntime-gpu==1.15.0
SDを再度起動したところ、エラーがなくなった。
roopタグも表示され、ディープフェイクも正常に機能した。
