ヘッドライン-Bando! 坂東市タウンなび

sd-webui-AnimateDiff AI動画 (img2img) (2023-10-13 2:09:03)

はじめに

前回、sd-webui-AnimateDiff AI動画を生成できた。

img2imgを用いても生成できることが分かった。

画像を2枚用意することによって、最初と最後のポーズを決められる。

これにより、連番のような画像を用意することにより、継続する動画を作成することができるようになると思われる。

参考サイト

sd-webui-AnimateDiffをイメージtoイメージで使う方法【AIアニメーション】

txt2img

連番画像の準備

連番画像生成（６枚）

txt2imgにて、似たような画像（連番画像）を６枚生成

ControlNet> IP-Adapter で衣装をある程度固定する

roopにて、顔画像をある程度固定する。

生成されたAI画像に連番を振る

img2img

先ほど作成した、「 001.png 」をimg2imgに貼り付ける（動画最初の画像）

他の設定などは、以下の通りです。

Latent power より下の場所に、「 002.png 」をimg2imgに貼り付ける（動画最後の画像）

roopにて、顔画像をある程度固定する。

生成途中の画像は、以下のようになる。

１つの動画生成を終了後、 最初の画像 と 最後の画像 を変更する

   最初の画像 を「001.png」から「 002.png
」にする
 最後の画像 を「002.png」から「 003.png 」にする

これを連番ごとに変更することにより、動画の継続性が保たれる。

作成したい動画の最後のフレームを、最初の画像に戻すとループ状に動画が動く

  一番最後の動画生成の 最後の画像 を「 001.png
」にすることにより、全体の動画がループ状となる。
 最初の画像 を「 006.png 」にする
 最後の画像 を「 001.png 」にする

動画編集

img2imgで生成した6つの動画を編集ソフトでまとめる

これで、1つの動画を生成できた。

EBsynth生成（背景交換）

背景をEBsynthを用いて変更する

詳細は、以下をご覧ください。

動画編集 (BGM追加など）

VideoProc Vlogger　使用（BGM追加、フォーカスの動き、ダンスのスピード速度の変更など）

音源(フリー素材）： また明日

フリージングル素材『また明日』試聴ページ｜フリーBGM DOVA-SYNDROME

無料・著作権フリーのBGM素材「また明日（作：カピバラっ子）」の試聴ページです。

dova-s.jp

完成動画

sd-webui-AnimateDiff AI動画 (2023-10-10 1:28:36)

ポッドキャスト : video/mp4

はじめに

AIアニメーションがさらに向上した。

AnimateDiff
PoseMy.Art
FFmpeg
EBsynth
VideoProc Vlogger

参考サイト

【必見】Control netやdeforumと連携したsd-webui-AnimateDiffのアップデートを確認しよう【AIアニメーション】

動画生成

AnimateDiff

AnimateDiffは、以下をご覧ください。

PoseMy.Art

Opening video を作成する。

PoseMy.Artサイトより、ダンスムービーを作成。
Windows10の標準機能にて、画面録画できます。

Windows 10 の標準機能で画面録画の動画とキャプチャを撮る方法「スクリーンショット」

Windows10／11の標準機能のスクリーンショットが強化され、簡単にパソコンの画面を動画で録画するこができま...

www.pasoble.jp

作成したダンスムービーは以下の通りです。

Taggerの設定

ダンス衣装プロンプトをTaggerで生成

tagger:1girl, realistic, solo, smile, dress, pink dress, brown hair, hair ornament, shoes, looking at viewer, standing, long hair, microphone, hair flower, sneakers, flower, grin, full body, brown eyes

AnimateDiffの設定

ControlNetにて、「OpenPose」と「IP-Adapter」を使用しました。

Fooocus SDXL画像生成 (2023-10-9 15:18:31)

はじめに

現在、Stable Diffusion でSDXL画像を生成している。
しかし、簡単にSDXL画像を生成するUIが発表されていた。

今回は、SDXLを手軽に扱える「 Fooocus 」を考察したい。

Fooocus

参考サイト

SDXLを手軽に扱える「Fooocus」のインストール方法・使い方まとめ！簡単操作でハイクオリティな画像を生成しよう

SDXLを手軽に扱える「Fooocus」のインストール方法・使い方まとめ！簡単操作でハイクオリティな画像を生成しよう

今回は新しく登場した画像生成ソフトに関する話題で Stable Diffusion XLを簡単に扱える「Fooocus」の導入方法と使い方を丁寧にご紹介するという内容になっています。 Stable Diffusion XL（SDXL）が登

kurokumasoft.com

Fooocusのインストールから簡単な使い方を紹介【SDXLを手軽に高速に使える！低スペックでも安心です】Stable Diffusion WebUIのインストール方法

Fooocusのインストールから簡単な使い方を紹介【SDXLを手軽に高速に使える！低スペックでも安心です】Stable Diffusion WebUIのインストール方法

Fooocusのインストールから簡単な使い方を解説していきます。新しいStable Diffusion WebUIクライアントで動作の軽さや、設定が簡単な点が特徴となっています。Automatic1111でSDXLを動かせなかったPCでもFooocusを使用すれば動作させることが可能になるかもしれません。

itdtm.com

生成AIグラビアをグラビアカメラマンが作るとどうなる？第八回：シンプルで高機能なSDXL専用インターフェースFooocusとFooocus-MREの使いかた (西川和久)

生成AIグラビアをグラビアカメラマンが作るとどうなる？第八回：シンプルで高機能なSDXL専用インターフェースFooocusとFooocus-MREの使いかた (西川和久) | テクノエッジ TechnoEdge

Stable Diffusionを使う新たなインターフェース、Fooocusをご紹介したい。インストールはbat一発、起動/アップデートもbat一発、Modelも初期起動時に自動的にダウンロードと非常にシンプル。そしてなにより、出てくる絵が驚異的という優れたインターフェースなのだ。

www.techno-edge.net

Fooocusのインストール方法

圧縮ファイルをダウンロード

GitHub - lllyasviel/Fooocus: Focus on prompting and generating

Focus on prompting and generating. Contribute to lllyasviel/Fooocus development by creating an account on GitHub.

github.com

Click here to download　から圧縮ファイルをダウンロード

ダウンロードしたファイルを適当な場所に展開してください
※Cドライブ直下がおすすめ

2つのモデルファイルを事前にダウンロード

sd_xl_base_1.0_0.9vae.safetensors
sd_xl_refiner_1.0_0.9vae.safetensors

stabilityai/stable-diffusion-xl-base-1.0 at main

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

stabilityai/stable-diffusion-xl-refiner-1.0 at main

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

  Fooocus>  models>  checkpoints へ配置

最後に、Fooocus> run.bat を実行

AI画像生成

人物

プロンプト：

(((close up of face))), close up, analog documentary photo,face, looking at viewer,1girl, japanese, detailed eyes,
18yo,Pretty, loli_face, distant eyes, detailed face, round face, small chin, grin, smile,
high nose, round face, thin pink lips, ( tears in eyes ),(streaming tears),
realistic, blurry background, A bustling outdoor market,kosina,leogirl,
ultra high res,(realistic:1.4),deep shadow,(best quality, masterpiece),highly detailed, depth of field, film grain, crying,
(redness around the eyes), (masterpiece,best quality:1.5),jpn-girl,

Model：sdxl10ArienmixxlAsian_v30Pruned.safetensors

Lora：japanese_girl_v1.1.safetensors, 幼?美kosina.safetensors

犬

プロンプト：1dog,realistic, blurry background,ultra high res,(realistic:1.4),deep shadow,(best quality, masterpiece),highly detailed, depth of field, film grain,

猫

プロンプト：1cat,realistic, blurry background,ultra high res,(realistic:1.4),deep shadow,(best quality, masterpiece),highly detailed, depth of field, film grain,

アンドロイド

プロンプト：cyborg, realistic, blurry background,ultra high res,(realistic:1.4),deep shadow,(best quality, masterpiece),highly detailed, depth of field, film grain,

考察

Stable Diffusion でSDXL画像を生成していた。

しかし、Fooocusを用いることによって、SDXL画像をお手軽に生成できることが分かった。

今後、SDXLを用いて、Lora学習をしてみたい。

Fooocus（SDXL）を用いることにより、飛躍的に画像生成が綺麗になったことが理解できた。

アニメーション動画『Deforum』考察 (Stable Diffusion V1.6) (2023-10-5 21:26:16)

はじめに

Stable Diffusion V1.6にバージョンアップしたため、AI動画を再確認している。

今回は、アニメーション動画『Deforum』を考察してみる

参考サイト

アニメーション動画『Deforum』考察 (Stable Diffusion)

↑ 『 Deforum』の構築方法などは、こちらを参考にしてください↑

AI動画生成

考察

Stable Diffusion V1.6にバージョンアップしたため、以前と比較すると格段に良くなっている。

画像１枚１枚も画質が向上しているし、何よりひとつ前の画像を継承してAI画像をそれぞれ生成しているように見える。

アニメーション生成 AnimateDiff (2023-10-4 23:52:04)

ポッドキャスト : video/mp4

はじめに

現在、AI画像からAI動画へと発展してきている。

Stable DiffusionでAI動画にチャレンジしてみる。

参考サイト

Stable Diffusionで動画生成AnimateDiff

Stable Diffusionで動画生成AnimateDiff

本記事ではStable Diffusionで動画を生成する際に、最も有効な手法であるといっても過言ではないAnimateDiffの使い方について解説します。プロンプトから動画を生成する基本的な使い方からControlNetを使って実写動画か

kindanai.com

AnimateDiffインストール

Extensions> Load from> animatediffで検索

　→ 「Install」をクリックしてインストール

※インストール後、再起動してください

AnimateDiffのモデル

mm_sd_v14.ckpt
mm_sd_v15.ckpt
mm_sd_v15_v2.ckpt

animatediff - Google ドライブ

drive.google.com

stable-diffusion-webui> extensions> sd-webui-animatediff> model に配置する

AI動画生成

設定例

AnimateDiffのメニューを開く
Motion module:mm_sd_v15_v2.ckpt (おすすめ)
Enable AnimateDiff：チェックを入れる

→Generate

生成結果

考察

Stable Diffusion V1.6　にアップデートし、モデルをmm_sd_v15_v2.ckptにしたことにより、かなり現実味のあるAI動画が完成した。

今回は2秒程度、AI動画を生成できた。

数分単位でAI動画ができるようになれば、ようやく実用性も出てくると思う。

Stable Diffusionの再インストール（V1.6) (2023-10-4 17:29:48)

はじめに

従来SDと新規SDXLが混合しているため、Loraを含めて、不具合が生じてきた。

そのため、最新Stable Diffusionを再インストールした。

参考サイト

2023年最新！Stable Diffusionローカル環境構築インストール方法

数ヶ月前の方法だと上手くインストールできないステーブルディフュージョンの最新インストール方法を紹介します！ローカル環境構築をすると無料・無制限で使えカスタマイズ性が高くなります。

piyo-piyo-piyo.com

インストール手順

Cドライブ直下にて、コマンド(cmd)入力

  git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git

「stable-dffusion-webui」> 「webui-user.bat」を書き換え

  @echo off

set PYTHON=
set GIT=
set VENV_DIR=
set COMMANDLINE_ARGS= --no-half-vae --opt-channelslast --xformers --medvram-sdxl

call webui.bat

「webui-user.bat」をダブルクリックし、実行！

作業画面に、VAEを表示する。

Settings> User interface> Quicksettings list> sd_vae を追加

以下のファイルを準備

sd_xl_base_1.0.safetensors
sd_xl_refiner_1.0.safetensors
sdxl_vae.safetensors

AI画像生成

プロンプト

  1girl, solo, japanese, 20yo, pretty, black hair, smile, looking at viewer, standing, black eyes, lips, brown hair, brown
eyes, bangs,  pink lips,slender, big eyes, distant eyes, 
cute_eyes,slender, small breasts, ponytail,small mouth, high nose, small chin, ((baby_face)), makeup, eyeliner,teeth, 
realistic, best quality, ultra high res, (photorealistic:1.4),  loli face, arms_up, smile, 
earrings, jewelry, makeup, necklace, simple background,

ネガティブ

  (Worst Quality:2.0), muscular constitution,

Stable Diffusion checkpoint：yumyumfusionXLBETA_v01Beta.safetensors

SD VAE: sdxl_vae.safetensors

Refiner: sd_xl_refiner_1.0.safetensors

生成AI画像

考察

Loraなしでも、かなりきれいな画像を生成できた。

1024*1024で生成したこともあり、きめ細やかな表現が実現されていると思う。

SDXLモデルを用いたLoraを、自分で学習できるようになれるように、これからもいろいろと勉強していきたい。

roop　エラー修復（SD v1.6.0） (2023-9-20 11:41:24)

はじめに

stable diffusionを更新し、version: v1.6.0にアップデートした。

それに伴い、roop for stable diffusionをインストールした。

【簡単便利】roop for stable diffusionで顔の特徴を引き継ぐ！

stable diffusion は、モデルによって顔立ちの傾向はあるものの、毎回異なった顔が生成されてしまいます。これを解決するため、顔の特徴を引き継ぐControlNetやLoRAという方法が用いられるのですが、新たに roop という

resanaplaza.com

しかしながら、roopタグが現れず、エラーメッセージが出てきた。

 ValueError: This ORT build has ['TensorrtExecutionProvider', 'CUDAExecutionProvider', 'CPUExecutionProvider'] enabled.
Since ORT 1.9, you are required to explicitly set the providers parameter when instantiating InferenceSession. For example, onnxruntime.InferenceSession(...,
providers=['TensorrtExecutionProvider', 'CUDAExecutionProvider', 'CPUExecutionProvider'], ...)

参考サイト

Need help with face swapping extensions

Need help with face swapping extensions
by u/reRedweller in StableDiffusion

解決方法

go to roop extension folder and rename install.py to install.py_backup
Open the “CMD” program in your “venv/Scripts” folder and execute the following commands:
Activate
pip uninstall onnx onnxruntime onnxruntime-gpu
pip install onnx on_nx==1.14.0 onnxruntime-gpu==1.15.0

SDを再度起動したところ、エラーがなくなった。

roopタグも表示され、ディープフェイクも正常に機能した。

SDXL 1.0 最新AI画像生成 (2023-8-29 18:22:16)

はじめに

Stable Diffusionに最新の画像生成SDXL 1.0が更新されたので試してみた。

参考サイト

最新の画像生成AI「SDXL 1.0」実写系イラストのクオリティがすごい！！

Stability AIが7月27日に公開した画像生成AI最新モデル「Stable Diffusion XL 1.0（SDXL 1.0）」レビュー。SDXLに対応したAUTOMATIC1111氏の「Stable Diffusion?web UI」で、環境を構築して試した。

ascii.jp

モデルのインストール

BASEモデルをダウンロード (「models\Stable-diffusion」にコピー)

sd_xl_base_1.0.safetensors

stabilityai/stable-diffusion-xl-base-1.0 at main

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

Refinerモデルをダウンロード (「models\Stable-diffusion」にコピー)

sd_xl_refiner_1.0.safetensors

stabilityai/stable-diffusion-xl-refiner-1.0 at main

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

Refinerモデルをダウンロード (「models\VAE」にコピー)

sdxl_vae.safetensors

madebyollin/sdxl-vae-fp16-fix at main

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

画像生成

・Stable Diffusion checkpoint

sd_xl_base_1.0.safetensors

・SD VAE

sdxl_vae.safetensors

・プロンプト

（日本訳：横浜港に邪悪なモンスターが襲来してビームを吐いている。地球防衛軍の戦闘機が応戦している）

Evil monsters are attacking Yokohama Port and emitting beams. Earth Defense Force fighters are fighting back

・Width

1024

・Height

1024

　「Send to img2img」ボタンをクリックして画像を「img2img」に送る。

モデルを「stable-diffusion-xl-refiner-1.0」に変更、VAEはそのままでいい。

考察

画像の分解能が大変よくなったような気がする。

手などの不具合も減少されたようである。

リアル系やLORAなども使用できるようになれば、よりいいかなと思う。

roop 1枚の画像から動画の顔スワップ構築 (2023-7-12 22:53:50)

ポッドキャスト : video/mp4

はじめに

以下の動画を拝見した。

【StableDiffusion】ワンクリックで動画化！？AI画像から動画を作成する方法

roop構築

以下のサイトをご覧ください

GitHub - s0md3v/roop: one-click deepfake (face swap)

one-click deepfake (face swap). Contribute to s0md3v/roop development by creating an account on GitHub.

github.com

Installation

1. Installation

one-click deepfake (face swap). Contribute to s0md3v/roop development by creating an account on GitHub.

github.com

Cドライブ以下で、コマンドプロンプトを起動

  git clone https://github.com/s0md3v/roop

  pip install -r requirements.txt

Acceleration

2. Acceleration

one-click deepfake (face swap). Contribute to s0md3v/roop development by creating an account on GitHub.

github.com

すべてのファイルを入れると以下のようになります。

※ファイル名：roop_setup.bat　は、後ほど自作します

実践

Select face: 対象となる画像

Select target: 対象とする動画

フリー素材

「Start」ボタンで生成を開始します。

結果

考察

構築さえできれば、簡単に顔のスワップができるようになった。

venvを実行することが面倒だったので、バッチファイルを作成しました。

※ファイル名：roop_setup.bat

  call venv\scripts\activate.bat
python run.py

「roop_setup.bat」を【roop】フォルダ下に置きました。

これで、バッチファイルを起動するだけで、「roop」アプリを起動できるようになりました。

sd-webui-faceswap 顔の入れ替え (2023-7-12 21:25:34)

はじめに

超簡単！顔の入れ替えをstable diffusionで可能とyoutubeで発見

sd-webui-faceswap

参考サイト

sd-webui-faceswap のインストール

【extensions】タブ→【Install From URL】→【URL for extension’s git repository】に以下のサイトからインストール

  https://github.com/IntellectzProductions/sd-webui-faceswap.git

「inswapper_128.onnx」モデルのインストール

inswapper_128.onnx ? deepinsight/inswapper at main (huggingface.co)

  https://huggingface.co/deepinsight/inswapper/blob/main/inswapper_128.onnx

「\（stable diffusionフォルダ）\extensions\sd-webui-faceswap\models」へ、「inswapper_128.onnx」モデルをインストール

Visual C++のダウンロード

Visual Studio Tools のダウンロード – Windows、Mac、Linux 用の無料インストール (microsoft.com)

再起動します

実践

「Face_Swap」から「Activate」をチェック
お好きな画像を挿入

素材：https://www.pakutaso.com/

ぱくたそ - 登録不要で写真やAI画像素材を無料ダウンロード

「ぱくたそ」は、会員登録せずに今すぐダウンロードできる無料の写真素材・AI画像素材のフリー素材サイトです。一部を有料販売したり、枚数制限による課金など一切ありません。美しい日本の風景を中心に人物やテクスチャーなどの写真とAIで生成した背景画像の素材を配布しています。2023年7月11日現在、49,831枚の写真を掲載中...

www.pakutaso.com

●img2imgにて、実践

考察

超簡単に、顔のスワップができるようになった。

簡単ではあるが、変換後の顔画像の分解能が少し低いように感じる。

解像度を上げる方法があるかもしれません。

お遊びでスワップ画像を確認したい方におすすめします。

今回一番参考になったサイトは、以下の通りです。

GitHub – IntellectzProductions/sd-webui-faceswap: FaceSwap Extension – Automatic 1111

坂東市のお役立ち情報が満載！