坂東市のお役立ち情報が満載！

はじめに

従来SDと新規SDXLが混合しているため、Loraを含めて、不具合が生じてきた。

そのため、最新Stable Diffusionを再インストールした。

参考サイト

2023年最新！Stable Diffusionローカル環境構築インストール方法

2023年最新！Stable Diffusionローカル環境構築インストール方法

数ヶ月前の方法だと上手くインストールできないステーブルディフュージョンの最新インストール方法を紹介します！ローカル環境構築をすると無料・無制限で使えカスタマイズ性が高くなります。

piyo-piyo-piyo.com

インストール手順

Cドライブ直下にて、コマンド(cmd)入力

  git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git 

「stable-dffusion-webui」> 「webui-user.bat」を書き換え

  @echo off

set PYTHON=
set GIT=
set VENV_DIR=
set COMMANDLINE_ARGS= --no-half-vae --opt-channelslast --xformers --medvram-sdxl

call webui.bat
 

「webui-user.bat」をダブルクリックし、実行！

作業画面に、VAEを表示する。

Settings> User interface> Quicksettings list> sd_vae を追加

以下のファイルを準備

• sd_xl_base_1.0.safetensors
• sd_xl_refiner_1.0.safetensors
• sdxl_vae.safetensors

SDXL 1.0 最新AI画像生成

はじめにStable Diffusionに最新の画像生成SDXL 1.0が更新されたので試してみた。参考サイト最新の画像生成AI「SDXL 1.0」実写系イラストのクオリティがすごい！！モデルの...

aiai-net.jp

2023.08.29

AI画像生成

プロンプト

  1girl, solo, japanese, 20yo, pretty, black hair, smile, looking at viewer, standing, black eyes, lips, brown hair, brown
eyes, bangs,  pink lips,slender, big eyes, distant eyes, 
cute_eyes,slender, small breasts, ponytail,small mouth, high nose, small chin, ((baby_face)), makeup, eyeliner,teeth, 
realistic, best quality, ultra high res, (photorealistic:1.4),  loli face, arms_up, smile, 
earrings, jewelry, makeup, necklace, simple background, 

ネガティブ

  (Worst Quality:2.0), muscular constitution,  

Stable Diffusion checkpoint：yumyumfusionXLBETA_v01Beta.safetensors

SD VAE: sdxl_vae.safetensors

Refiner: sd_xl_refiner_1.0.safetensors

生成AI画像

考察

Loraなしでも、かなりきれいな画像を生成できた。

1024*1024で生成したこともあり、きめ細やかな表現が実現されていると思う。

SDXLモデルを用いたLoraを、自分で学習できるようになれるように、これからもいろいろと勉強していきたい。

はじめに

stable diffusionを更新し、version: v1.6.0にアップデートした。

それに伴い、roop for stable diffusionをインストールした。

【簡単便利】roop for stable diffusionで顔の特徴を引き継ぐ！

stable diffusion は、モデルによって顔立ちの傾向はあるものの、毎回異なった顔が生成されてしまいます。これを解決するため、顔の特徴を引き継ぐControlNetやLoRAという方法が用いられるのですが、新たに roop という

resanaplaza.com

しかしながら、roopタグが現れず、エラーメッセージが出てきた。

 ValueError: This ORT build has ['TensorrtExecutionProvider', 'CUDAExecutionProvider', 'CPUExecutionProvider'] enabled.
Since ORT 1.9, you are required to explicitly set the providers parameter when instantiating InferenceSession. For example, onnxruntime.InferenceSession(...,
providers=['TensorrtExecutionProvider', 'CUDAExecutionProvider', 'CPUExecutionProvider'], ...) 

参考サイト

Need help with face swapping extensions

Need help with face swapping extensions
by u/reRedweller in StableDiffusion

解決方法

1. go to roop extension folder and rename  install.py  to install.py_backup
2. Open the “CMD” program in your “venv/Scripts” folder and execute the following commands:
3. Activate
4. pip uninstall onnx onnxruntime onnxruntime-gpu
5. pip install onnx on_nx==1.14.0 onnxruntime-gpu==1.15.0

SDを再度起動したところ、エラーがなくなった。

roopタグも表示され、ディープフェイクも正常に機能した。

はじめに

Stable Diffusionに最新の画像生成SDXL 1.0が更新されたので試してみた。

参考サイト

最新の画像生成AI「SDXL 1.0」実写系イラストのクオリティがすごい！！

最新の画像生成AI「SDXL 1.0」実写系イラストのクオリティがすごい！！ (1/3)

Stability AIが7月27日に公開した画像生成AI最新モデル「Stable Diffusion XL 1.0（SDXL 1.0）」レビュー。SDXLに対応したAUTOMATIC1111氏の「Stable Diffusion?web UI」で、環境を構築して試した。

ascii.jp

モデルのインストール

BASEモデルをダウンロード (「models\Stable-diffusion」にコピー)

• sd_xl_base_1.0.safetensors

stabilityai/stable-diffusion-xl-base-1.0 at main

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

Refinerモデルをダウンロード (「models\Stable-diffusion」にコピー)

• sd_xl_refiner_1.0.safetensors

stabilityai/stable-diffusion-xl-refiner-1.0 at main

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

Refinerモデルをダウンロード (「models\VAE」にコピー)

• sdxl_vae.safetensors

madebyollin/sdxl-vae-fp16-fix at main

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

画像生成

・Stable Diffusion checkpoint

• sd_xl_base_1.0.safetensors

・SD VAE

• sdxl_vae.safetensors

・プロンプト

（日本訳：横浜港に邪悪なモンスターが襲来してビームを吐いている。地球防衛軍の戦闘機が応戦している）

Evil monsters are attacking Yokohama Port and emitting beams. Earth Defense Force fighters are fighting back

・Width

• 1024

・Height

• 1024

　「Send to img2img」ボタンをクリックして画像を「img2img」に送る。

モデルを「stable-diffusion-xl-refiner-1.0」に変更、VAEはそのままでいい。

考察

画像の分解能が大変よくなったような気がする。

手などの不具合も減少されたようである。

リアル系やLORAなども使用できるようになれば、よりいいかなと思う。

はじめに

以下の動画を拝見した。

【StableDiffusion】ワンクリックで動画化！？AI画像から動画を作成する方法

roop構築

以下のサイトをご覧ください

GitHub - s0md3v/roop: one-click deepfake (face swap)

one-click deepfake (face swap). Contribute to s0md3v/roop development by creating an account on GitHub.

github.com

Installation

1. Installation

one-click deepfake (face swap). Contribute to s0md3v/roop development by creating an account on GitHub.

github.com

Cドライブ以下で、コマンドプロンプトを起動

  git clone https://github.com/s0md3v/roop 

  pip install -r requirements.txt 

Acceleration

2. Acceleration

one-click deepfake (face swap). Contribute to s0md3v/roop development by creating an account on GitHub.

github.com

すべてのファイルを入れると以下のようになります。

※ファイル名：roop_setup.bat　は、後ほど自作します

実践

Select face: 対象となる画像

Select target: 対象とする動画

「Start」ボタンで生成を開始します。

結果

考察

構築さえできれば、簡単に顔のスワップができるようになった。

venvを実行することが面倒だったので、バッチファイルを作成しました。

※ファイル名：roop_setup.bat

  call venv\scripts\activate.bat
python run.py 

「roop_setup.bat」を【roop】フォルダ下に置きました。

これで、バッチファイルを起動するだけで、「roop」アプリを起動できるようになりました。

はじめに

超簡単！顔の入れ替えをstable diffusionで可能とyoutubeで発見

• sd-webui-faceswap

参考サイト

sd-webui-faceswap のインストール

【extensions】タブ→【Install From URL】→【URL for extension’s git repository】に以下のサイトからインストール

  https://github.com/IntellectzProductions/sd-webui-faceswap.git 

「inswapper_128.onnx」モデルのインストール

inswapper_128.onnx ? deepinsight/inswapper at main (huggingface.co)

  https://huggingface.co/deepinsight/inswapper/blob/main/inswapper_128.onnx 

「\（stable diffusionフォルダ）\extensions\sd-webui-faceswap\models」へ、「inswapper_128.onnx」モデルをインストール

Visual C++のダウンロード

Visual Studio Tools のダウンロード – Windows、Mac、Linux 用の無料インストール (microsoft.com)

再起動します

実践

• 「Face_Swap」から「Activate」をチェック
• お好きな画像を挿入

素材：https://www.pakutaso.com/

ぱくたそ - 登録不要で写真やAI画像素材を無料ダウンロード

「ぱくたそ」は、会員登録せずに今すぐダウンロードできる無料の写真素材・AI画像素材のフリー素材サイトです。一部を有料販売したり、枚数制限による課金など一切ありません。美しい日本の風景を中心に人物やテクスチャーなどの写真とAIで生成した背景画像の素材を配布しています。2023年7月11日現在、49,831枚の写真を掲載中...

www.pakutaso.com

●img2imgにて、実践

考察

超簡単に、顔のスワップができるようになった。

簡単ではあるが、変換後の顔画像の分解能が少し低いように感じる。

解像度を上げる方法があるかもしれません。

お遊びでスワップ画像を確認したい方におすすめします。

今回一番参考になったサイトは、以下の通りです。

GitHub – IntellectzProductions/sd-webui-faceswap: FaceSwap Extension – Automatic 1111

はじめに

またひとつ、静止画からAI動画を生成できるアプリをみつけた

• LeiaPix Converter
  【公式サイト】　 LeiaPix Converter | Depth Animations

参考サイト

• 超かんたん。静止画をAIで動画できる！LeiaPix Converterの使い方！ (blogcake.net)
• 静止画像をビデオアニメーションに変換するAIツール『Leiapix Converter』 (ai-today.net)

生成過程

【AI画像生成】

【公式サイト】　 LeiaPix Converter | Depth Animations

　※AI生成画像をアップロード後

完成動画

考察

1枚の画像から、ゆらぎのある動画を簡単に生成できた。

贅沢を言えば、音声を追加できるようになれば、いいかも。

はじめに

音声に合わせて、画像の動画をつくりたいと思った。

【ツール】

• SadTalker

参考サイト

SadTalkerのインストールは、以下をご覧ください。

口パク(リップシンク)AI「SadTalker」をWebUI(1111)拡張機能として導入する方法 | 経済的生活日誌 (economylife.net)

SadTalkerの使い方と魅力、画像と音声からアニメーションを作ろう！ | 定年後のスローライフブログ (yanai-ke.com)

SadTalkerの設定資料

拡張機能URL

  https://github.com/Winfredy/SadTalker 

モデルの配置

stable-diffusion-webui/models/SadTalker

以下のサイトから、すべてのファイルをダウンロードし、上記フォルダ以下にコピーする。

sadtalker_checkpoints – Google ドライブ

SadTalkerをつかってみた

txt2imgにて、画像を作成

【その1】

【その2】

SadTalkerに画像と音声を合成
※音声は、音読さん　（ https://ondoku3.com/ja/ ）

【その1】

【その2】

ビデオエディター（windows標準アプリ）にて、動画を結合
※はじめて使いましたが、使いやすかったです。

完成動画

リンのあいさつ

考察

1枚の画像から、音声動画ができるようになった。

Stable Diffusion の各動画ツールと違い、動画内の画質・人物・風景が相違なく動くのが、すごくよかった。

はじめに

1枚画像でLoRAを作成してみる。

【モデル】

• 福沢諭吉

写真の調整

写真の加工を簡単に施した。※手動修正

• 顔の修正
• 服の修正

白黒から高画質カラー写真へ

• 白黒画像・動画のカラー化（DeOldify）
• AI高画質化ツール（Real-ESRGAN）

【参考ページ】

AI高画質化ツール（Real-ESRGAN）実施後

白黒画像・動画のカラー化（DeOldify）実施後

LoRAを作成してみる

人物のみを切り抜く

【参考ページ】

イラスト切り抜き　作成　(Transparent-Background)

LoRA生成

LoRA完成

LoRAで遊んでみた

LoRAを使用して、画像を生成してみた

【作成例】

• 

• 

• 

• 

• 

• 

• 

• 

はじめに

1枚画像でLoRAを作成してみる。

【モデル】

• 坂本龍馬

写真の調整

写真の加工を簡単に施した。※手動修正

• 顔の修正
• 服の修正

白黒から高画質カラー写真へ

• 白黒画像・動画のカラー化（DeOldify）
• AI高画質化ツール（Real-ESRGAN）

【参考ページ】

昔の白黒写真を高画質カラー化

はじめに昔の白黒写真を高画質のカラー化を試してみる。白黒画像・動画のカラー化（DeOldify）AI高画質化ツール（Real-ESRGAN）【元データ】※中川村小学校増築上棟式（昭和11年８月11日...

aiai-net.jp

2023.06.14

AI高画質化ツール（Real-ESRGAN）実施後

白黒画像・動画のカラー化（DeOldify）実施後

高画質なカラー写真が完成しました。

LoRAを作成してみる

人物のみを切り抜く

【参考ページ】

イラスト切り抜き　マスク作成　(Transparent-Background)

はじめにStable DiffusionでLora作成のために、素材をマスキングしたいと思った。【今回の学習】Transparent-Background参考サイト切り抜きや背景透過・学習素材集めの...

aiai-net.jp

2023.06.20

イラスト切り抜き　作成　(Transparent-Background)

学習用素材に加工

【参考サイト】

（3/20更新）Kohya版LoRA学習環境 簡単スタンドアローンセットアップ（※bmaltais氏の『Kohya’s GUI』の導入）

（3/20更新）Kohya版LoRA学習環境 簡単スタンドアローンセットアップ（※bmaltais氏の『Kohya's GUI』の導入）｜niel

更新 6/17v21.7.8 ■はじめに AUTOMATIC1111 webuiのスタンドアローン化に引き続き、PythonやGiTをインストールしていなくても導入出来るKohya版LoRAの学習環境についてあれやこれやしてみました。ただ、今回はAUTOMATIC1111webui以上に技術者向けの...

note.com

• 顔のみ・上半身・全身の３種類の素材を作成

【ryoma01.txt】

  solo, simple_background, black_hair, 1boy, white_background, closed_mouth, closed_eyes, male_focus, portrait,
realistic 

【ryoma0２.txt】

  solo, simple_background, black_hair, 1boy, white_background, weapon, male_focus, parted_lips, japanese_clothes, sword,
kimono, katana, sheath, sheathed, realistic, topknot 

【ryoma0３.txt】

  solo, simple_background, black_hair, 1boy, white_background, closed_mouth, closed_eyes, male_focus, portrait, realisticsolo,
skirt, simple_background, black_hair, long_sleeves, 1boy, white_background, closed_mouth, standing, full_body, weapon, male_focus, japanese_clothes, sword,
facial_hair, katana, hakama, hakama_skirt, realistic, topknotsolo, simple_background, black_hair, 1boy, white_background, closed_mouth, closed_eyes, male_focus,
portrait, realistic 

kohya_ss_webuiでLoRA作成

LoRA完成

LoRAで遊んでみた

LoRAを使用して、画像を生成してみた

【作成例】

• 

• 

• 

• 

• 

考察

今回は、坂本龍馬でLoRA学習を実施し、AI画像を生成してみました。

１枚の画像から、立体感のある写真を生成することができました。
※ただし、実際に似ているかどうかわかりません

今回のSD WEBUIの設定画面を残しておきます。
【ryoma0３.txt】のTaggerプロンプトを参考に入力しております。
もし参考になることがありましたら、ご自由にお使いください。

はじめに

Stable DiffusionでLora作成のために、素材をマスキングしたいと思った。

【今回の学習】

• Transparent-Background

参考サイト

切り抜きや背景透過・学習素材集めのお供に最適！Transparent-Backgroundが超高性能なので使ってみよう！ほか拡張機能の紹介【Stable Diffusion】

インストール方法

ダウンロードサイト

plemeri/transparent-background

GitHub - plemeri/transparent-background: This is a background removing tool powered by InSPyReNet (ACCV 2022)

This is a background removing tool powered by InSPyReNet (ACCV 2022) - GitHub - plemeri/transparent-background: This is a background removing tool powered by In...

github.com

インストール方法

コマンドプロンプトで以下の命令をする
※どこでも大丈夫です

  pip install transparent-background 

以上で終了です！※簡単ですね

使用方法

練習用として、Cドライプに「 images 」フォルダを作成します。

その下位ファルダに、「 sozai 」と「 output 」を作成します。

「 sozai 」フォルダに、「 sample01.jpg 」を追加しました。

「 sozai 」フォルダにて、コマンドプロンプトを起動させます。
以下の命令文で、切り抜き画像が作成されます。

  transparent-background --source sample01.jpg 

今回は、「 sozai 」フォルダに切り抜かれた画像「 sample01_rgba.png 」が生成されています。

比較

【元データ画像】

【切り抜かれた画像】

髪の毛などを確認すると、他のアプリと比較しても断然良い生成結果になりました。

応用

マスクを作りたい場合

  transparent-background --source sample01.jpg --type map
 

今回は、「 sozai 」フォルダにマスク画像「 sample01_map.png 」が生成されています。

グリーン背景を作りたい場合

  transparent-background --source sample01.jpg --type green
 

ホワイト背景を作りたい場合

  transparent-background --source sample01.jpg --type white
 

目的の画像背景を作りたい場合

「 sozai 」フォルダに、「 back01.jpg 」を追加しました。

  transparent-background --source sample01.jpg --type back01.jpg
 

【命令文】

【作成結果】

【背景画像を結合した結果】

バッチファイル作成

フォルダ内のファイルを丸ごと変換するバッチファイルを作成します。

「 sozai 」フォルダに、「 sample01.jpg ?」を追加しました。

バッチファイルの作成「 setup.bat 」
※改行なしの一行で作成します。

  transparent-background --source "C:\images\sozai" --type white --dest "C:\images\output" 

バッチファイル「 setup.bat 」をダブルクリックすると、「 output 」フォルダ内に、人物が切り抜かれた白い背景画像が生成されています。

結論

今まで手作業が多かった切り抜き画像がワンクリックで作成できるようになった。

Lora学習でも有益な活用が出来そうである。