坂東市のお役立ち情報が満載！

はじめに

Stable Diffusion V1.6にバージョンアップしたため、AI動画を再確認している。

今回は、アニメーション動画『Deforum』を考察してみる

参考サイト

アニメーション動画『Deforum』考察 (Stable Diffusion)

アニメーション動画『Deforum』考察 (Stable Diffusion)

はじめにStable Diffusionで動画作成できるコンテンツを探していたら、Deforumを発見。早速、インストール・動画作成をしていきたいと思います。参考サイトStable Diffusionの『D...

aiai-net.jp

2023.06.16

↑ 『 Deforum』の構築方法などは、こちらを参考にしてください↑

AI動画生成

考察

Stable Diffusion V1.6にバージョンアップしたため、以前と比較すると格段に良くなっている。

画像１枚１枚も画質が向上しているし、何よりひとつ前の画像を継承してAI画像をそれぞれ生成しているように見える。

はじめに

現在、AI画像からAI動画へと発展してきている。

Stable DiffusionでAI動画にチャレンジしてみる。

参考サイト

Stable Diffusionで動画生成AnimateDiff

Stable Diffusionで動画生成AnimateDiff

本記事ではStable Diffusionで動画を生成する際に、最も有効な手法であるといっても過言ではないAnimateDiffの使い方について解説します。プロンプトから動画を生成する基本的な使い方からControlNetを使って実写動画か

kindanai.com

AnimateDiffインストール

Extensions> Load from> animatediffで検索

　→ 「Install」をクリックしてインストール

※インストール後、再起動してください

AnimateDiffのモデル

• mm_sd_v14.ckpt
  mm_sd_v15.ckpt
  mm_sd_v15_v2.ckpt

animatediff - Google ドライブ

drive.google.com

stable-diffusion-webui> extensions> sd-webui-animatediff> model に配置する

AI動画生成

設定例

• AnimateDiffのメニューを開く
  Motion module:mm_sd_v15_v2.ckpt (おすすめ)
  Enable AnimateDiff：チェックを入れる

→Generate

生成結果

考察

Stable Diffusion V1.6　にアップデートし、モデルをmm_sd_v15_v2.ckptにしたことにより、かなり現実味のあるAI動画が完成した。

今回は2秒程度、AI動画を生成できた。

数分単位でAI動画ができるようになれば、ようやく実用性も出てくると思う。

はじめに

従来SDと新規SDXLが混合しているため、Loraを含めて、不具合が生じてきた。

そのため、最新Stable Diffusionを再インストールした。

参考サイト

2023年最新！Stable Diffusionローカル環境構築インストール方法

2023年最新！Stable Diffusionローカル環境構築インストール方法

数ヶ月前の方法だと上手くインストールできないステーブルディフュージョンの最新インストール方法を紹介します！ローカル環境構築をすると無料・無制限で使えカスタマイズ性が高くなります。

piyo-piyo-piyo.com

インストール手順

Cドライブ直下にて、コマンド(cmd)入力

  git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git 

「stable-dffusion-webui」> 「webui-user.bat」を書き換え

  @echo off

set PYTHON=
set GIT=
set VENV_DIR=
set COMMANDLINE_ARGS= --no-half-vae --opt-channelslast --xformers --medvram-sdxl

call webui.bat
 

「webui-user.bat」をダブルクリックし、実行！

作業画面に、VAEを表示する。

Settings> User interface> Quicksettings list> sd_vae を追加

以下のファイルを準備

• sd_xl_base_1.0.safetensors
• sd_xl_refiner_1.0.safetensors
• sdxl_vae.safetensors

SDXL 1.0 最新AI画像生成

はじめにStable Diffusionに最新の画像生成SDXL 1.0が更新されたので試してみた。参考サイト最新の画像生成AI「SDXL 1.0」実写系イラストのクオリティがすごい！！モデルの...

aiai-net.jp

2023.08.29

AI画像生成

プロンプト

  1girl, solo, japanese, 20yo, pretty, black hair, smile, looking at viewer, standing, black eyes, lips, brown hair, brown
eyes, bangs,  pink lips,slender, big eyes, distant eyes, 
cute_eyes,slender, small breasts, ponytail,small mouth, high nose, small chin, ((baby_face)), makeup, eyeliner,teeth, 
realistic, best quality, ultra high res, (photorealistic:1.4),  loli face, arms_up, smile, 
earrings, jewelry, makeup, necklace, simple background, 

ネガティブ

  (Worst Quality:2.0), muscular constitution,  

Stable Diffusion checkpoint：yumyumfusionXLBETA_v01Beta.safetensors

SD VAE: sdxl_vae.safetensors

Refiner: sd_xl_refiner_1.0.safetensors

生成AI画像

考察

Loraなしでも、かなりきれいな画像を生成できた。

1024*1024で生成したこともあり、きめ細やかな表現が実現されていると思う。

SDXLモデルを用いたLoraを、自分で学習できるようになれるように、これからもいろいろと勉強していきたい。

はじめに

stable diffusionを更新し、version: v1.6.0にアップデートした。

それに伴い、roop for stable diffusionをインストールした。

【簡単便利】roop for stable diffusionで顔の特徴を引き継ぐ！

stable diffusion は、モデルによって顔立ちの傾向はあるものの、毎回異なった顔が生成されてしまいます。これを解決するため、顔の特徴を引き継ぐControlNetやLoRAという方法が用いられるのですが、新たに roop という

resanaplaza.com

しかしながら、roopタグが現れず、エラーメッセージが出てきた。

 ValueError: This ORT build has ['TensorrtExecutionProvider', 'CUDAExecutionProvider', 'CPUExecutionProvider'] enabled.
Since ORT 1.9, you are required to explicitly set the providers parameter when instantiating InferenceSession. For example, onnxruntime.InferenceSession(...,
providers=['TensorrtExecutionProvider', 'CUDAExecutionProvider', 'CPUExecutionProvider'], ...) 

参考サイト

Need help with face swapping extensions

解決方法

1. go to roop extension folder and rename  install.py  to install.py_backup
2. Open the “CMD” program in your “venv/Scripts” folder and execute the following commands:
3. Activate
4. pip uninstall onnx onnxruntime onnxruntime-gpu
5. pip install onnx on_nx==1.14.0 onnxruntime-gpu==1.15.0

SDを再度起動したところ、エラーがなくなった。

roopタグも表示され、ディープフェイクも正常に機能した。

はじめに

Stable Diffusionに最新の画像生成SDXL 1.0が更新されたので試してみた。

参考サイト

最新の画像生成AI「SDXL 1.0」実写系イラストのクオリティがすごい！！

最新の画像生成AI「SDXL 1.0」実写系イラストのクオリティがすごい！！ (1/3)

Stability AIが7月27日に公開した画像生成AI最新モデル「Stable Diffusion XL 1.0（SDXL 1.0）」レビュー。SDXLに対応したAUTOMATIC1111氏の「Stable Diffusion?web UI」で、環境を構築して試した。

ascii.jp

モデルのインストール

BASEモデルをダウンロード (「models\Stable-diffusion」にコピー)

• sd_xl_base_1.0.safetensors

stabilityai/stable-diffusion-xl-base-1.0 at main

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

Refinerモデルをダウンロード (「models\Stable-diffusion」にコピー)

• sd_xl_refiner_1.0.safetensors

stabilityai/stable-diffusion-xl-refiner-1.0 at main

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

Refinerモデルをダウンロード (「models\VAE」にコピー)

• sdxl_vae.safetensors

madebyollin/sdxl-vae-fp16-fix at main

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

画像生成

・Stable Diffusion checkpoint

• sd_xl_base_1.0.safetensors

・SD VAE

• sdxl_vae.safetensors

・プロンプト

（日本訳：横浜港に邪悪なモンスターが襲来してビームを吐いている。地球防衛軍の戦闘機が応戦している）

Evil monsters are attacking Yokohama Port and emitting beams. Earth Defense Force fighters are fighting back

・Width

• 1024

・Height

• 1024

　「Send to img2img」ボタンをクリックして画像を「img2img」に送る。

モデルを「stable-diffusion-xl-refiner-1.0」に変更、VAEはそのままでいい。

考察

画像の分解能が大変よくなったような気がする。

手などの不具合も減少されたようである。

リアル系やLORAなども使用できるようになれば、よりいいかなと思う。

はじめに

以下の動画を拝見した。

【StableDiffusion】ワンクリックで動画化！？AI画像から動画を作成する方法

roop構築

以下のサイトをご覧ください

GitHub - s0md3v/roop: one-click deepfake (face swap)

one-click deepfake (face swap). Contribute to s0md3v/roop development by creating an account on GitHub.

github.com

Installation

1. Installation

one-click deepfake (face swap). Contribute to s0md3v/roop development by creating an account on GitHub.

github.com

Cドライブ以下で、コマンドプロンプトを起動

  git clone https://github.com/s0md3v/roop 

  pip install -r requirements.txt 

Acceleration

2. Acceleration

one-click deepfake (face swap). Contribute to s0md3v/roop development by creating an account on GitHub.

github.com

すべてのファイルを入れると以下のようになります。

※ファイル名：roop_setup.bat　は、後ほど自作します

実践

Select face: 対象となる画像

Select target: 対象とする動画

「Start」ボタンで生成を開始します。

結果

考察

構築さえできれば、簡単に顔のスワップができるようになった。

venvを実行することが面倒だったので、バッチファイルを作成しました。

※ファイル名：roop_setup.bat

  call venv\scripts\activate.bat
python run.py 

「roop_setup.bat」を【roop】フォルダ下に置きました。

これで、バッチファイルを起動するだけで、「roop」アプリを起動できるようになりました。

はじめに

超簡単！顔の入れ替えをstable diffusionで可能とyoutubeで発見

• sd-webui-faceswap

参考サイト

sd-webui-faceswap のインストール

【extensions】タブ→【Install From URL】→【URL for extension’s git repository】に以下のサイトからインストール

  https://github.com/IntellectzProductions/sd-webui-faceswap.git 

「inswapper_128.onnx」モデルのインストール

inswapper_128.onnx ? deepinsight/inswapper at main (huggingface.co)

  https://huggingface.co/deepinsight/inswapper/blob/main/inswapper_128.onnx 

「\（stable diffusionフォルダ）\extensions\sd-webui-faceswap\models」へ、「inswapper_128.onnx」モデルをインストール

Visual C++のダウンロード

Visual Studio Tools のダウンロード – Windows、Mac、Linux 用の無料インストール (microsoft.com)

再起動します

実践

• 「Face_Swap」から「Activate」をチェック
• お好きな画像を挿入

素材：https://www.pakutaso.com/

ぱくたそ - 登録不要で写真やAI画像素材を無料ダウンロード

「ぱくたそ」は、会員登録せずに今すぐダウンロードできる無料の写真素材・AI画像素材のフリー素材サイトです。一部を有料販売したり、枚数制限による課金など一切ありません。美しい日本の風景を中心に人物やテクスチャーなどの写真とAIで生成した背景画像の素材を配布しています。2023年7月11日現在、49,831枚の写真を掲載中...

www.pakutaso.com

●img2imgにて、実践

考察

超簡単に、顔のスワップができるようになった。

簡単ではあるが、変換後の顔画像の分解能が少し低いように感じる。

解像度を上げる方法があるかもしれません。

お遊びでスワップ画像を確認したい方におすすめします。

今回一番参考になったサイトは、以下の通りです。

GitHub – IntellectzProductions/sd-webui-faceswap: FaceSwap Extension – Automatic 1111

はじめに

またひとつ、静止画からAI動画を生成できるアプリをみつけた

• LeiaPix Converter
  【公式サイト】　 LeiaPix Converter | Depth Animations

参考サイト

• 超かんたん。静止画をAIで動画できる！LeiaPix Converterの使い方！ (blogcake.net)
• 静止画像をビデオアニメーションに変換するAIツール『Leiapix Converter』 (ai-today.net)

生成過程

【AI画像生成】

【公式サイト】　 LeiaPix Converter | Depth Animations

　※AI生成画像をアップロード後

完成動画

考察

1枚の画像から、ゆらぎのある動画を簡単に生成できた。

贅沢を言えば、音声を追加できるようになれば、いいかも。

はじめに

音声に合わせて、画像の動画をつくりたいと思った。

【ツール】

• SadTalker

参考サイト

SadTalkerのインストールは、以下をご覧ください。

口パク(リップシンク)AI「SadTalker」をWebUI(1111)拡張機能として導入する方法 | 経済的生活日誌 (economylife.net)

SadTalkerの使い方と魅力、画像と音声からアニメーションを作ろう！ | 定年後のスローライフブログ (yanai-ke.com)

SadTalkerの設定資料

拡張機能URL

  https://github.com/Winfredy/SadTalker 

モデルの配置

stable-diffusion-webui/models/SadTalker

以下のサイトから、すべてのファイルをダウンロードし、上記フォルダ以下にコピーする。

sadtalker_checkpoints – Google ドライブ

SadTalkerをつかってみた

txt2imgにて、画像を作成

【その1】

【その2】

SadTalkerに画像と音声を合成
※音声は、音読さん　（ https://ondoku3.com/ja/ ）

【その1】

【その2】

ビデオエディター（windows標準アプリ）にて、動画を結合
※はじめて使いましたが、使いやすかったです。

完成動画

リンのあいさつ

考察

1枚の画像から、音声動画ができるようになった。

Stable Diffusion の各動画ツールと違い、動画内の画質・人物・風景が相違なく動くのが、すごくよかった。

はじめに

1枚画像でLoRAを作成してみる。

【モデル】

• 福沢諭吉

写真の調整

写真の加工を簡単に施した。※手動修正

• 顔の修正
• 服の修正

白黒から高画質カラー写真へ

• 白黒画像・動画のカラー化（DeOldify）
• AI高画質化ツール（Real-ESRGAN）

【参考ページ】

AI高画質化ツール（Real-ESRGAN）実施後

白黒画像・動画のカラー化（DeOldify）実施後

LoRAを作成してみる

人物のみを切り抜く

【参考ページ】

イラスト切り抜き　作成　(Transparent-Background)

LoRA生成

LoRA完成

LoRAで遊んでみた

LoRAを使用して、画像を生成してみた

【作成例】