メイン | 簡易ヘッドライン |
|
PC修理のわたなべ (2024-10-22 3:39:35)
現在データベースには 429 件のデータが登録されています。
ポッドキャスト : video/mp4
はじめに
現在、AI画像からAI動画へと発展してきている。
Stable DiffusionでAI動画にチャレンジしてみる。
参考サイト
Stable Diffusionで動画生成AnimateDiff
AnimateDiffインストール
Extensions> Load from> animatediffで検索
→ 「Install」をクリックしてインストール
※インストール後、再起動してください
AnimateDiffのモデル
- mm_sd_v14.ckpt
mm_sd_v15.ckpt
mm_sd_v15_v2.ckpt
stable-diffusion-webui> extensions> sd-webui-animatediff> model に配置する
AI動画生成
設定例
- AnimateDiffのメニューを開く
Motion module:mm_sd_v15_v2.ckpt (おすすめ)
Enable AnimateDiff:チェックを入れる
→Generate
生成結果
考察
Stable Diffusion V1.6 にアップデートし、モデルをmm_sd_v15_v2.ckptにしたことにより、かなり現実味のあるAI動画が完成した。
今回は2秒程度、AI動画を生成できた。
数分単位でAI動画ができるようになれば、ようやく実用性も出てくると思う。
はじめに
従来SDと新規SDXLが混合しているため、Loraを含めて、不具合が生じてきた。
そのため、最新Stable Diffusionを再インストールした。
参考サイト
2023年最新!Stable Diffusionローカル環境構築インストール方法
インストール手順
Cドライブ直下にて、コマンド(cmd)入力
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
「stable-dffusion-webui」> 「webui-user.bat」を書き換え
@echo off
set PYTHON=
set GIT=
set VENV_DIR=
set COMMANDLINE_ARGS= --no-half-vae --opt-channelslast --xformers --medvram-sdxl
call webui.bat
「webui-user.bat」をダブルクリックし、実行!
作業画面に、VAEを表示する。
Settings> User interface> Quicksettings list> sd_vae を追加
以下のファイルを準備
- sd_xl_base_1.0.safetensors
- sd_xl_refiner_1.0.safetensors
- sdxl_vae.safetensors
AI画像生成
プロンプト
1girl, solo, japanese, 20yo, pretty, black hair, smile, looking at viewer, standing, black eyes, lips, brown hair, brown
eyes, bangs, pink lips,slender, big eyes, distant eyes,
cute_eyes,slender, small breasts, ponytail,small mouth, high nose, small chin, ((baby_face)), makeup, eyeliner,teeth,
realistic, best quality, ultra high res, (photorealistic:1.4), loli face, arms_up, smile,
earrings, jewelry, makeup, necklace, simple background,
ネガティブ
(Worst Quality:2.0), muscular constitution,
Stable Diffusion checkpoint:yumyumfusionXLBETA_v01Beta.safetensors
SD VAE: sdxl_vae.safetensors
Refiner: sd_xl_refiner_1.0.safetensors
生成AI画像
考察
Loraなしでも、かなりきれいな画像を生成できた。
1024*1024で生成したこともあり、きめ細やかな表現が実現されていると思う。
SDXLモデルを用いたLoraを、自分で学習できるようになれるように、これからもいろいろと勉強していきたい。
はじめに
stable diffusionを更新し、version: v1.6.0にアップデートした。
それに伴い、roop for stable diffusionをインストールした。
しかしながら、roopタグが現れず、エラーメッセージが出てきた。
ValueError: This ORT build has ['TensorrtExecutionProvider', 'CUDAExecutionProvider', 'CPUExecutionProvider'] enabled. Since ORT 1.9, you are required to explicitly set the providers parameter when instantiating InferenceSession. For example, onnxruntime.InferenceSession(..., providers=['TensorrtExecutionProvider', 'CUDAExecutionProvider', 'CPUExecutionProvider'], ...)
参考サイト
Need help with face swapping extensions
解決方法
- go to roop extension folder and rename install.py to install.py_backup
- Open the “CMD” program in your “venv/Scripts” folder and execute the following commands:
-
Activate
-
pip uninstall onnx onnxruntime onnxruntime-gpu
-
pip install onnx on_nx==1.14.0 onnxruntime-gpu==1.15.0
SDを再度起動したところ、エラーがなくなった。
roopタグも表示され、ディープフェイクも正常に機能した。
はじめに
Stable Diffusionに最新の画像生成SDXL 1.0が更新されたので試してみた。
参考サイト
最新の画像生成AI「SDXL 1.0」実写系イラストのクオリティがすごい!!
モデルのインストール
BASEモデルをダウンロード (「models\Stable-diffusion」にコピー)
- sd_xl_base_1.0.safetensors
Refinerモデルをダウンロード (「models\Stable-diffusion」にコピー)
- sd_xl_refiner_1.0.safetensors
Refinerモデルをダウンロード (「models\VAE」にコピー)
- sdxl_vae.safetensors
画像生成
・Stable Diffusion checkpoint
- sd_xl_base_1.0.safetensors
・SD VAE
- sdxl_vae.safetensors
・プロンプト
(日本訳:横浜港に邪悪なモンスターが襲来してビームを吐いている。地球防衛軍の戦闘機が応戦している)
Evil monsters are attacking Yokohama Port and emitting beams. Earth Defense Force fighters are fighting back
・Width
- 1024
・Height
- 1024
「Send to img2img」ボタンをクリックして画像を「img2img」に送る。
モデルを「stable-diffusion-xl-refiner-1.0」に変更、VAEはそのままでいい。
考察
画像の分解能が大変よくなったような気がする。
手などの不具合も減少されたようである。
リアル系やLORAなども使用できるようになれば、よりいいかなと思う。
ポッドキャスト : video/mp4
はじめに
以下の動画を拝見した。
【StableDiffusion】ワンクリックで動画化!?AI画像から動画を作成する方法
roop構築
以下のサイトをご覧ください
Installation
Cドライブ以下で、コマンドプロンプトを起動
git clone https://github.com/s0md3v/roop
pip install -r requirements.txt
Acceleration
すべてのファイルを入れると以下のようになります。
※ファイル名:roop_setup.bat は、後ほど自作します
実践
Select face: 対象となる画像
Select target: 対象とする動画
「Start」ボタンで生成を開始します。
結果
考察
構築さえできれば、簡単に顔のスワップができるようになった。
venvを実行することが面倒だったので、バッチファイルを作成しました。
※ファイル名:roop_setup.bat
call venv\scripts\activate.bat
python run.py
「roop_setup.bat」を【roop】フォルダ下に置きました。
これで、バッチファイルを起動するだけで、「roop」アプリを起動できるようになりました。
はじめに
超簡単!顔の入れ替えをstable diffusionで可能とyoutubeで発見
- sd-webui-faceswap
参考サイト
sd-webui-faceswap のインストール
【extensions】タブ→【Install From URL】→【URL for extension’s git repository】に以下のサイトからインストール
https://github.com/IntellectzProductions/sd-webui-faceswap.git
「inswapper_128.onnx」モデルのインストール
inswapper_128.onnx ? deepinsight/inswapper at main (huggingface.co)
https://huggingface.co/deepinsight/inswapper/blob/main/inswapper_128.onnx
「\(stable diffusionフォルダ)\extensions\sd-webui-faceswap\models」へ、「inswapper_128.onnx」モデルをインストール
Visual C++のダウンロード
Visual Studio Tools のダウンロード – Windows、Mac、Linux 用の無料インストール (microsoft.com)
再起動します
実践
- 「Face_Swap」から「Activate」をチェック
- お好きな画像を挿入
素材:https://www.pakutaso.com/
●img2imgにて、実践
考察
超簡単に、顔のスワップができるようになった。
簡単ではあるが、変換後の顔画像の分解能が少し低いように感じる。
解像度を上げる方法があるかもしれません。
お遊びでスワップ画像を確認したい方におすすめします。
今回一番参考になったサイトは、以下の通りです。
GitHub – IntellectzProductions/sd-webui-faceswap: FaceSwap Extension – Automatic 1111
ポッドキャスト : video/mp4
はじめに
またひとつ、静止画からAI動画を生成できるアプリをみつけた
- LeiaPix Converter
【公式サイト】 LeiaPix Converter | Depth Animations
参考サイト
- 超かんたん。静止画をAIで動画できる!LeiaPix Converterの使い方! (blogcake.net)
- 静止画像をビデオアニメーションに変換するAIツール『Leiapix Converter』 (ai-today.net)
生成過程
【AI画像生成】
【公式サイト】 LeiaPix Converter | Depth Animations
※AI生成画像をアップロード後
完成動画
考察
1枚の画像から、ゆらぎのある動画を簡単に生成できた。
贅沢を言えば、音声を追加できるようになれば、いいかも。
ポッドキャスト : video/mp4
はじめに
音声に合わせて、画像の動画をつくりたいと思った。
【ツール】
- SadTalker
参考サイト
SadTalkerのインストールは、以下をご覧ください。
口パク(リップシンク)AI「SadTalker」をWebUI(1111)拡張機能として導入する方法 | 経済的生活日誌 (economylife.net)
SadTalkerの使い方と魅力、画像と音声からアニメーションを作ろう! | 定年後のスローライフブログ (yanai-ke.com)
SadTalkerの設定資料
拡張機能URL
https://github.com/Winfredy/SadTalker
モデルの配置
stable-diffusion-webui/models/SadTalker
以下のサイトから、すべてのファイルをダウンロードし、上記フォルダ以下にコピーする。
sadtalker_checkpoints – Google ドライブ
SadTalkerをつかってみた
txt2imgにて、画像を作成
【その1】
【その2】
SadTalkerに画像と音声を合成
※音声は、音読さん ( https://ondoku3.com/ja/ )
【その1】
【その2】
ビデオエディター(windows標準アプリ)にて、動画を結合
※はじめて使いましたが、使いやすかったです。
完成動画
リンのあいさつ
考察
1枚の画像から、音声動画ができるようになった。
Stable Diffusion の各動画ツールと違い、動画内の画質・人物・風景が相違なく動くのが、すごくよかった。
はじめに
1枚画像でLoRAを作成してみる。
【モデル】
- 福沢諭吉
写真の調整
写真の加工を簡単に施した。※手動修正
- 顔の修正
- 服の修正
白黒から高画質カラー写真へ
- 白黒画像・動画のカラー化(DeOldify)
- AI高画質化ツール(Real-ESRGAN)
【参考ページ】
AI高画質化ツール(Real-ESRGAN)実施後
白黒画像・動画のカラー化(DeOldify)実施後
LoRAを作成してみる
人物のみを切り抜く
【参考ページ】
イラスト切り抜き 作成 (Transparent-Background)
LoRA生成
LoRA完成
LoRAで遊んでみた
LoRAを使用して、画像を生成してみた
【作成例】
はじめに
1枚画像でLoRAを作成してみる。
【モデル】
- 坂本龍馬
写真の調整
写真の加工を簡単に施した。※手動修正
- 顔の修正
- 服の修正
白黒から高画質カラー写真へ
- 白黒画像・動画のカラー化(DeOldify)
- AI高画質化ツール(Real-ESRGAN)
【参考ページ】
AI高画質化ツール(Real-ESRGAN)実施後
白黒画像・動画のカラー化(DeOldify)実施後
高画質なカラー写真が完成しました。
LoRAを作成してみる
人物のみを切り抜く
【参考ページ】
イラスト切り抜き 作成 (Transparent-Background)
学習用素材に加工
【参考サイト】
(3/20更新)Kohya版LoRA学習環境 簡単スタンドアローンセットアップ(※bmaltais氏の『Kohya’s GUI』の導入)
- 顔のみ・上半身・全身の3種類の素材を作成
【ryoma01.txt】
solo, simple_background, black_hair, 1boy, white_background, closed_mouth, closed_eyes, male_focus, portrait,
realistic
【ryoma02.txt】
solo, simple_background, black_hair, 1boy, white_background, weapon, male_focus, parted_lips, japanese_clothes, sword,
kimono, katana, sheath, sheathed, realistic, topknot
【ryoma03.txt】
solo, simple_background, black_hair, 1boy, white_background, closed_mouth, closed_eyes, male_focus, portrait, realisticsolo,
skirt, simple_background, black_hair, long_sleeves, 1boy, white_background, closed_mouth, standing, full_body, weapon, male_focus, japanese_clothes, sword,
facial_hair, katana, hakama, hakama_skirt, realistic, topknotsolo, simple_background, black_hair, 1boy, white_background, closed_mouth, closed_eyes, male_focus,
portrait, realistic
kohya_ss_webuiでLoRA作成
LoRA完成
LoRAで遊んでみた
LoRAを使用して、画像を生成してみた
【作成例】
考察
今回は、坂本龍馬でLoRA学習を実施し、AI画像を生成してみました。
1枚の画像から、立体感のある写真を生成することができました。
※ただし、実際に似ているかどうかわかりません
今回のSD WEBUIの設定画面を残しておきます。
【ryoma03.txt】のTaggerプロンプトを参考に入力しております。
もし参考になることがありましたら、ご自由にお使いください。