ホーム
>> ヘッドライン
>>
PC修理のわたなべ
| メイン | 簡易ヘッドライン |
 |
|
PC修理のわたなべ
(2025-9-7 13:28:53)
現在データベースには 499 件のデータが登録されています。
はじめに
Stable DiffusionでLora作成のために、素材をマスキングしたいと思った。
【今回の学習】
- Transparent-Background
参考サイト
切り抜きや背景透過・学習素材集めのお供に最適！Transparent-Backgroundが超高性能なので使ってみよう！ほか拡張機能の紹介【Stable Diffusion】
インストール方法
ダウンロードサイト
plemeri/transparent-background
インストール方法
コマンドプロンプトで以下の命令をする
※どこでも大丈夫です
pip install transparent-background
以上で終了です！※簡単ですね
使用方法
練習用として、Cドライプに「 images 」フォルダを作成します。
その下位ファルダに、「 sozai 」と「 output 」を作成します。
「 sozai 」フォルダに、「 sample01.jpg 」を追加しました。
「 sozai 」フォルダにて、コマンドプロンプトを起動させます。
以下の命令文で、切り抜き画像が作成されます。
transparent-background --source sample01.jpg
今回は、「 sozai 」フォルダに切り抜かれた画像「 sample01_rgba.png 」が生成されています。
比較
【元データ画像】
【切り抜かれた画像】
髪の毛などを確認すると、他のアプリと比較しても断然良い生成結果になりました。
応用
マスクを作りたい場合
transparent-background --source sample01.jpg --type map
今回は、「 sozai 」フォルダにマスク画像「 sample01_map.png 」が生成されています。
グリーン背景を作りたい場合
transparent-background --source sample01.jpg --type green
ホワイト背景を作りたい場合
transparent-background --source sample01.jpg --type white
目的の画像背景を作りたい場合
「 sozai 」フォルダに、「 back01.jpg 」を追加しました。
transparent-background --source sample01.jpg --type back01.jpg
【命令文】
【作成結果】
【背景画像を結合した結果】
バッチファイル作成
フォルダ内のファイルを丸ごと変換するバッチファイルを作成します。
「 sozai 」フォルダに、「 sample01.jpg ?」を追加しました。
バッチファイルの作成「 setup.bat 」
※改行なしの一行で作成します。
transparent-background --source "C:\images\sozai" --type white --dest "C:\images\output"
バッチファイル「 setup.bat 」をダブルクリックすると、「 output 」フォルダ内に、人物が切り抜かれた白い背景画像が生成されています。
結論
今まで手作業が多かった切り抜き画像がワンクリックで作成できるようになった。
Lora学習でも有益な活用が出来そうである。
ポッドキャスト :
video/mp4
はじめに
Stable Diffusionで動画作成できるコンテンツを探していたら、Deforumを発見。
早速、インストール・動画作成をしていきたいと思います。
参考サイト
Stable Diffusionの『Deforum』機能でアニメーション動画を作る方法 (その１)
Stable DiffusionでアニメーションAI動画を”簡単に”作る方法【deforum tutorial】（その２）
インストール方法
Stable Diffusionを起動する。
Extensions タブ → Available タブ → Load from: を選択
Deforumという項目があるので、右端のインストールをクリック
インストール完了後（１分程度）、リロードします。
Deforumの操作方法
とりあえず、動画を作成してみます。
Deforum タブ → Prompts タブ → Genetate を選択
動画作成が終了したら、「 Click here ? 」をクリックすると動画を確認できます。
【完成動画】
FPS(１秒間の使用枚数)
１秒間のキーフレームを変更します。
Output タブ → FPSの数値 を変更
Max frames（動画の総枚数）
動画の総枚数を変更します。
Keyframes タブ → Max frames の数値 を変更
Animation mode （アニメ or 実写)
動画の総枚数を変更します。
Keyframes タブ → Animation mode を選択
新規作成
Prompts にテキストを代入
"0": "cat",
"45": "dog"
Genetate を選択
動画生成後、 Update the video を選択すると動画を確認できます。
完成動画
考察
動画の１枚１枚が想像以上に相似していて、驚きました。
Prompts など、いろいろと変更して遊ぶことができそうです。
みなさんも楽しんでみてください！
おまけ動画
Prompts:
"0": "in forest,anime,1girl,16 years old",
"25": "in city,anime,1girl,18 years old",
"50": "in city,realistic,1girl,20 years old"
Max frames: 100
FPS: 10
ポッドキャスト :
video/mp4
はじめに
簡単なパラパラ動画を作成してみる
- Stable Diffusion
- FFmpeg
- EBsynth
参考サイト
サンプル動画
【sample.mp4】
以下のサイトから、サンプル動画を使用させていただきました。
作成方法
C:\MovieProject にサンプル動画を用意
videoフレームの抽出
[ EbSynth Utility ]タブ → [ Project Setting ]タブ
project directory: C:\MovieProject
Original Movie Path: C:\MovieProject\sample.mp4
動画のフレーム幅とフレーム高を確認する。
[ Cofiguration ]タブ → [ Stage1 ]タブ
Frame Width: 960
Frame Height: 540
「 Stage1 」をチェック！
「 Generate 」をクリック！
C:\MovieProject に 「 video_frame 」フォルダ と 「 video_mask 」フォルダが生成されています。
※「 video_frame 」フォルダ
※「 video_mask 」フォルダ
キーフレームの抽出
[ Stage2 ]タブをクリック
「 Stage２ 」をチェック！
「 Generate 」をクリック！
C:\MovieProject に 「 video_key 」フォルダが生成されています。
※「 video_key 」フォルダ
作成画像の調整
[ img2img ]タブをクリック
「 video_key 」フォルダの1枚から、最適な画像をジェネレート！
元データの幅と高さを揃える
Width: 960
Height: 540
ControlNetで元データから形状などを継承する
※OpenPose
※SoftEdge
設定が決まったら、Seed値を代入する (Seed値固定）
Script: ebsynth utility
Project directory: C:\MovieProject
ControlNet option
Control Net Weight: 1
Control Net Weight For Face: 1
「 Generate 」をクリック！
C:\MovieProject に 「 img2img_key 」フォルダが生成されています。
※「 img2img_key 」フォルダ
動画の制作
[ EbSynth Utility ]タブ → [ stage5 ]チェック
「 Generate 」をクリック！
C:\MovieProject に 「 ＊.ebs 」ファイルが生成されています。
EbSynthを起動
Openで「 ＊_00000.ebs 」ファイルを選択
Advanced De-flicker: High
[Run All] で生成開始！
C:\MovieProject に 「out- ＊ 」フォルダが生成されます。
[ stage7 ]タブ選択 → [ stage7 ]チェック
「 Generate 」をクリック！
C:\MovieProject に 「 ＊.mp4 」ファイルが生成されます。
これで、完成です！！
完成動画
はじめに
昔の白黒写真を高画質のカラー化を試してみる。
- 白黒画像・動画のカラー化（DeOldify）
- AI高画質化ツール（Real-ESRGAN）
【元データ】
※中川村小学校増築上棟式（昭和11年８月11日）
白黒画像・動画のカラー化（DeOldify）
白黒画像・動画のカラー化（DeOldify）
【カラー処理後】
AI高画質化ツール（Real-ESRGAN）
AI高画質化ツール（Real-ESRGAN）
【高画質処理後】
考察
※白黒からカラー処理後
※カラー処理から高画質処理後
※元データから、最終画像
古い白黒写真が、高画質のカラー写真へ変更できた。
高画質化をやりすぎると、のっぺり感がみられる。
適度な活用が必要だと感じられました。
はじめに
Stable Difussion にてRolaを学習しています。
元画像を高画質化できるソフトを探していました。
GUIソフト「Real-ESRGAN-GUI」※お手軽版
Real-GSRGANをGUI化したソフト
CUGANも使える簡単アプコンGUIソフト「Real-ESRGAN-GUI」
Real-ESRGAN【Python】※おすすめ版
インストール方法・使用方法は、以下をご覧ください
【Python】AI高画質化ツールReal-ESRGANのインストール
考察
元画像
変換後
非常に高画質になっていることがわかります。
ぼやけた写真や古い写真も、高画質になりました。
ポッドキャスト :
video/mp4
はじめに
古い白黒写真をカラーにしたい。
WEB上では、様々なサイトがある。
しかし、出来ればローカルPCで作成したいと思った。
WEB上でのカラー比較
DataChef
Vance AI
Colourise.com
MyHeritage
Deepai.org Colorize
DeOldifyインストール
DeOldifyとは、白黒画像・動画をカラー化するAIツールです。
オープンソースであり、無料でローカルPCで利用可能になります。
参考にしたサイトは、以下の通りです。
JupyterLabを起動させるところまで、インストールしてください。
DeOldifyのインストール【白黒画像・動画のカラー化AIツール】
JupyterLab上の操作ができれば、準備は完了です。
画像のカラー化
ImageColorizer.ipynb（画像のカラー化）するところで、画像を生成することができませんでした。
以下のように、ファイルを変更しました。
source_url=’https://upload.wikimedia.org/wikipedia/commons/e/e4/Raceland_Louisiana_Beer_Drinkers_Russell_Lee.jpg’
source_path = ‘test_images/image.png’
result_path = None
if source_url is not None:
result_path = colorizer.plot_transformed_image_from_url(url=source_url, path=source_path, render_factor=render_factor, compare=True)
else:
result_path = colorizer.plot_transformed_image(path=source_path, render_factor=render_factor, compare=True)
show_image_in_notebook(result_path)
↓
# source_url=’https://upload.wikimedia.org/wikipedia/commons/e/e4/Raceland_Louisiana_Beer_Drinkers_Russell_Lee.jpg’
source_path = ‘test_images/image.png’
result_path = None
# if source_url is not None:
# result_path = colorizer.plot_transformed_image_from_url(url=source_url, path=source_path, render_factor=render_factor, compare=True)
# else:
# result_path = colorizer.plot_transformed_image(path=source_path, render_factor=render_factor, compare=True)
result_path = colorizer.plot_transformed_image(path=source_path, render_factor=render_factor, compare=True)
show_image_in_notebook(result_path)
test_imagesフォルダに目的の画像を移動して、ファイル名を変更すると変換できました。
【元データ】
【カラー化】
動画のカラー化
VideoColorizer.ipynb（動画のカラー化）
【元データ】
Charley Chase in Dog Shy (1926) pic.twitter.com/M00408u9tF
— Silent Movie GIFs (@silentmoviegifs) April 12, 2019
【カラー化】
考察
いろいろ手法でと白黒からカラーにできることが、分かった。
使用するプログラムで、当たり前ですが、カラーのつけ方が若干相違する。
カラー化したい目的に合わせて、活用すると良いと思います。
ポッドキャスト :
video/mp4
はじめに
Stable Diffusion web UI用の拡張機能として、短い動画を自動生成することができます。
text2videoインストール
web UIの拡張機能リストからインストールします。
- web UIの拡張機能タブ→「Extensions」
- text2video Extension→「install」
インストール後、web UIを再起動してください。
ModelScopeの準備
以下の4つのファイルをダウンロードします。
- VQGAN_autoencoder.pth
- configuration.json
- open_clip_pytorch_model.bin
- text2video_pytorch_model.pth
以下のサイトから、ファイルをダウンロードできます。
【公式サイト】
ダウンロードしたファイルは、以下のフォルダに移動します。
※「ModelScope」フォルダ以下は、自分で作成します
webui\models\ModelScope\t2v
VideoCrafterの準備
下記ページからモデル（model.ckpt）をダウンロードします。
【公式サイト】
ダウンロードしたファイルは、以下のフォルダに移動します。
※「VideoCrafter」フォルダ以下は、自分で作成します
webui\models\VideoCrafter
text2video の使い方
「 text2video 」タブを選択します。
【今回のプロンプト：1dog, walking,】
Generateをクリックして、動画を生成します。
生成された動画ファイルは、以下のフォルダに保存されます。
※サブフォルダが作られて、連番の静止画（PNGファイル）と動画ファイル（MP4）が出力されます。
webui\outputs\img2img-images\text2video
作成例
【今回のプロンプト：1dog, walking,】
参考サイト
短い動画を生成できる拡張機能「text2video Extension」の使い方【Stable Diffuison web UI】
考察
短い動画ではあるが、プロンプトによって簡単に作成できた。
プロンプトの入力を工夫すると、何かに使えるかもしれない。
ポッドキャスト :
video/mp4
はじめに
StableDiffusion を用いて、簡単なAI動画を作成してみた
- StableDiffusionで画像１枚を作成
- Creative Reality Studio で動画作成
- 音読さんで、音声作成
- canvaで、動画と音声と音楽を合成
画像生成
StableDiffusionで画像１枚を作成
動画作成
Creative Reality Studioで動画作成
【公式サイト】
【参考サイト】
【誰でも簡単】AIで画像を動画化。原稿を読ませてみました！（リップシンク）
【今回、作成した動画】
コメントも挿入し、口が動くように作成
茨城県に住んでいます。
将門せんべいが大好きです。
水戸納豆もよく食べます。
趣味は、筑波山で登山することです。
音声作成
音読さんで、音声作成
【公式サイト】
【作成例】
茨城県に住んでいます。
将門せんべいが大好きです。
水戸納豆もよく食べます。
趣味は、筑波山で登山することです。
※少し大人の声になるように、高低: (-3.5)としました。
合成動画（動画と音声と音楽）
canvaで、動画と音声と音楽を合成
【公式サイト】
※Creative Reality Studioで収録した音源は、ミュート（音声０）としました。
完成動画
今回の動画は、以下のようになりました。
考察
AI画像１枚からの動画となります。
まばたきや口の動きもスムーズな感じです。
画像を数枚利用できるようになると、また一段とリアリティが上がるような気がします。
ポッドキャスト :
video/mp4
はじめに
StableDiffusion にて AI動画 を作成できた!
使用したアプリ
・Stable Diffusion
・FFmpeg
・EBsynth
作成動画
【その１】
【その２】
考察
声に合わせて、口が動くようにできないかな
はじめに
LoRa ： 『Low-Rank Adaptation』
- キャラクターを表現できる
- ポーズを表現できる
- 背景を表現できる
Lora入手方法
Civitaiサイトから入手できます。
【Civitai公式サイト】
右上のアンテナのアイコンから、 Lora のみ選択する
今回は、「 Cyberhelmet 」を選択しました。
ダウンロードしたファイルは、webuiフォルダ内の「 stable-diffusion-webui-models\models\Lora 」以下に移動します。
Stable Diffusion Web UIを起動して、Loraを設定していきます。
- 花札アイコンをクリック
- Loraタブをクリック
- 目的のLoraをクリック
ダウンロードしたサイトを参考に、トリガーワード（Trigger Words）をプロンプトします。
今回のTrigger Words:cyberhelmet なので、
【呪文:＜lora:cyberhelmetv0.7:1＞, cyberhelmet, 1boy,】
【生成した画像】
考察
今回は、Loraを用いて、サイバーヘルメットを表現しました。
キャラクター、ポーズ、背景なども表現可能です。
思い通りの画像を、組み合わせによっては、簡単に表現できる可能性が高いです。
いろいろなLoraを活用し、AI画像を楽しんでいけたらと思います。
おすすめサイト
Stable Diffusionにおける『LoRa』を解説！|使い方と入手方法をまとめたよ
【初心者向け】Loraの使い方について！！
Stable Diffusionで追加学習させたLoRAとは？使い方を解説！
