ホーム
>> ヘッドライン
>>
PC修理のわたなべ
| メイン | 簡易ヘッドライン |
 |
|
PC修理のわたなべ
(2025-7-1 14:15:30)
現在データベースには 492 件のデータが登録されています。
ポッドキャスト :
video/mp4
はじめに
音声に合わせて、画像の動画をつくりたいと思った。
【ツール】
- SadTalker
参考サイト
SadTalkerのインストールは、以下をご覧ください。
口パク(リップシンク)AI「SadTalker」をWebUI(1111)拡張機能として導入する方法 | 経済的生活日誌 (economylife.net)
SadTalkerの使い方と魅力、画像と音声からアニメーションを作ろう！ | 定年後のスローライフブログ (yanai-ke.com)
SadTalkerの設定資料
拡張機能URL
https://github.com/Winfredy/SadTalker
モデルの配置
stable-diffusion-webui/models/SadTalker
以下のサイトから、すべてのファイルをダウンロードし、上記フォルダ以下にコピーする。
sadtalker_checkpoints – Google ドライブ
SadTalkerをつかってみた
txt2imgにて、画像を作成
【その1】
【その2】
SadTalkerに画像と音声を合成
※音声は、音読さん （ https://ondoku3.com/ja/ ）
【その1】
【その2】
ビデオエディター（windows標準アプリ）にて、動画を結合
※はじめて使いましたが、使いやすかったです。
完成動画
リンのあいさつ
考察
1枚の画像から、音声動画ができるようになった。
Stable Diffusion の各動画ツールと違い、動画内の画質・人物・風景が相違なく動くのが、すごくよかった。
はじめに
1枚画像でLoRAを作成してみる。
【モデル】
- 福沢諭吉
写真の調整
写真の加工を簡単に施した。※手動修正
- 顔の修正
- 服の修正
白黒から高画質カラー写真へ
- 白黒画像・動画のカラー化（DeOldify）
- AI高画質化ツール（Real-ESRGAN）
【参考ページ】
AI高画質化ツール（Real-ESRGAN）実施後
白黒画像・動画のカラー化（DeOldify）実施後
LoRAを作成してみる
人物のみを切り抜く
【参考ページ】
イラスト切り抜き 作成 (Transparent-Background)
LoRA生成
LoRA完成
LoRAで遊んでみた
LoRAを使用して、画像を生成してみた
【作成例】
はじめに
1枚画像でLoRAを作成してみる。
【モデル】
- 坂本龍馬
写真の調整
写真の加工を簡単に施した。※手動修正
- 顔の修正
- 服の修正
白黒から高画質カラー写真へ
- 白黒画像・動画のカラー化（DeOldify）
- AI高画質化ツール（Real-ESRGAN）
【参考ページ】
AI高画質化ツール（Real-ESRGAN）実施後
白黒画像・動画のカラー化（DeOldify）実施後
高画質なカラー写真が完成しました。
LoRAを作成してみる
人物のみを切り抜く
【参考ページ】
イラスト切り抜き 作成 (Transparent-Background)
学習用素材に加工
【参考サイト】
（3/20更新）Kohya版LoRA学習環境 簡単スタンドアローンセットアップ（※bmaltais氏の『Kohya’s GUI』の導入）
- 顔のみ・上半身・全身の３種類の素材を作成
【ryoma01.txt】
solo, simple_background, black_hair, 1boy, white_background, closed_mouth, closed_eyes, male_focus, portrait,
realistic
【ryoma0２.txt】
solo, simple_background, black_hair, 1boy, white_background, weapon, male_focus, parted_lips, japanese_clothes, sword,
kimono, katana, sheath, sheathed, realistic, topknot
【ryoma0３.txt】
solo, simple_background, black_hair, 1boy, white_background, closed_mouth, closed_eyes, male_focus, portrait, realisticsolo,
skirt, simple_background, black_hair, long_sleeves, 1boy, white_background, closed_mouth, standing, full_body, weapon, male_focus, japanese_clothes, sword,
facial_hair, katana, hakama, hakama_skirt, realistic, topknotsolo, simple_background, black_hair, 1boy, white_background, closed_mouth, closed_eyes, male_focus,
portrait, realistic
kohya_ss_webuiでLoRA作成
LoRA完成
LoRAで遊んでみた
LoRAを使用して、画像を生成してみた
【作成例】
考察
今回は、坂本龍馬でLoRA学習を実施し、AI画像を生成してみました。
１枚の画像から、立体感のある写真を生成することができました。
※ただし、実際に似ているかどうかわかりません
今回のSD WEBUIの設定画面を残しておきます。
【ryoma0３.txt】のTaggerプロンプトを参考に入力しております。
もし参考になることがありましたら、ご自由にお使いください。
はじめに
Stable DiffusionでLora作成のために、素材をマスキングしたいと思った。
【今回の学習】
- Transparent-Background
参考サイト
切り抜きや背景透過・学習素材集めのお供に最適！Transparent-Backgroundが超高性能なので使ってみよう！ほか拡張機能の紹介【Stable Diffusion】
インストール方法
ダウンロードサイト
plemeri/transparent-background
インストール方法
コマンドプロンプトで以下の命令をする
※どこでも大丈夫です
pip install transparent-background
以上で終了です！※簡単ですね
使用方法
練習用として、Cドライプに「 images 」フォルダを作成します。
その下位ファルダに、「 sozai 」と「 output 」を作成します。
「 sozai 」フォルダに、「 sample01.jpg 」を追加しました。
「 sozai 」フォルダにて、コマンドプロンプトを起動させます。
以下の命令文で、切り抜き画像が作成されます。
transparent-background --source sample01.jpg
今回は、「 sozai 」フォルダに切り抜かれた画像「 sample01_rgba.png 」が生成されています。
比較
【元データ画像】
【切り抜かれた画像】
髪の毛などを確認すると、他のアプリと比較しても断然良い生成結果になりました。
応用
マスクを作りたい場合
transparent-background --source sample01.jpg --type map
今回は、「 sozai 」フォルダにマスク画像「 sample01_map.png 」が生成されています。
グリーン背景を作りたい場合
transparent-background --source sample01.jpg --type green
ホワイト背景を作りたい場合
transparent-background --source sample01.jpg --type white
目的の画像背景を作りたい場合
「 sozai 」フォルダに、「 back01.jpg 」を追加しました。
transparent-background --source sample01.jpg --type back01.jpg
【命令文】
【作成結果】
【背景画像を結合した結果】
バッチファイル作成
フォルダ内のファイルを丸ごと変換するバッチファイルを作成します。
「 sozai 」フォルダに、「 sample01.jpg ?」を追加しました。
バッチファイルの作成「 setup.bat 」
※改行なしの一行で作成します。
transparent-background --source "C:\images\sozai" --type white --dest "C:\images\output"
バッチファイル「 setup.bat 」をダブルクリックすると、「 output 」フォルダ内に、人物が切り抜かれた白い背景画像が生成されています。
結論
今まで手作業が多かった切り抜き画像がワンクリックで作成できるようになった。
Lora学習でも有益な活用が出来そうである。
ポッドキャスト :
video/mp4
はじめに
Stable Diffusionで動画作成できるコンテンツを探していたら、Deforumを発見。
早速、インストール・動画作成をしていきたいと思います。
参考サイト
Stable Diffusionの『Deforum』機能でアニメーション動画を作る方法 (その１)
Stable DiffusionでアニメーションAI動画を”簡単に”作る方法【deforum tutorial】（その２）
インストール方法
Stable Diffusionを起動する。
Extensions タブ → Available タブ → Load from: を選択
Deforumという項目があるので、右端のインストールをクリック
インストール完了後（１分程度）、リロードします。
Deforumの操作方法
とりあえず、動画を作成してみます。
Deforum タブ → Prompts タブ → Genetate を選択
動画作成が終了したら、「 Click here ? 」をクリックすると動画を確認できます。
【完成動画】
FPS(１秒間の使用枚数)
１秒間のキーフレームを変更します。
Output タブ → FPSの数値 を変更
Max frames（動画の総枚数）
動画の総枚数を変更します。
Keyframes タブ → Max frames の数値 を変更
Animation mode （アニメ or 実写)
動画の総枚数を変更します。
Keyframes タブ → Animation mode を選択
新規作成
Prompts にテキストを代入
"0": "cat",
"45": "dog"
Genetate を選択
動画生成後、 Update the video を選択すると動画を確認できます。
完成動画
考察
動画の１枚１枚が想像以上に相似していて、驚きました。
Prompts など、いろいろと変更して遊ぶことができそうです。
みなさんも楽しんでみてください！
おまけ動画
Prompts:
"0": "in forest,anime,1girl,16 years old",
"25": "in city,anime,1girl,18 years old",
"50": "in city,realistic,1girl,20 years old"
Max frames: 100
FPS: 10
ポッドキャスト :
video/mp4
はじめに
簡単なパラパラ動画を作成してみる
- Stable Diffusion
- FFmpeg
- EBsynth
参考サイト
サンプル動画
【sample.mp4】
以下のサイトから、サンプル動画を使用させていただきました。
作成方法
C:\MovieProject にサンプル動画を用意
videoフレームの抽出
[ EbSynth Utility ]タブ → [ Project Setting ]タブ
project directory: C:\MovieProject
Original Movie Path: C:\MovieProject\sample.mp4
動画のフレーム幅とフレーム高を確認する。
[ Cofiguration ]タブ → [ Stage1 ]タブ
Frame Width: 960
Frame Height: 540
「 Stage1 」をチェック！
「 Generate 」をクリック！
C:\MovieProject に 「 video_frame 」フォルダ と 「 video_mask 」フォルダが生成されています。
※「 video_frame 」フォルダ
※「 video_mask 」フォルダ
キーフレームの抽出
[ Stage2 ]タブをクリック
「 Stage２ 」をチェック！
「 Generate 」をクリック！
C:\MovieProject に 「 video_key 」フォルダが生成されています。
※「 video_key 」フォルダ
作成画像の調整
[ img2img ]タブをクリック
「 video_key 」フォルダの1枚から、最適な画像をジェネレート！
元データの幅と高さを揃える
Width: 960
Height: 540
ControlNetで元データから形状などを継承する
※OpenPose
※SoftEdge
設定が決まったら、Seed値を代入する (Seed値固定）
Script: ebsynth utility
Project directory: C:\MovieProject
ControlNet option
Control Net Weight: 1
Control Net Weight For Face: 1
「 Generate 」をクリック！
C:\MovieProject に 「 img2img_key 」フォルダが生成されています。
※「 img2img_key 」フォルダ
動画の制作
[ EbSynth Utility ]タブ → [ stage5 ]チェック
「 Generate 」をクリック！
C:\MovieProject に 「 ＊.ebs 」ファイルが生成されています。
EbSynthを起動
Openで「 ＊_00000.ebs 」ファイルを選択
Advanced De-flicker: High
[Run All] で生成開始！
C:\MovieProject に 「out- ＊ 」フォルダが生成されます。
[ stage7 ]タブ選択 → [ stage7 ]チェック
「 Generate 」をクリック！
C:\MovieProject に 「 ＊.mp4 」ファイルが生成されます。
これで、完成です！！
完成動画
はじめに
昔の白黒写真を高画質のカラー化を試してみる。
- 白黒画像・動画のカラー化（DeOldify）
- AI高画質化ツール（Real-ESRGAN）
【元データ】
※中川村小学校増築上棟式（昭和11年８月11日）
白黒画像・動画のカラー化（DeOldify）
白黒画像・動画のカラー化（DeOldify）
【カラー処理後】
AI高画質化ツール（Real-ESRGAN）
AI高画質化ツール（Real-ESRGAN）
【高画質処理後】
考察
※白黒からカラー処理後
※カラー処理から高画質処理後
※元データから、最終画像
古い白黒写真が、高画質のカラー写真へ変更できた。
高画質化をやりすぎると、のっぺり感がみられる。
適度な活用が必要だと感じられました。
はじめに
Stable Difussion にてRolaを学習しています。
元画像を高画質化できるソフトを探していました。
GUIソフト「Real-ESRGAN-GUI」※お手軽版
Real-GSRGANをGUI化したソフト
CUGANも使える簡単アプコンGUIソフト「Real-ESRGAN-GUI」
Real-ESRGAN【Python】※おすすめ版
インストール方法・使用方法は、以下をご覧ください
【Python】AI高画質化ツールReal-ESRGANのインストール
考察
元画像
変換後
非常に高画質になっていることがわかります。
ぼやけた写真や古い写真も、高画質になりました。
ポッドキャスト :
video/mp4
はじめに
古い白黒写真をカラーにしたい。
WEB上では、様々なサイトがある。
しかし、出来ればローカルPCで作成したいと思った。
WEB上でのカラー比較
DataChef
Vance AI
Colourise.com
MyHeritage
Deepai.org Colorize
DeOldifyインストール
DeOldifyとは、白黒画像・動画をカラー化するAIツールです。
オープンソースであり、無料でローカルPCで利用可能になります。
参考にしたサイトは、以下の通りです。
JupyterLabを起動させるところまで、インストールしてください。
DeOldifyのインストール【白黒画像・動画のカラー化AIツール】
JupyterLab上の操作ができれば、準備は完了です。
画像のカラー化
ImageColorizer.ipynb（画像のカラー化）するところで、画像を生成することができませんでした。
以下のように、ファイルを変更しました。
source_url=’https://upload.wikimedia.org/wikipedia/commons/e/e4/Raceland_Louisiana_Beer_Drinkers_Russell_Lee.jpg’
source_path = ‘test_images/image.png’
result_path = None
if source_url is not None:
result_path = colorizer.plot_transformed_image_from_url(url=source_url, path=source_path, render_factor=render_factor, compare=True)
else:
result_path = colorizer.plot_transformed_image(path=source_path, render_factor=render_factor, compare=True)
show_image_in_notebook(result_path)
↓
# source_url=’https://upload.wikimedia.org/wikipedia/commons/e/e4/Raceland_Louisiana_Beer_Drinkers_Russell_Lee.jpg’
source_path = ‘test_images/image.png’
result_path = None
# if source_url is not None:
# result_path = colorizer.plot_transformed_image_from_url(url=source_url, path=source_path, render_factor=render_factor, compare=True)
# else:
# result_path = colorizer.plot_transformed_image(path=source_path, render_factor=render_factor, compare=True)
result_path = colorizer.plot_transformed_image(path=source_path, render_factor=render_factor, compare=True)
show_image_in_notebook(result_path)
test_imagesフォルダに目的の画像を移動して、ファイル名を変更すると変換できました。
【元データ】
【カラー化】
動画のカラー化
VideoColorizer.ipynb（動画のカラー化）
【元データ】
Charley Chase in Dog Shy (1926) pic.twitter.com/M00408u9tF
— Silent Movie GIFs (@silentmoviegifs) April 12, 2019
【カラー化】
考察
いろいろ手法でと白黒からカラーにできることが、分かった。
使用するプログラムで、当たり前ですが、カラーのつけ方が若干相違する。
カラー化したい目的に合わせて、活用すると良いと思います。
ポッドキャスト :
video/mp4
はじめに
Stable Diffusion web UI用の拡張機能として、短い動画を自動生成することができます。
text2videoインストール
web UIの拡張機能リストからインストールします。
- web UIの拡張機能タブ→「Extensions」
- text2video Extension→「install」
インストール後、web UIを再起動してください。
ModelScopeの準備
以下の4つのファイルをダウンロードします。
- VQGAN_autoencoder.pth
- configuration.json
- open_clip_pytorch_model.bin
- text2video_pytorch_model.pth
以下のサイトから、ファイルをダウンロードできます。
【公式サイト】
ダウンロードしたファイルは、以下のフォルダに移動します。
※「ModelScope」フォルダ以下は、自分で作成します
webui\models\ModelScope\t2v
VideoCrafterの準備
下記ページからモデル（model.ckpt）をダウンロードします。
【公式サイト】
ダウンロードしたファイルは、以下のフォルダに移動します。
※「VideoCrafter」フォルダ以下は、自分で作成します
webui\models\VideoCrafter
text2video の使い方
「 text2video 」タブを選択します。
【今回のプロンプト：1dog, walking,】
Generateをクリックして、動画を生成します。
生成された動画ファイルは、以下のフォルダに保存されます。
※サブフォルダが作られて、連番の静止画（PNGファイル）と動画ファイル（MP4）が出力されます。
webui\outputs\img2img-images\text2video
作成例
【今回のプロンプト：1dog, walking,】
参考サイト
短い動画を生成できる拡張機能「text2video Extension」の使い方【Stable Diffuison web UI】
考察
短い動画ではあるが、プロンプトによって簡単に作成できた。
プロンプトの入力を工夫すると、何かに使えるかもしれない。
