ヘッドライン-Bando! 坂東市タウンなび

LeiaPix Converter 静止画からAI動画 (2023-7-5 20:50:49)

ポッドキャスト : video/mp4

はじめに

またひとつ、静止画からAI動画を生成できるアプリをみつけた

LeiaPix Converter
【公式サイト】　 LeiaPix Converter | Depth Animations

参考サイト

生成過程

【AI画像生成】

【公式サイト】　 LeiaPix Converter | Depth Animations

　※AI生成画像をアップロード後

完成動画

考察

1枚の画像から、ゆらぎのある動画を簡単に生成できた。

贅沢を言えば、音声を追加できるようになれば、いいかも。

SadTalker 画像に音声を合成 (2023-7-5 0:19:37)

ポッドキャスト : video/mp4

はじめに

音声に合わせて、画像の動画をつくりたいと思った。

【ツール】

SadTalker

参考サイト

SadTalkerのインストールは、以下をご覧ください。

口パク(リップシンク)AI「SadTalker」をWebUI(1111)拡張機能として導入する方法 | 経済的生活日誌 (economylife.net)

SadTalkerの使い方と魅力、画像と音声からアニメーションを作ろう！ | 定年後のスローライフブログ (yanai-ke.com)

SadTalkerの設定資料

拡張機能URL

  https://github.com/Winfredy/SadTalker

モデルの配置

stable-diffusion-webui/models/SadTalker

以下のサイトから、すべてのファイルをダウンロードし、上記フォルダ以下にコピーする。

sadtalker_checkpoints – Google ドライブ

SadTalkerをつかってみた

txt2imgにて、画像を作成

【その1】

【その2】

SadTalkerに画像と音声を合成
※音声は、音読さん　（ https://ondoku3.com/ja/ ）

【その1】

【その2】

ビデオエディター（windows標準アプリ）にて、動画を結合
※はじめて使いましたが、使いやすかったです。

完成動画

リンのあいさつ

考察

1枚の画像から、音声動画ができるようになった。

Stable Diffusion の各動画ツールと違い、動画内の画質・人物・風景が相違なく動くのが、すごくよかった。

LoRA学習　福沢諭吉編 (2023-6-26 19:57:25)

はじめに

1枚画像でLoRAを作成してみる。

【モデル】

福沢諭吉

写真の調整

写真の加工を簡単に施した。※手動修正

顔の修正
服の修正

白黒から高画質カラー写真へ

白黒画像・動画のカラー化（DeOldify）
AI高画質化ツール（Real-ESRGAN）

【参考ページ】

AI高画質化ツール（Real-ESRGAN）実施後

白黒画像・動画のカラー化（DeOldify）実施後

LoRAを作成してみる

人物のみを切り抜く

【参考ページ】

イラスト切り抜き　作成　(Transparent-Background)

LoRA生成

LoRA完成

LoRAで遊んでみた

LoRAを使用して、画像を生成してみた

【作成例】

LoRA学習　坂本龍馬編 (2023-6-22 22:22:39)

はじめに

1枚画像でLoRAを作成してみる。

【モデル】

坂本龍馬

写真の調整

写真の加工を簡単に施した。※手動修正

顔の修正
服の修正

白黒から高画質カラー写真へ

白黒画像・動画のカラー化（DeOldify）
AI高画質化ツール（Real-ESRGAN）

【参考ページ】

AI高画質化ツール（Real-ESRGAN）実施後

白黒画像・動画のカラー化（DeOldify）実施後

高画質なカラー写真が完成しました。

LoRAを作成してみる

人物のみを切り抜く

【参考ページ】

イラスト切り抜き　作成　(Transparent-Background)

学習用素材に加工

【参考サイト】

（3/20更新）Kohya版LoRA学習環境簡単スタンドアローンセットアップ（※bmaltais氏の『Kohya’s GUI』の導入）

（3/20更新）Kohya版LoRA学習環境簡単スタンドアローンセットアップ（※bmaltais氏の『Kohya's GUI』の導入）｜niel

更新 6/17v21.7.8 ■はじめに AUTOMATIC1111 webuiのスタンドアローン化に引き続き、PythonやGiTをインストールしていなくても導入出来るKohya版LoRAの学習環境についてあれやこれやしてみました。ただ、今回はAUTOMATIC1111webui以上に技術者向けの...

note.com

顔のみ・上半身・全身の３種類の素材を作成

【ryoma01.txt】

  solo, simple_background, black_hair, 1boy, white_background, closed_mouth, closed_eyes, male_focus, portrait,
realistic

【ryoma0２.txt】

  solo, simple_background, black_hair, 1boy, white_background, weapon, male_focus, parted_lips, japanese_clothes, sword,
kimono, katana, sheath, sheathed, realistic, topknot

【ryoma0３.txt】

  solo, simple_background, black_hair, 1boy, white_background, closed_mouth, closed_eyes, male_focus, portrait, realisticsolo,
skirt, simple_background, black_hair, long_sleeves, 1boy, white_background, closed_mouth, standing, full_body, weapon, male_focus, japanese_clothes, sword,
facial_hair, katana, hakama, hakama_skirt, realistic, topknotsolo, simple_background, black_hair, 1boy, white_background, closed_mouth, closed_eyes, male_focus,
portrait, realistic

kohya_ss_webuiでLoRA作成

LoRA完成

LoRAで遊んでみた

LoRAを使用して、画像を生成してみた

【作成例】

考察

今回は、坂本龍馬でLoRA学習を実施し、AI画像を生成してみました。

１枚の画像から、立体感のある写真を生成することができました。
※ただし、実際に似ているかどうかわかりません

今回のSD WEBUIの設定画面を残しておきます。
【ryoma0３.txt】のTaggerプロンプトを参考に入力しております。
もし参考になることがありましたら、ご自由にお使いください。

イラスト切り抜き　マスク作成　(Transparent-Background) (2023-6-20 20:00:05)

はじめに

Stable DiffusionでLora作成のために、素材をマスキングしたいと思った。

【今回の学習】

Transparent-Background

参考サイト

切り抜きや背景透過・学習素材集めのお供に最適！Transparent-Backgroundが超高性能なので使ってみよう！ほか拡張機能の紹介【Stable Diffusion】

インストール方法

ダウンロードサイト

plemeri/transparent-background

GitHub - plemeri/transparent-background: This is a background removing tool powered by InSPyReNet (ACCV 2022)

This is a background removing tool powered by InSPyReNet (ACCV 2022) - GitHub - plemeri/transparent-background: This is a background removing tool powered by In...

github.com

インストール方法

コマンドプロンプトで以下の命令をする
※どこでも大丈夫です

  pip install transparent-background

以上で終了です！※簡単ですね

使用方法

練習用として、Cドライプに「 images 」フォルダを作成します。

その下位ファルダに、「 sozai 」と「 output 」を作成します。

「 sozai 」フォルダに、「 sample01.jpg 」を追加しました。

「 sozai 」フォルダにて、コマンドプロンプトを起動させます。
以下の命令文で、切り抜き画像が作成されます。

  transparent-background --source sample01.jpg

今回は、「 sozai 」フォルダに切り抜かれた画像「 sample01_rgba.png 」が生成されています。

比較

【元データ画像】

【切り抜かれた画像】

髪の毛などを確認すると、他のアプリと比較しても断然良い生成結果になりました。

応用

マスクを作りたい場合

  transparent-background --source sample01.jpg --type map

今回は、「 sozai 」フォルダにマスク画像「 sample01_map.png 」が生成されています。

グリーン背景を作りたい場合

  transparent-background --source sample01.jpg --type green

ホワイト背景を作りたい場合

  transparent-background --source sample01.jpg --type white

目的の画像背景を作りたい場合

「 sozai 」フォルダに、「 back01.jpg 」を追加しました。

  transparent-background --source sample01.jpg --type back01.jpg

【命令文】

【作成結果】

【背景画像を結合した結果】

バッチファイル作成

フォルダ内のファイルを丸ごと変換するバッチファイルを作成します。

「 sozai 」フォルダに、「 sample01.jpg ?」を追加しました。

バッチファイルの作成「 setup.bat 」
※改行なしの一行で作成します。

  transparent-background --source "C:\images\sozai" --type white --dest "C:\images\output"

バッチファイル「 setup.bat 」をダブルクリックすると、「 output 」フォルダ内に、人物が切り抜かれた白い背景画像が生成されています。

結論

今まで手作業が多かった切り抜き画像がワンクリックで作成できるようになった。

Lora学習でも有益な活用が出来そうである。

アニメーション動画『Deforum』考察 (Stable Diffusion) (2023-6-16 20:07:09)

ポッドキャスト : video/mp4

はじめに

Stable Diffusionで動画作成できるコンテンツを探していたら、Deforumを発見。

早速、インストール・動画作成をしていきたいと思います。

参考サイト

Stable Diffusionの『Deforum』機能でアニメーション動画を作る方法　(その１)

Stable Diffusionの『Deforum』機能でアニメーション動画を作る方法

本記事では、Stable DiffusionのDeforum機能を用いてアニメーション動画を作る方法をご紹介します。まずはこちらの動画をご覧ください。 Deforum機能を使うと、このような動画が誰でも簡単に作成できます。導入方法から実際の使い方まで簡潔にご紹介していくので、このような動画を作成したいとお考えの方...

ai-freak.com

Stable DiffusionでアニメーションAI動画を”簡単に”作る方法【deforum tutorial】（その２）

FizzleDorf's Animation Guide - Deforum

return to main page: Deforum Deforum Introduction Run Keyframes Main Settings Prompts Prompt Constants Composable Mask scheduling Init Init Image Mask Init Vid...

rentry.co

インストール方法

Stable Diffusionを起動する。

Extensions タブ　→　 Available タブ　→　 Load from: を選択

Deforumという項目があるので、右端のインストールをクリック

インストール完了後（１分程度）、リロードします。

Deforumの操作方法

とりあえず、動画を作成してみます。

Deforum タブ　→　 Prompts タブ　→　 Genetate を選択

動画作成が終了したら、「 Click here ? 」をクリックすると動画を確認できます。

【完成動画】

FPS(１秒間の使用枚数)

１秒間のキーフレームを変更します。

Output タブ →　 FPSの数値 を変更

Max frames（動画の総枚数）

動画の総枚数を変更します。

Keyframes タブ →　 Max frames の数値 を変更

Animation mode　（アニメ or 実写)

動画の総枚数を変更します。

Keyframes タブ →　 Animation mode を選択

新規作成

Prompts にテキストを代入

      "0": "cat",
    "45": "dog"

Genetate を選択

動画生成後、 Update the video を選択すると動画を確認できます。

完成動画

考察

動画の１枚１枚が想像以上に相似していて、驚きました。

Prompts など、いろいろと変更して遊ぶことができそうです。

みなさんも楽しんでみてください！

おまけ動画

Prompts:

      "0": "in forest,anime,1girl,16 years old",
    "25": "in city,anime,1girl,18 years old",
    "50": "in city,realistic,1girl,20 years old"

Max frames: 100
FPS: 10

AI動画制作方法 FFmpeg/EBsynth（パラパラ動画） (2023-6-14 17:43:09)

ポッドキャスト : video/mp4

はじめに

簡単なパラパラ動画を作成してみる

Stable Diffusion
FFmpeg
EBsynth

参考サイト

サンプル動画

【sample.mp4】

以下のサイトから、サンプル動画を使用させていただきました。

髪をなびかせてカメラ目線で微笑む女性のアップの動画｜無料の動画素材サイト「動画AC」

動画ACは無料で高品質な髪をなびかせてカメラ目線で微笑む女性のアップの動画素材を提供しています。フリー動画素材は、ウェブサイトやSNS広告などで使えるHD・4Kをご用意しております。個人、商用を問わず無料でお使いいただけます。

video-ac.com

作成方法

C:\MovieProject にサンプル動画を用意

videoフレームの抽出

[ EbSynth Utility ]タブ　→　[ Project Setting ]タブ

project directory: C:\MovieProject
Original Movie Path: C:\MovieProject\sample.mp4

動画のフレーム幅とフレーム高を確認する。

[ Cofiguration ]タブ　→　[ Stage1 ]タブ

Frame Width: 960
Frame Height: 540

「 Stage1 」をチェック！

「 Generate 」をクリック！

C:\MovieProject 　に　「 video_frame 」フォルダと　「 video_mask 」フォルダが生成されています。

※「 video_frame 」フォルダ

※「 video_mask 」フォルダ

キーフレームの抽出

[ Stage2 ]タブをクリック

「 Stage２ 」をチェック！

「 Generate 」をクリック！

C:\MovieProject 　に　「 video_key 」フォルダが生成されています。

※「 video_key 」フォルダ

作成画像の調整

[ img2img ]タブをクリック

「 video_key 」フォルダの1枚から、最適な画像をジェネレート！

元データの幅と高さを揃える

Width: 960
Height: 540

ControlNetで元データから形状などを継承する

※OpenPose

※SoftEdge

設定が決まったら、Seed値を代入する 　(Seed値固定）

Script: ebsynth utility

Project directory: C:\MovieProject

ControlNet option

Control Net Weight: 1
Control Net Weight For Face: 1

「 Generate 」をクリック！

C:\MovieProject 　に　「 img2img_key 」フォルダが生成されています。

※「 img2img_key 」フォルダ

動画の制作

[ EbSynth Utility ]タブ　→　[ stage5 ]チェック

「 Generate 」をクリック！

C:\MovieProject 　に　「 ＊.ebs 」ファイルが生成されています。

EbSynthを起動

Openで「 ＊_00000.ebs 」ファイルを選択
Advanced De-flicker: High

[Run All] で生成開始！

C:\MovieProject 　に　「out- ＊」フォルダが生成されます。

　[ stage7 ]タブ選択　→　[ stage7 ]チェック

「 Generate 」をクリック！

C:\MovieProject 　に　「 ＊.mp4 」ファイルが生成されます。

これで、完成です！！

完成動画

昔の白黒写真を高画質カラー化 (2023-6-14 16:33:30)

はじめに

昔の白黒写真を高画質のカラー化を試してみる。

白黒画像・動画のカラー化（DeOldify）
AI高画質化ツール（Real-ESRGAN）

【元データ】

※中川村小学校増築上棟式（昭和11年８月11日）

白黒画像・動画のカラー化（DeOldify）

【カラー処理後】

AI高画質化ツール（Real-ESRGAN）

【高画質処理後】

考察

※白黒からカラー処理後

※カラー処理から高画質処理後

※元データから、最終画像

古い白黒写真が、高画質のカラー写真へ変更できた。

高画質化をやりすぎると、のっぺり感がみられる。

適度な活用が必要だと感じられました。

AI高画質化ツール（Real-ESRGAN） (2023-6-14 15:47:50)

はじめに

Stable Difussion にてRolaを学習しています。

元画像を高画質化できるソフトを探していました。

GUIソフト「Real-ESRGAN-GUI」※お手軽版

Real-GSRGANをGUI化したソフト

CUGANも使える簡単アプコンGUIソフト「Real-ESRGAN-GUI」

CUGANも使える簡単アプコンGUIソフト「Real-ESRGAN-GUI」

今回は簡単に画像のアップコンバートができるソフト、「Real-ESRGAN-GUI」を紹介します。以前Cupscaleというソフトを紹介していましたが、今回はよりお手軽に試す事ができるのでおすすめです。Cupscaleとは違いRealCUG

golabo.net

Real-ESRGAN【Python】※おすすめ版

インストール方法・使用方法は、以下をご覧ください

【Python】AI高画質化ツールReal-ESRGANのインストール

【Python】AI高画質化ツールReal-ESRGANのインストール

「AIを使って画像を高画質化したい」「画質を落とさずに画像サイズを拡大したい」「無料で使える高画質化ツールをインストールしたい」このような場合には、Real-ESRGANがオススメです。この記事では、AI高画質化ツールReal-ESRGANについて解説しています。

self-development.info

考察

元画像

変換後

非常に高画質になっていることがわかります。

ぼやけた写真や古い写真も、高画質になりました。

白黒画像・動画のカラー化（DeOldify） (2023-6-13 18:21:14)

ポッドキャスト : video/mp4

はじめに

古い白黒写真をカラーにしたい。

WEB上では、様々なサイトがある。

しかし、出来ればローカルPCで作成したいと思った。

WEB上でのカラー比較

DataChef

白黒画像をAIがカラー化 - 無料WEBアプリ - DataChef | TechLagoon

アップロードした白黒の写真を、AIが着色してカラー写真に変換するページ。

tech-lagoon.com

Vance AI

VanceAI 超解像｜AIで画像解像度を上げるオンラインソフト

超解像のディープラーニング技術で、ワンクリックで画像の高画質化、ぼかし除去、ノイズ除去、切り抜きなど従来手間がかかる画像加工作業の効率化を図るオンラインサイト。

vanceai.com

Colourise.com

[OFFICIAL] Colourise.com | Colorize Photo Online Free with AI

Colourise.com helps colorize photo online free and uses AI to colorize black and white photos & old photos automatically. Click to try Colourise tool.

colourise.com

MyHeritage

MyHeritage In Color™, world's best technology for colorizing and restoring the colors in historical photos - MyHeritage

MyHeritage In Color™ uses the world's best deep learning technology to colorize black and white photos, and to restore the colors in faded photos originally tak...

www.myheritage.jp

Deepai.org Colorize

Image Colorization

Colorize black and white images or videos using the image colorization API. Add color to old family photos and historic images, or bring an old film back to lif...

deepai.org

DeOldifyインストール

DeOldifyとは、白黒画像・動画をカラー化するAIツールです。
オープンソースであり、無料でローカルPCで利用可能になります。

参考にしたサイトは、以下の通りです。
JupyterLabを起動させるところまで、インストールしてください。

DeOldifyのインストール【白黒画像・動画のカラー化AIツール】

DeOldifyのインストール【白黒画像・動画のカラー化AIツール】

「白黒画像・動画をカラーに変換したい」「Colabではなくローカル環境でAIツールが動くようにしたい」このような場合には、この記事の内容が参考になります。この記事では、ローカル環境にDeOldifyをインストールする方法を解説しています。

self-development.info

JupyterLab上の操作ができれば、準備は完了です。

画像のカラー化

ImageColorizer.ipynb（画像のカラー化）するところで、画像を生成することができませんでした。

以下のように、ファイルを変更しました。

source_url=’https://upload.wikimedia.org/wikipedia/commons/e/e4/Raceland_Louisiana_Beer_Drinkers_Russell_Lee.jpg’
source_path = ‘test_images/image.png’
result_path = None

if source_url is not None:
result_path = colorizer.plot_transformed_image_from_url(url=source_url, path=source_path, render_factor=render_factor, compare=True)
else:
result_path = colorizer.plot_transformed_image(path=source_path, render_factor=render_factor, compare=True)

show_image_in_notebook(result_path)

↓

# source_url=’https://upload.wikimedia.org/wikipedia/commons/e/e4/Raceland_Louisiana_Beer_Drinkers_Russell_Lee.jpg’
source_path = ‘test_images/image.png’
result_path = None

# if source_url is not None:
# result_path = colorizer.plot_transformed_image_from_url(url=source_url, path=source_path, render_factor=render_factor, compare=True)
# else:
# result_path = colorizer.plot_transformed_image(path=source_path, render_factor=render_factor, compare=True)

result_path = colorizer.plot_transformed_image(path=source_path, render_factor=render_factor, compare=True)
show_image_in_notebook(result_path)

test_imagesフォルダに目的の画像を移動して、ファイル名を変更すると変換できました。

【元データ】

【カラー化】

動画のカラー化

VideoColorizer.ipynb（動画のカラー化）

【元データ】

Charley Chase in Dog Shy (1926) pic.twitter.com/M00408u9tF
— Silent Movie GIFs (@silentmoviegifs) April 12, 2019

【カラー化】

考察

いろいろ手法でと白黒からカラーにできることが、分かった。

使用するプログラムで、当たり前ですが、カラーのつけ方が若干相違する。

カラー化したい目的に合わせて、活用すると良いと思います。

坂東市のお役立ち情報が満載！