ホーム
>> ヘッドライン
>>
PC修理のわたなべ
| メイン | 簡易ヘッドライン |
 |
|
PC修理のわたなべ
(2024-4-19 1:39:58)
現在データベースには 316 件のデータが登録されています。
はじめに
昔の白黒写真を高画質のカラー化を試してみる。
- 白黒画像・動画のカラー化（DeOldify）
- AI高画質化ツール（Real-ESRGAN）
【元データ】
※中川村小学校増築上棟式（昭和11年８月11日）
白黒画像・動画のカラー化（DeOldify）
白黒画像・動画のカラー化（DeOldify）
【カラー処理後】
AI高画質化ツール（Real-ESRGAN）
AI高画質化ツール（Real-ESRGAN）
【高画質処理後】
考察
※白黒からカラー処理後
※カラー処理から高画質処理後
※元データから、最終画像
古い白黒写真が、高画質のカラー写真へ変更できた。
高画質化をやりすぎると、のっぺり感がみられる。
適度な活用が必要だと感じられました。
はじめに
Stable Difussion にてRolaを学習しています。
元画像を高画質化できるソフトを探していました。
GUIソフト「Real-ESRGAN-GUI」※お手軽版
Real-GSRGANをGUI化したソフト
CUGANも使える簡単アプコンGUIソフト「Real-ESRGAN-GUI」
Real-ESRGAN【Python】※おすすめ版
インストール方法・使用方法は、以下をご覧ください
【Python】AI高画質化ツールReal-ESRGANのインストール
考察
元画像
変換後
非常に高画質になっていることがわかります。
ぼやけた写真や古い写真も、高画質になりました。
ポッドキャスト :
video/mp4
はじめに
古い白黒写真をカラーにしたい。
WEB上では、様々なサイトがある。
しかし、出来ればローカルPCで作成したいと思った。
WEB上でのカラー比較
DataChef
Vance AI
Colourise.com
MyHeritage
Deepai.org Colorize
DeOldifyインストール
DeOldifyとは、白黒画像・動画をカラー化するAIツールです。
オープンソースであり、無料でローカルPCで利用可能になります。
参考にしたサイトは、以下の通りです。
JupyterLabを起動させるところまで、インストールしてください。
DeOldifyのインストール【白黒画像・動画のカラー化AIツール】
JupyterLab上の操作ができれば、準備は完了です。
画像のカラー化
ImageColorizer.ipynb（画像のカラー化）するところで、画像を生成することができませんでした。
以下のように、ファイルを変更しました。
source_url=’https://upload.wikimedia.org/wikipedia/commons/e/e4/Raceland_Louisiana_Beer_Drinkers_Russell_Lee.jpg’
source_path = ‘test_images/image.png’
result_path = None
if source_url is not None:
result_path = colorizer.plot_transformed_image_from_url(url=source_url, path=source_path, render_factor=render_factor, compare=True)
else:
result_path = colorizer.plot_transformed_image(path=source_path, render_factor=render_factor, compare=True)
show_image_in_notebook(result_path)
↓
# source_url=’https://upload.wikimedia.org/wikipedia/commons/e/e4/Raceland_Louisiana_Beer_Drinkers_Russell_Lee.jpg’
source_path = ‘test_images/image.png’
result_path = None
# if source_url is not None:
# result_path = colorizer.plot_transformed_image_from_url(url=source_url, path=source_path, render_factor=render_factor, compare=True)
# else:
# result_path = colorizer.plot_transformed_image(path=source_path, render_factor=render_factor, compare=True)
result_path = colorizer.plot_transformed_image(path=source_path, render_factor=render_factor, compare=True)
show_image_in_notebook(result_path)
test_imagesフォルダに目的の画像を移動して、ファイル名を変更すると変換できました。
【元データ】
【カラー化】
動画のカラー化
VideoColorizer.ipynb（動画のカラー化）
【元データ】
Charley Chase in Dog Shy (1926) pic.twitter.com/M00408u9tF
— Silent Movie GIFs (@silentmoviegifs) April 12, 2019
【カラー化】
考察
いろいろ手法でと白黒からカラーにできることが、分かった。
使用するプログラムで、当たり前ですが、カラーのつけ方が若干相違する。
カラー化したい目的に合わせて、活用すると良いと思います。
ポッドキャスト :
video/mp4
はじめに
Stable Diffusion web UI用の拡張機能として、短い動画を自動生成することができます。
text2videoインストール
web UIの拡張機能リストからインストールします。
- web UIの拡張機能タブ→「Extensions」
- text2video Extension→「install」
インストール後、web UIを再起動してください。
ModelScopeの準備
以下の4つのファイルをダウンロードします。
- VQGAN_autoencoder.pth
- configuration.json
- open_clip_pytorch_model.bin
- text2video_pytorch_model.pth
以下のサイトから、ファイルをダウンロードできます。
【公式サイト】
ダウンロードしたファイルは、以下のフォルダに移動します。
※「ModelScope」フォルダ以下は、自分で作成します
webui\models\ModelScope\t2v
VideoCrafterの準備
下記ページからモデル（model.ckpt）をダウンロードします。
【公式サイト】
ダウンロードしたファイルは、以下のフォルダに移動します。
※「VideoCrafter」フォルダ以下は、自分で作成します
webui\models\VideoCrafter
text2video の使い方
「 text2video 」タブを選択します。
【今回のプロンプト：1dog, walking,】
Generateをクリックして、動画を生成します。
生成された動画ファイルは、以下のフォルダに保存されます。
※サブフォルダが作られて、連番の静止画（PNGファイル）と動画ファイル（MP4）が出力されます。
webui\outputs\img2img-images\text2video
作成例
【今回のプロンプト：1dog, walking,】
参考サイト
短い動画を生成できる拡張機能「text2video Extension」の使い方【Stable Diffuison web UI】
考察
短い動画ではあるが、プロンプトによって簡単に作成できた。
プロンプトの入力を工夫すると、何かに使えるかもしれない。
ポッドキャスト :
video/mp4
はじめに
StableDiffusion を用いて、簡単なAI動画を作成してみた
- StableDiffusionで画像１枚を作成
- Creative Reality Studio で動画作成
- 音読さんで、音声作成
- canvaで、動画と音声と音楽を合成
画像生成
StableDiffusionで画像１枚を作成
動画作成
Creative Reality Studioで動画作成
【公式サイト】
【参考サイト】
【誰でも簡単】AIで画像を動画化。原稿を読ませてみました！（リップシンク）
【今回、作成した動画】
コメントも挿入し、口が動くように作成
茨城県に住んでいます。
将門せんべいが大好きです。
水戸納豆もよく食べます。
趣味は、筑波山で登山することです。
音声作成
音読さんで、音声作成
【公式サイト】
【作成例】
茨城県に住んでいます。
将門せんべいが大好きです。
水戸納豆もよく食べます。
趣味は、筑波山で登山することです。
※少し大人の声になるように、高低: (-3.5)としました。
合成動画（動画と音声と音楽）
canvaで、動画と音声と音楽を合成
【公式サイト】
※Creative Reality Studioで収録した音源は、ミュート（音声０）としました。
完成動画
今回の動画は、以下のようになりました。
考察
AI画像１枚からの動画となります。
まばたきや口の動きもスムーズな感じです。
画像を数枚利用できるようになると、また一段とリアリティが上がるような気がします。
ポッドキャスト :
video/mp4
はじめに
StableDiffusion にて AI動画 を作成できた!
使用したアプリ
・Stable Diffusion
・FFmpeg
・EBsynth
作成動画
【その１】
【その２】
考察
声に合わせて、口が動くようにできないかな
はじめに
LoRa ： 『Low-Rank Adaptation』
- キャラクターを表現できる
- ポーズを表現できる
- 背景を表現できる
Lora入手方法
Civitaiサイトから入手できます。
【Civitai公式サイト】
右上のアンテナのアイコンから、 Lora のみ選択する
今回は、「 Cyberhelmet 」を選択しました。
ダウンロードしたファイルは、webuiフォルダ内の「 stable-diffusion-webui-models\models\Lora 」以下に移動します。
Stable Diffusion Web UIを起動して、Loraを設定していきます。
- 花札アイコンをクリック
- Loraタブをクリック
- 目的のLoraをクリック
ダウンロードしたサイトを参考に、トリガーワード（Trigger Words）をプロンプトします。
今回のTrigger Words:cyberhelmet なので、
【呪文:＜lora:cyberhelmetv0.7:1＞, cyberhelmet, 1boy,】
【生成した画像】
考察
今回は、Loraを用いて、サイバーヘルメットを表現しました。
キャラクター、ポーズ、背景なども表現可能です。
思い通りの画像を、組み合わせによっては、簡単に表現できる可能性が高いです。
いろいろなLoraを活用し、AI画像を楽しんでいけたらと思います。
おすすめサイト
Stable Diffusionにおける『LoRa』を解説！|使い方と入手方法をまとめたよ
【初心者向け】Loraの使い方について！！
Stable Diffusionで追加学習させたLoRAとは？使い方を解説！
はじめに
現在無料で、AI画像が作り放題となっています。
【SeaArt 公式サイト】
作成例
【呪文：岩の上に堂々と座って火を吐く大きな赤い金色のドラゴン】
考察
ローカルPCで生成しているAI画像と同じように操作可能。
モデルも選択できる。
プロンプト、ネガティブプロンプト、CFGスケール、ステップ、サンプラー、シード値も選択できる。
ローカルPC環境をまだ構築していない方は、ぜひお試しください。
おすすめサイト
AI美少女イラストの作り方！ChilloutMixが使えるSeaArtシーアートaiとは
はじめに
ControlNet 1.1で、考察してみました。
- Lineart
- Shuffle
- Inpaint
- Tile
- Depth
- Normal
- Canny
- Scribble
- Soft Edge
- MLSD
- Segmentation
- Openpose
Lineart
入力画像を一旦線画に変換し、それを元に画像生成を行うモデル
| 入力 | lineart | 生成 |
 |  |  |
Shuffle
入力画像をシャッフルして再構成するモデル。
今回は、呪文に「 1boy 」で生成してみました。
| 入力 | Shuffle | 生成 |
| |  |  |
Inpaint
画像の一部を修正するモデル。
顔のみ塗りつぶしました。
| 入力 | Inpaint | 生成 |
| |  |  |
Tile
高解像度の画像を生成する際にディテールをうまく補完するためのモデル。
| 入力 | Tile(512px) | 生成(900px) |
| |  |  |
Depth
入力画像の深度情報を元に画像生成を行うモデル
| 入力 | Depth | 生成 |
| |  |  |
Normal
入力画像の凸凹情報を元に画像生成を行うモデル
| 入力 | Normal | 生成 |
| |  |  |
Canny
入力画像の輪郭を抽出して画像生成を行うモデル
| 入力 | Canny | 生成 |
| |  |  |
Scribble
落書きを元に画像生成を行うモデル
| 入力 | Scribble | 生成 |
 |  |  |
Soft Edge
やわらかい輪郭線を生成し、それを元に画像生成を行うモデル
| 入力 | softedge | 生成 |
| |  |  |
MLSD
入力画像の直線を抽出して画像生成を行うモデル
| 入力 | mlsd | 生成 |
 |  |  |
Segmentation
入力画像を物体ごとに識別・分割し、それを元に画像生成を行うモデル
| 入力 | Segmentation | 生成 |
| |  |  |
Openpose
被写体のポーズを認識し、棒人間を生成してそれを元に画像生成を行うモデル
| 入力 | Openpose | 生成 |
| |  |  |
考察
動画を制作する際などに、大活躍しそうです。
一部修正する際にも、使用できそうです。
おすすめサイト
「ControlNet 1.1」の新機能まとめ！新しいモデルや改善点を紹介【Stable Diffusion】
はじめに
Openpose Editorを用いて、AI画像のポーズを固定できる。
Openpose Editorインストール
「Extensions」タブ→「Install from URL」にて、下記のURLを入力
https://github.com/fkunn1326/openpose-editor.git
Installボタンを押して、webuiを再起動すると「Openpose Editor」というタブが追加されます。
Openpose Editor 使用方法
「Openpose Editor」タブを選択
- 生成したい画像の幅と高さ（widthとheigiht）を設定
- 右側のモデルの顔・手・脚などを目的のスタイルに変更する
最後に、「Send to txt2img」をクリックする。
生成されたポーズ画像が、「txt2img」生成のControlNetへ転送される。
ControlNet使用方法
「txt2img」タブを選択。
「Openpose Editor」から転送された画像が、ControlNetに表示される。
- Enableにチェック
- Modelの中の「openpose」を選択
- Preprocessorは、「none」のまま
呪文を設定し、ジェネレートするとAI画像が生成されます。
【openpose例】
-
openpose -
openposeを元に生成
考察
今まで、ポーズを固定することが難しかった。
ある程度、ポーズを固定できるので、現実に近い動きが可能になった。
おすすめサイト
ControlNet用のポーズを簡単に作れる「Openpose Editor」の使い方【Stable Diffusion web UI】
おまけ
【ロボット】
