ホーム
>> ヘッドライン
>>
PC修理のわたなべ
| メイン | 簡易ヘッドライン |
 |
|
PC修理のわたなべ
(2024-11-22 0:12:07)
現在データベースには 448 件のデータが登録されています。
ポッドキャスト :
video/mp4
はじめに
Stable Diffusionで動画作成できるコンテンツを探していたら、Deforumを発見。
早速、インストール・動画作成をしていきたいと思います。
参考サイト
Stable Diffusionの『Deforum』機能でアニメーション動画を作る方法 (その１)
Stable DiffusionでアニメーションAI動画を”簡単に”作る方法【deforum tutorial】（その２）
インストール方法
Stable Diffusionを起動する。
Extensions タブ → Available タブ → Load from: を選択
Deforumという項目があるので、右端のインストールをクリック
インストール完了後（１分程度）、リロードします。
Deforumの操作方法
とりあえず、動画を作成してみます。
Deforum タブ → Prompts タブ → Genetate を選択
動画作成が終了したら、「 Click here ? 」をクリックすると動画を確認できます。
【完成動画】
FPS(１秒間の使用枚数)
１秒間のキーフレームを変更します。
Output タブ → FPSの数値 を変更
Max frames（動画の総枚数）
動画の総枚数を変更します。
Keyframes タブ → Max frames の数値 を変更
Animation mode （アニメ or 実写)
動画の総枚数を変更します。
Keyframes タブ → Animation mode を選択
新規作成
Prompts にテキストを代入
"0": "cat",
"45": "dog"
Genetate を選択
動画生成後、 Update the video を選択すると動画を確認できます。
完成動画
考察
動画の１枚１枚が想像以上に相似していて、驚きました。
Prompts など、いろいろと変更して遊ぶことができそうです。
みなさんも楽しんでみてください！
おまけ動画
Prompts:
"0": "in forest,anime,1girl,16 years old",
"25": "in city,anime,1girl,18 years old",
"50": "in city,realistic,1girl,20 years old"
Max frames: 100
FPS: 10
ポッドキャスト :
video/mp4
はじめに
簡単なパラパラ動画を作成してみる
- Stable Diffusion
- FFmpeg
- EBsynth
参考サイト
サンプル動画
【sample.mp4】
以下のサイトから、サンプル動画を使用させていただきました。
作成方法
C:\MovieProject にサンプル動画を用意
videoフレームの抽出
[ EbSynth Utility ]タブ → [ Project Setting ]タブ
project directory: C:\MovieProject
Original Movie Path: C:\MovieProject\sample.mp4
動画のフレーム幅とフレーム高を確認する。
[ Cofiguration ]タブ → [ Stage1 ]タブ
Frame Width: 960
Frame Height: 540
「 Stage1 」をチェック！
「 Generate 」をクリック！
C:\MovieProject に 「 video_frame 」フォルダ と 「 video_mask 」フォルダが生成されています。
※「 video_frame 」フォルダ
※「 video_mask 」フォルダ
キーフレームの抽出
[ Stage2 ]タブをクリック
「 Stage２ 」をチェック！
「 Generate 」をクリック！
C:\MovieProject に 「 video_key 」フォルダが生成されています。
※「 video_key 」フォルダ
作成画像の調整
[ img2img ]タブをクリック
「 video_key 」フォルダの1枚から、最適な画像をジェネレート！
元データの幅と高さを揃える
Width: 960
Height: 540
ControlNetで元データから形状などを継承する
※OpenPose
※SoftEdge
設定が決まったら、Seed値を代入する (Seed値固定）
Script: ebsynth utility
Project directory: C:\MovieProject
ControlNet option
Control Net Weight: 1
Control Net Weight For Face: 1
「 Generate 」をクリック！
C:\MovieProject に 「 img2img_key 」フォルダが生成されています。
※「 img2img_key 」フォルダ
動画の制作
[ EbSynth Utility ]タブ → [ stage5 ]チェック
「 Generate 」をクリック！
C:\MovieProject に 「 ＊.ebs 」ファイルが生成されています。
EbSynthを起動
Openで「 ＊_00000.ebs 」ファイルを選択
Advanced De-flicker: High
[Run All] で生成開始！
C:\MovieProject に 「out- ＊ 」フォルダが生成されます。
[ stage7 ]タブ選択 → [ stage7 ]チェック
「 Generate 」をクリック！
C:\MovieProject に 「 ＊.mp4 」ファイルが生成されます。
これで、完成です！！
完成動画
はじめに
昔の白黒写真を高画質のカラー化を試してみる。
- 白黒画像・動画のカラー化（DeOldify）
- AI高画質化ツール（Real-ESRGAN）
【元データ】
※中川村小学校増築上棟式（昭和11年８月11日）
白黒画像・動画のカラー化（DeOldify）
白黒画像・動画のカラー化（DeOldify）
【カラー処理後】
AI高画質化ツール（Real-ESRGAN）
AI高画質化ツール（Real-ESRGAN）
【高画質処理後】
考察
※白黒からカラー処理後
※カラー処理から高画質処理後
※元データから、最終画像
古い白黒写真が、高画質のカラー写真へ変更できた。
高画質化をやりすぎると、のっぺり感がみられる。
適度な活用が必要だと感じられました。
はじめに
Stable Difussion にてRolaを学習しています。
元画像を高画質化できるソフトを探していました。
GUIソフト「Real-ESRGAN-GUI」※お手軽版
Real-GSRGANをGUI化したソフト
CUGANも使える簡単アプコンGUIソフト「Real-ESRGAN-GUI」
Real-ESRGAN【Python】※おすすめ版
インストール方法・使用方法は、以下をご覧ください
【Python】AI高画質化ツールReal-ESRGANのインストール
考察
元画像
変換後
非常に高画質になっていることがわかります。
ぼやけた写真や古い写真も、高画質になりました。
ポッドキャスト :
video/mp4
はじめに
古い白黒写真をカラーにしたい。
WEB上では、様々なサイトがある。
しかし、出来ればローカルPCで作成したいと思った。
WEB上でのカラー比較
DataChef
Vance AI
Colourise.com
MyHeritage
Deepai.org Colorize
DeOldifyインストール
DeOldifyとは、白黒画像・動画をカラー化するAIツールです。
オープンソースであり、無料でローカルPCで利用可能になります。
参考にしたサイトは、以下の通りです。
JupyterLabを起動させるところまで、インストールしてください。
DeOldifyのインストール【白黒画像・動画のカラー化AIツール】
JupyterLab上の操作ができれば、準備は完了です。
画像のカラー化
ImageColorizer.ipynb（画像のカラー化）するところで、画像を生成することができませんでした。
以下のように、ファイルを変更しました。
source_url=’https://upload.wikimedia.org/wikipedia/commons/e/e4/Raceland_Louisiana_Beer_Drinkers_Russell_Lee.jpg’
source_path = ‘test_images/image.png’
result_path = None
if source_url is not None:
result_path = colorizer.plot_transformed_image_from_url(url=source_url, path=source_path, render_factor=render_factor, compare=True)
else:
result_path = colorizer.plot_transformed_image(path=source_path, render_factor=render_factor, compare=True)
show_image_in_notebook(result_path)
↓
# source_url=’https://upload.wikimedia.org/wikipedia/commons/e/e4/Raceland_Louisiana_Beer_Drinkers_Russell_Lee.jpg’
source_path = ‘test_images/image.png’
result_path = None
# if source_url is not None:
# result_path = colorizer.plot_transformed_image_from_url(url=source_url, path=source_path, render_factor=render_factor, compare=True)
# else:
# result_path = colorizer.plot_transformed_image(path=source_path, render_factor=render_factor, compare=True)
result_path = colorizer.plot_transformed_image(path=source_path, render_factor=render_factor, compare=True)
show_image_in_notebook(result_path)
test_imagesフォルダに目的の画像を移動して、ファイル名を変更すると変換できました。
【元データ】
【カラー化】
動画のカラー化
VideoColorizer.ipynb（動画のカラー化）
【元データ】
Charley Chase in Dog Shy (1926) pic.twitter.com/M00408u9tF
— Silent Movie GIFs (@silentmoviegifs) April 12, 2019
【カラー化】
考察
いろいろ手法でと白黒からカラーにできることが、分かった。
使用するプログラムで、当たり前ですが、カラーのつけ方が若干相違する。
カラー化したい目的に合わせて、活用すると良いと思います。
ポッドキャスト :
video/mp4
はじめに
Stable Diffusion web UI用の拡張機能として、短い動画を自動生成することができます。
text2videoインストール
web UIの拡張機能リストからインストールします。
- web UIの拡張機能タブ→「Extensions」
- text2video Extension→「install」
インストール後、web UIを再起動してください。
ModelScopeの準備
以下の4つのファイルをダウンロードします。
- VQGAN_autoencoder.pth
- configuration.json
- open_clip_pytorch_model.bin
- text2video_pytorch_model.pth
以下のサイトから、ファイルをダウンロードできます。
【公式サイト】
ダウンロードしたファイルは、以下のフォルダに移動します。
※「ModelScope」フォルダ以下は、自分で作成します
webui\models\ModelScope\t2v
VideoCrafterの準備
下記ページからモデル（model.ckpt）をダウンロードします。
【公式サイト】
ダウンロードしたファイルは、以下のフォルダに移動します。
※「VideoCrafter」フォルダ以下は、自分で作成します
webui\models\VideoCrafter
text2video の使い方
「 text2video 」タブを選択します。
【今回のプロンプト：1dog, walking,】
Generateをクリックして、動画を生成します。
生成された動画ファイルは、以下のフォルダに保存されます。
※サブフォルダが作られて、連番の静止画（PNGファイル）と動画ファイル（MP4）が出力されます。
webui\outputs\img2img-images\text2video
作成例
【今回のプロンプト：1dog, walking,】
参考サイト
短い動画を生成できる拡張機能「text2video Extension」の使い方【Stable Diffuison web UI】
考察
短い動画ではあるが、プロンプトによって簡単に作成できた。
プロンプトの入力を工夫すると、何かに使えるかもしれない。
ポッドキャスト :
video/mp4
はじめに
StableDiffusion を用いて、簡単なAI動画を作成してみた
- StableDiffusionで画像１枚を作成
- Creative Reality Studio で動画作成
- 音読さんで、音声作成
- canvaで、動画と音声と音楽を合成
画像生成
StableDiffusionで画像１枚を作成
動画作成
Creative Reality Studioで動画作成
【公式サイト】
【参考サイト】
【誰でも簡単】AIで画像を動画化。原稿を読ませてみました！（リップシンク）
【今回、作成した動画】
コメントも挿入し、口が動くように作成
茨城県に住んでいます。
将門せんべいが大好きです。
水戸納豆もよく食べます。
趣味は、筑波山で登山することです。
音声作成
音読さんで、音声作成
【公式サイト】
【作成例】
茨城県に住んでいます。
将門せんべいが大好きです。
水戸納豆もよく食べます。
趣味は、筑波山で登山することです。
※少し大人の声になるように、高低: (-3.5)としました。
合成動画（動画と音声と音楽）
canvaで、動画と音声と音楽を合成
【公式サイト】
※Creative Reality Studioで収録した音源は、ミュート（音声０）としました。
完成動画
今回の動画は、以下のようになりました。
考察
AI画像１枚からの動画となります。
まばたきや口の動きもスムーズな感じです。
画像を数枚利用できるようになると、また一段とリアリティが上がるような気がします。
ポッドキャスト :
video/mp4
はじめに
StableDiffusion にて AI動画 を作成できた!
使用したアプリ
・Stable Diffusion
・FFmpeg
・EBsynth
作成動画
【その１】
【その２】
考察
声に合わせて、口が動くようにできないかな
はじめに
LoRa ： 『Low-Rank Adaptation』
- キャラクターを表現できる
- ポーズを表現できる
- 背景を表現できる
Lora入手方法
Civitaiサイトから入手できます。
【Civitai公式サイト】
右上のアンテナのアイコンから、 Lora のみ選択する
今回は、「 Cyberhelmet 」を選択しました。
ダウンロードしたファイルは、webuiフォルダ内の「 stable-diffusion-webui-models\models\Lora 」以下に移動します。
Stable Diffusion Web UIを起動して、Loraを設定していきます。
- 花札アイコンをクリック
- Loraタブをクリック
- 目的のLoraをクリック
ダウンロードしたサイトを参考に、トリガーワード（Trigger Words）をプロンプトします。
今回のTrigger Words:cyberhelmet なので、
【呪文:＜lora:cyberhelmetv0.7:1＞, cyberhelmet, 1boy,】
【生成した画像】
考察
今回は、Loraを用いて、サイバーヘルメットを表現しました。
キャラクター、ポーズ、背景なども表現可能です。
思い通りの画像を、組み合わせによっては、簡単に表現できる可能性が高いです。
いろいろなLoraを活用し、AI画像を楽しんでいけたらと思います。
おすすめサイト
Stable Diffusionにおける『LoRa』を解説！|使い方と入手方法をまとめたよ
【初心者向け】Loraの使い方について！！
Stable Diffusionで追加学習させたLoRAとは？使い方を解説！
はじめに
現在無料で、AI画像が作り放題となっています。
【SeaArt 公式サイト】
作成例
【呪文：岩の上に堂々と座って火を吐く大きな赤い金色のドラゴン】
考察
ローカルPCで生成しているAI画像と同じように操作可能。
モデルも選択できる。
プロンプト、ネガティブプロンプト、CFGスケール、ステップ、サンプラー、シード値も選択できる。
ローカルPC環境をまだ構築していない方は、ぜひお試しください。
おすすめサイト
AI美少女イラストの作り方！ChilloutMixが使えるSeaArtシーアートaiとは
