
メイン | 簡易ヘッドライン |
![]() |
![]() ![]() |

現在データベースには 232 件のデータが登録されています。


はじめに
StableDiffusion を用いて、簡単なAI動画を作成してみた
- StableDiffusionで画像1枚を作成
- Creative Reality Studio で動画作成
- 音読さんで、音声作成
- canvaで、動画と音声と音楽を合成
画像生成
StableDiffusionで画像1枚を作成
動画作成
Creative Reality Studioで動画作成
【公式サイト】

【参考サイト】
【誰でも簡単】AIで画像を動画化。原稿を読ませてみました!(リップシンク)

【今回、作成した動画】
コメントも挿入し、口が動くように作成
茨城県に住んでいます。
将門せんべいが大好きです。
水戸納豆もよく食べます。
趣味は、筑波山で登山することです。
音声作成
音読さんで、音声作成
【公式サイト】

【作成例】
茨城県に住んでいます。
将門せんべいが大好きです。
水戸納豆もよく食べます。
趣味は、筑波山で登山することです。
※少し大人の声になるように、高低: (-3.5)としました。

合成動画(動画と音声と音楽)
canvaで、動画と音声と音楽を合成
【公式サイト】
※Creative Reality Studioで収録した音源は、ミュート(音声0)としました。

完成動画
今回の動画は、以下のようになりました。
考察
AI画像1枚からの動画となります。
まばたきや口の動きもスムーズな感じです。
画像を数枚利用できるようになると、また一段とリアリティが上がるような気がします。


はじめに
StableDiffusion にて AI動画 を作成できた!
使用したアプリ
・Stable Diffusion
・FFmpeg
・EBsynth
作成動画
【その1】
【その2】
考察
声に合わせて、口が動くようにできないかな

はじめに
LoRa : 『Low-Rank Adaptation』
- キャラクターを表現できる
- ポーズを表現できる
- 背景を表現できる
Lora入手方法
Civitaiサイトから入手できます。
【Civitai公式サイト】
右上のアンテナのアイコンから、 Lora のみ選択する

今回は、「 Cyberhelmet 」を選択しました。

ダウンロードしたファイルは、webuiフォルダ内の「 stable-diffusion-webui-models\models\Lora 」以下に移動します。

Stable Diffusion Web UIを起動して、Loraを設定していきます。
- 花札アイコンをクリック
- Loraタブをクリック
- 目的のLoraをクリック

ダウンロードしたサイトを参考に、トリガーワード(Trigger Words)をプロンプトします。
今回のTrigger Words:cyberhelmet なので、
【呪文:<lora:cyberhelmetv0.7:1>, cyberhelmet, 1boy,】

【生成した画像】
考察
今回は、Loraを用いて、サイバーヘルメットを表現しました。
キャラクター、ポーズ、背景なども表現可能です。
思い通りの画像を、組み合わせによっては、簡単に表現できる可能性が高いです。
いろいろなLoraを活用し、AI画像を楽しんでいけたらと思います。
おすすめサイト
Stable Diffusionにおける『LoRa』を解説!|使い方と入手方法をまとめたよ

【初心者向け】Loraの使い方について!!

Stable Diffusionで追加学習させたLoRAとは?使い方を解説!


はじめに
現在無料で、AI画像が作り放題となっています。
【SeaArt 公式サイト】

作成例
【呪文:岩の上に堂々と座って火を吐く大きな赤い金色のドラゴン】
考察
ローカルPCで生成しているAI画像と同じように操作可能。
モデルも選択できる。
プロンプト、ネガティブプロンプト、CFGスケール、ステップ、サンプラー、シード値も選択できる。
ローカルPC環境をまだ構築していない方は、ぜひお試しください。
おすすめサイト
AI美少女イラストの作り方!ChilloutMixが使えるSeaArtシーアートaiとは


はじめに
ControlNet 1.1で、考察してみました。
- Lineart
- Shuffle
- Inpaint
- Tile
- Depth
- Normal
- Canny
- Scribble
- Soft Edge
- MLSD
- Segmentation
- Openpose
Lineart
入力画像を一旦線画に変換し、それを元に画像生成を行うモデル
入力 | lineart | 生成 |
![]() | ![]() | ![]() |
Shuffle
入力画像をシャッフルして再構成するモデル。
今回は、呪文に「 1boy 」で生成してみました。
入力 | Shuffle | 生成 |
![]() | ![]() | ![]() |
Inpaint
画像の一部を修正するモデル。
顔のみ塗りつぶしました。
入力 | Inpaint | 生成 |
![]() | ![]() | ![]() |
Tile
高解像度の画像を生成する際にディテールをうまく補完するためのモデル。
入力 | Tile(512px) | 生成(900px) |
![]() | ![]() | ![]() |
Depth
入力画像の深度情報を元に画像生成を行うモデル
入力 | Depth | 生成 |
![]() | ![]() | ![]() |
Normal
入力画像の凸凹情報を元に画像生成を行うモデル
入力 | Normal | 生成 |
![]() | ![]() | ![]() |
Canny
入力画像の輪郭を抽出して画像生成を行うモデル
入力 | Canny | 生成 |
![]() | ![]() | ![]() |
Scribble
落書きを元に画像生成を行うモデル
入力 | Scribble | 生成 |
![]() | ![]() | ![]() |
Soft Edge
やわらかい輪郭線を生成し、それを元に画像生成を行うモデル
入力 | softedge | 生成 |
![]() | ![]() | ![]() |
MLSD
入力画像の直線を抽出して画像生成を行うモデル
入力 | mlsd | 生成 |
![]() | ![]() | ![]() |
Segmentation
入力画像を物体ごとに識別・分割し、それを元に画像生成を行うモデル
入力 | Segmentation | 生成 |
![]() | ![]() | ![]() |
Openpose
被写体のポーズを認識し、棒人間を生成してそれを元に画像生成を行うモデル
入力 | Openpose | 生成 |
![]() | ![]() | ![]() |
考察
動画を制作する際などに、大活躍しそうです。
一部修正する際にも、使用できそうです。
おすすめサイト
「ControlNet 1.1」の新機能まとめ!新しいモデルや改善点を紹介【Stable Diffusion】


はじめに
Openpose Editorを用いて、AI画像のポーズを固定できる。

Openpose Editorインストール
「Extensions」タブ→「Install from URL」にて、下記のURLを入力
https://github.com/fkunn1326/openpose-editor.git

Installボタンを押して、webuiを再起動すると「Openpose Editor」というタブが追加されます。
Openpose Editor 使用方法
「Openpose Editor」タブを選択

- 生成したい画像の幅と高さ(widthとheigiht)を設定
- 右側のモデルの顔・手・脚などを目的のスタイルに変更する

最後に、「Send to txt2img」をクリックする。

生成されたポーズ画像が、「txt2img」生成のControlNetへ転送される。
ControlNet使用方法
「txt2img」タブを選択。
「Openpose Editor」から転送された画像が、ControlNetに表示される。
- Enableにチェック
- Modelの中の「openpose」を選択
- Preprocessorは、「none」のまま

呪文を設定し、ジェネレートするとAI画像が生成されます。
【openpose例】
考察
今まで、ポーズを固定することが難しかった。
ある程度、ポーズを固定できるので、現実に近い動きが可能になった。
おすすめサイト
ControlNet用のポーズを簡単に作れる「Openpose Editor」の使い方【Stable Diffusion web UI】

おまけ
【ロボット】

はじめに

Seed値を固定するとキャラをある程度固定できます。
Seed値取得
AI画像を生成すると画像の下にSeed値が表示されます。
【呪文:1girl,blurry_background, upper_body,】
今回生成された画像のSeed値は、3365858533 となります。
Seed値固定
Seed値を、-1から3365858533 に固定しました。
また、腕を組むように「fold arms」を追加しました。
【呪文:1girl,blurry_background, upper_body, fold arms ,】
ある程度、似たような人物で、腕を組むようになりました。
考察
Seed値を固定することで、似たような人物を表現することが出来るようになった。(よく見ると顔が少し違うような気もするけど…)
服装や背景などは異なってくるので、他の手法と組み合わせて使うことが多くなるのかなと思います。
おすすめサイト
イラストAIでキャラ固定する考え方!Seed値を知れば差分も簡単に作れる!Stable Diffusion Novel Ai お絵描きAI

おまけ
【呪文:1girl, desktop computer, blurry_background, sitting,】

はじめに

Width・Height
生成するイラストのサイズ。※初期設定は512×512
サイズを大きくするほどVRAMの使用量は増え、生成にかかる時間も長くなります。
まずは512×512の周辺の数字で生成します。
Batch count
イラストを生成する回数。
Batch countが1なら1枚のイラストを生成。
2ならその処理を2回繰り返して2枚のイラストを生成します。
Batch size
同時に生成するイラストの枚数。
Batch sizeが2なら2枚のイラストを並行して生成します。

Width・Height考察
Width×Height:512×512

Width×Height:900×900

Width×Heightを上げていくと、画質が良くなる。
人物の顔なども詳細になっていく。
Batch count考察
Batch count:2 (1枚ずつ2枚)

Batch size考察
Batch size:2 (同時に2枚)

おまけ
【鳥】

はじめに

- Restore faces:人や動物の顔を補正
- Tiling:上下左右を繋げる画像を生成(タイル画像)
- Hires. fix:低解像度の画像 → 高解像度の画像

Restore faces考察
Restore faces にチェックを入れると、顔の補正を施します。
その分、加工時間がかかります。
Tiling考察
-
左上 -
右上 -
左下 -
右下
上下左右を繋げる画像が生成されます。(タイル画像)
Hires. fix考察
resize: from 512×512 to 1024×1024
Upscale by: 2
低解像度の画像から高解像度の画像に変わりました。
縦横それぞれ2倍になっているので、解像度は4倍になります。
加工時間は、4倍以上かかったような気がします。
おすすめサイト
【Restore faces】
人物や動物の顔を補正する

【Tiling】
タイル画像を作成する

【Hires. fix】
hires.fixで高画質化をかける方法

Stable Diffusionで生成した画像をhires.fixでアップスケール(高画質化)する方法

おまけ
【軍艦】スマホ壁紙 縦長 1080×1920

はじめに
Sampling steps とは、画像生成にあたってのフィードバック工程を何回実行するかということです。
数値を増やせば増やすほど精緻・精密な絵になっていきます。※増やすほど時間がかかる。
初期設定の20が安定している。テスト生成し、完成に近くなった場合に数値を増やすと良さそうです。
CFG Scale とは、AIイラストに影響を与える数値です。
数値を大きくすればするほど、プロンプトを無視した出力が減る。しかし、画像の色彩が変になったり構図が崩壊したりするようになる。
下げるほど画像がぼやけていくが、生成されるAIイラストの自由度が向上する。
デフォルトの7を使うのが無難です。

Sampling steps/CFG Scale 相対比較
【呪文:1girl,blurry_background, focus of face,】
X軸(Sampling steps)
- steps:10
- steps:20
- steps:40
- steps:60
- steps:80
Y軸(CFG Scale)
- CFG Scale:5
- CFG Scale:7
- CFG Scale:9
考察
Sampling stepsの数値を上げていくと、より精密な画像となった。
steps:20でほぼ十分なAI画像となっている。
CFG Scale:9では、steps:40でテスト作成するほうが良いと思う。
CFG Scaleの数値を上げていくとプロンプトにより正確になるそうだが、少し画像が綺麗になったような気がする。
結論としては、初期値の [steps:20][CFG Scale:7]でいろいろとAI画像を作成していくことが良さそうである。
完成させたい画像に近づいたら、Sampling steps を40,60と増やしていくことがベストな作成方法であると思える。
※最後の最後に、CFG Scaleを少し上げて2,3枚画像を作成し、CFG Scale:7の画像と比較しても良さそうである。
おすすめサイト
【Sampling steps】
【Stable Diffusion】Sampling stepsってなに?stepごとの違いを比較!

【CFG Scale】
CFG Scale 設定値の比較

おまけ
【恐竜時代】