坂東市のお役立ち情報が満載！

はじめに

StableDiffusion を用いて、簡単なAI動画を作成してみた

• StableDiffusionで画像１枚を作成
• Creative Reality Studio で動画作成
• 音読さんで、音声作成
• canvaで、動画と音声と音楽を合成

画像生成

StableDiffusionで画像１枚を作成

動画作成

Creative Reality Studioで動画作成

【公式サイト】

D-ID Studio

Create professional videos using just a still image with text or audio powered by AI.

studio.d-id.com

【参考サイト】

【誰でも簡単】AIで画像を動画化。原稿を読ませてみました！（リップシンク）

【誰でも簡単】AIで画像を動画化。原稿を読ませてみました！（リップシンク）

AI画像をAIでしゃべらせてみました。方法について解説しています。Stable diffusion やミッドジャーニーの画像を使いました。

blogcake.net

【今回、作成した動画】

コメントも挿入し、口が動くように作成

茨城県に住んでいます。
将門せんべいが大好きです。
水戸納豆もよく食べます。
趣味は、筑波山で登山することです。

音声作成

音読さんで、音声作成

【公式サイト】

日本語 音声読み上げソフト|音読さん

音声読み上げソフト音読さんは無料で最大5000文字までテキストを読み上げることができます。また、有料プランでは最大月間100万文字の読み上げができます。高品質な音声で読み上げられた文章は音声ファイル(.mp3)として読み上げることができ商用利用も可能です。

ondokue3.com

【作成例】

茨城県に住んでいます。
将門せんべいが大好きです。
水戸納豆もよく食べます。
趣味は、筑波山で登山することです。

※少し大人の声になるように、高低: (-3.5)としました。

合成動画（動画と音声と音楽）

canvaで、動画と音声と音楽を合成

【公式サイト】

Just a moment...

www.canva.com

※Creative Reality Studioで収録した音源は、ミュート（音声０）としました。

完成動画

今回の動画は、以下のようになりました。

考察

AI画像１枚からの動画となります。

まばたきや口の動きもスムーズな感じです。

画像を数枚利用できるようになると、また一段とリアリティが上がるような気がします。

はじめに

StableDiffusion にて AI動画 を作成できた!

使用したアプリ

・Stable Diffusion
・FFmpeg
・EBsynth

作成動画

【その１】

【その２】

考察

声に合わせて、口が動くようにできないかな

はじめに

LoRa ： 『Low-Rank Adaptation』

• キャラクターを表現できる
• ポーズを表現できる
• 背景を表現できる

Lora入手方法

Civitaiサイトから入手できます。

【Civitai公式サイト】

Civitai | Stable Diffusion models, embeddings, LoRAs and more

Civitai is a platform for Stable Diffusion AI Art models. Browse a collection of thousands of models from a growing number of creators. Join an engaged communit...

civitai.com

右上のアンテナのアイコンから、 Lora のみ選択する

今回は、「 Cyberhelmet 」を選択しました。

ダウンロードしたファイルは、webuiフォルダ内の「 stable-diffusion-webui-models\models\Lora 」以下に移動します。

Stable Diffusion Web UIを起動して、Loraを設定していきます。

1. 花札アイコンをクリック
2. Loraタブをクリック
3. 目的のLoraをクリック

ダウンロードしたサイトを参考に、トリガーワード（Trigger Words）をプロンプトします。

今回のTrigger Words:cyberhelmet なので、

【呪文:＜lora:cyberhelmetv0.7:1＞, cyberhelmet, 1boy,】

【生成した画像】

考察

今回は、Loraを用いて、サイバーヘルメットを表現しました。

キャラクター、ポーズ、背景なども表現可能です。

思い通りの画像を、組み合わせによっては、簡単に表現できる可能性が高いです。

いろいろなLoraを活用し、AI画像を楽しんでいけたらと思います。

おすすめサイト

Stable Diffusionにおける『LoRa』を解説！|使い方と入手方法をまとめたよ

Stable Diffusionにおける『LoRa』を解説！|使い方と入手方法をまとめたよ

親見さん Stable Diffusionを使っているとLoRaという言葉をよく聞くのですが、これは何で、どうやって手に入れるのでしょうか？ AIイラストの追加学習アイテムとしてよくお話に上がってくるLoRa これを使えると、AIイラスト生

mayonaka-blog.com

【初心者向け】Loraの使い方について！！

【初心者向け】Loraの使い方について！！

AIコスプレイヤーでも話題になったStable DiffusionのLoRaの使い方について超わかりやすく解説しました。

blogcake.net

Stable Diffusionで追加学習させたLoRAとは？使い方を解説！

Stable Diffusionで追加学習させたLoRAとは？使い方を解説！ | 動画編集ロードマップ

LoRAってよく聞くけど一体なに？ 使えると、どんないいことがあるの？ 導入方法をわかりやすく教えて！ こうい

freeblog-video.com

はじめに

現在無料で、AI画像が作り放題となっています。

【SeaArt 公式サイト】

SeaArt-海艺

Unleash Your Imagination: Create, Share, and Generate.

www.seaart.ai

作成例

【呪文：岩の上に堂々と座って火を吐く大きな赤い金色のドラゴン】

考察

ローカルPCで生成しているAI画像と同じように操作可能。

モデルも選択できる。

プロンプト、ネガティブプロンプト、CFGスケール、ステップ、サンプラー、シード値も選択できる。

ローカルPC環境をまだ構築していない方は、ぜひお試しください。

おすすめサイト

AI美少女イラストの作り方！ChilloutMixが使えるSeaArtシーアートaiとは

AI美少女イラストの作り方！ChilloutMixが使えるSeaArtシーアートaiとは | EARN LIFE

今回ご紹介するのは、2023年4月に登場した画像生成AI「SeaArt（シーアート）」 謎に包まれた画像生成AIになりますが、結論から言うと あの「ChilloutMix」がサイト内で使えるんです！しかも無料で。これは気になりますよね。 ただ、謎に包まれ過ぎて実態がわかりませんので、使用は自己責任でお願いいたします。。...

earn-life.com

はじめに

ControlNet 1.1で、考察してみました。

1. Lineart
2. Shuffle
3. Inpaint
4. Tile
5. Depth
6. Normal
7. Canny
8. Scribble
9. Soft Edge
10. MLSD
11. Segmentation
12. Openpose

Lineart

入力画像を一旦線画に変換し、それを元に画像生成を行うモデル

入力	lineart	生成

Shuffle

入力画像をシャッフルして再構成するモデル。
今回は、呪文に「 1boy 」で生成してみました。

入力	Shuffle	生成

Inpaint

画像の一部を修正するモデル。
顔のみ塗りつぶしました。

入力	Inpaint	生成

Tile

高解像度の画像を生成する際にディテールをうまく補完するためのモデル。

入力	Tile(512px)	生成(900px)

Depth

入力画像の深度情報を元に画像生成を行うモデル

入力	Depth	生成

Normal

入力画像の凸凹情報を元に画像生成を行うモデル

入力	Normal	生成

Canny

入力画像の輪郭を抽出して画像生成を行うモデル

入力	Canny	生成

Scribble

落書きを元に画像生成を行うモデル

入力	Scribble	生成

Soft Edge

やわらかい輪郭線を生成し、それを元に画像生成を行うモデル

入力	softedge	生成

MLSD

入力画像の直線を抽出して画像生成を行うモデル

入力	mlsd	生成

Segmentation

入力画像を物体ごとに識別・分割し、それを元に画像生成を行うモデル

入力	Segmentation	生成

Openpose

被写体のポーズを認識し、棒人間を生成してそれを元に画像生成を行うモデル

入力	Openpose	生成

考察

動画を制作する際などに、大活躍しそうです。

一部修正する際にも、使用できそうです。

おすすめサイト

「ControlNet 1.1」の新機能まとめ！新しいモデルや改善点を紹介【Stable Diffusion】

「ControlNet 1.1」の新機能まとめ！新しいモデルや改善点を紹介【Stable Diffusion】

今回もStable DiffusionのControlNetに関する話題でControlNet 1.1の新機能を一通りまとめてご紹介するという内容になっています。ControlNetは生成する画像のポーズ指定など幅広い用途に使える技術であり

kurokumasoft.com

はじめに

Openpose Editorを用いて、AI画像のポーズを固定できる。

Openpose Editorインストール

「Extensions」タブ→「Install from URL」にて、下記のURLを入力

https://github.com/fkunn1326/openpose-editor.git

Installボタンを押して、webuiを再起動すると「Openpose Editor」というタブが追加されます。

Openpose Editor 使用方法

「Openpose Editor」タブを選択

• 生成したい画像の幅と高さ（widthとheigiht）を設定
• 右側のモデルの顔・手・脚などを目的のスタイルに変更する

最後に、「Send to txt2img」をクリックする。

生成されたポーズ画像が、「txt2img」生成のControlNetへ転送される。

ControlNet使用方法

「txt2img」タブを選択。

「Openpose Editor」から転送された画像が、ControlNetに表示される。

• Enableにチェック
• Modelの中の「openpose」を選択
• Preprocessorは、「none」のまま

呪文を設定し、ジェネレートするとAI画像が生成されます。

【openpose例】

考察

今まで、ポーズを固定することが難しかった。

ある程度、ポーズを固定できるので、現実に近い動きが可能になった。

おすすめサイト

ControlNet用のポーズを簡単に作れる「Openpose Editor」の使い方【Stable Diffusion web UI】

ControlNet用のポーズを簡単に作れる「Openpose Editor」の使い方【Stable Diffusion web UI】

今回はStable Diffusion web UIとControlNetに関する話題で、タイトルの通りControlNet用のポーズを作れるweb UI用の拡張機能「Openpose Editor」の使い方をご紹介するという内容になってい

kurokumasoft.com

おまけ

【ロボット】

はじめに

Seed値を固定するとキャラをある程度固定できます。

Seed値取得

AI画像を生成すると画像の下にSeed値が表示されます。

【呪文：1girl,blurry_background, upper_body,】

今回生成された画像のSeed値は、3365858533 となります。

Seed値固定

Seed値を、-1から3365858533 に固定しました。
また、腕を組むように「fold arms」を追加しました。

【呪文：1girl,blurry_background, upper_body, fold arms ,】

ある程度、似たような人物で、腕を組むようになりました。

考察

Seed値を固定することで、似たような人物を表現することが出来るようになった。（よく見ると顔が少し違うような気もするけど…）

服装や背景などは異なってくるので、他の手法と組み合わせて使うことが多くなるのかなと思います。

おすすめサイト

イラストAIでキャラ固定する考え方！Seed値を知れば差分も簡単に作れる！Stable Diffusion Novel Ai お絵描きAI

イラストAIでキャラ固定する考え方！Seed値を知れば差分も簡単に作れる！Stable Diffusion Novel Ai お絵描きAI

お絵描きAIでいい感じのキャラが出来たんですけど、このキャラに別のポーズを取らせるとかできないんですか？ その辺り結構難しい部分なんだけど… ある程度ならできるよ！しかも簡単に！ Novel AIやStable Diffusionって本当に凄いですよね、まさに時代の大きな変化を見ているよう。 けどそんなお絵描きAIの弱...

tanoshare.com

おまけ

【呪文：1girl, desktop computer, blurry_background, sitting,】

はじめに

Width・Height

生成するイラストのサイズ。※初期設定は512×512
サイズを大きくするほどVRAMの使用量は増え、生成にかかる時間も長くなります。
まずは512×512の周辺の数字で生成します。

Batch count

イラストを生成する回数。
Batch countが1なら1枚のイラストを生成。
2ならその処理を2回繰り返して2枚のイラストを生成します。

Batch size

同時に生成するイラストの枚数。
Batch sizeが2なら2枚のイラストを並行して生成します。

Width・Height考察

Width×Height:512×512

Width×Height:900×900

Width×Heightを上げていくと、画質が良くなる。
人物の顔なども詳細になっていく。

Batch count考察

Batch count:2 (1枚ずつ２枚）

Batch size考察

Batch size:2　（同時に２枚）

おまけ

【鳥】

はじめに

• Restore faces：人や動物の顔を補正
• Tiling：上下左右を繋げる画像を生成（タイル画像）
• Hires. fix：低解像度の画像　→　高解像度の画像

Restore faces考察

Restore faces　にチェックを入れると、顔の補正を施します。
その分、加工時間がかかります。

Tiling考察

上下左右を繋げる画像が生成されます。（タイル画像）

Hires. fix考察

resize: from  512×512  to  1024×1024
Upscale by： 2

低解像度の画像から高解像度の画像に変わりました。

縦横それぞれ2倍になっているので、解像度は４倍になります。
加工時間は、４倍以上かかったような気がします。

おすすめサイト

【Restore faces】

人物や動物の顔を補正する

UI操作＆超多機能な「Stable Diffusion web UI」をローカルで使う方法 | くいなゲームズ -KUINA GAMES-

AUTOMATIC1111さんが開発している「Stable Diffusion web UI」がめちゃくちゃ凄いのでご紹介します！ これを使えば「文章から画像を生成」や「画像から画像を生成」はもちろんのこと、 画像の一部分だけをAIで描き直

kuina.games

【Tiling】

タイル画像を作成する

UI操作＆超多機能な「Stable Diffusion web UI」をローカルで使う方法 | くいなゲームズ -KUINA GAMES-

AUTOMATIC1111さんが開発している「Stable Diffusion web UI」がめちゃくちゃ凄いのでご紹介します！ これを使えば「文章から画像を生成」や「画像から画像を生成」はもちろんのこと、 画像の一部分だけをAIで描き直

kuina.games

【Hires. fix】

hires.fixで高画質化をかける方法

hires.fixで高画質化をかける方法｜おっほ

hires.fixは、Stable Diffusionで画像生成AIを使って、絵の破綻を防ぎつつ高解像度の画像を生成するためのとても便利な機能です 。hires.fixの使い方や設定項目について詳しく解説していきます。 Stable Diffusionってなに?と言う方はこちらの記事をご参考ください。 hires...

note.com

Stable Diffusionで生成した画像をhires.fixでアップスケール（高画質化）する方法

Stable Diffusionで生成した画像をhires.fixでアップスケール（高画質化）する方法 | Murasan Lab

今回はStable Diffusionで生成した画像を高精細化するAUTOMATIC1111の機能、hires.fixについて使い方を解説します。最初から大サイズで出力するよりも、小さいサイズで生成した画像をhires.fixでアップスケー

murasan-net.com

おまけ

【軍艦】スマホ壁紙 縦長　1080×1920

はじめに

Sampling steps とは、画像生成にあたってのフィードバック工程を何回実行するかということです。
数値を増やせば増やすほど精緻・精密な絵になっていきます。※増やすほど時間がかかる。
初期設定の20が安定している。テスト生成し、完成に近くなった場合に数値を増やすと良さそうです。

CFG Scale とは、AIイラストに影響を与える数値です。
数値を大きくすればするほど、プロンプトを無視した出力が減る。しかし、画像の色彩が変になったり構図が崩壊したりするようになる。
下げるほど画像がぼやけていくが、生成されるAIイラストの自由度が向上する。
デフォルトの7を使うのが無難です。

Sampling steps/CFG Scale 相対比較

【呪文：1girl,blurry_background, focus of face,】

X軸（Sampling steps）

• steps:10
• steps:20
• steps:40
• steps:60
• steps:80

Y軸（CFG Scale）

• CFG Scale:5
• CFG Scale:7
• CFG Scale:9

考察

Sampling stepsの数値を上げていくと、より精密な画像となった。
steps：20でほぼ十分なAI画像となっている。

CFG Scale:9では、steps:40でテスト作成するほうが良いと思う。

CFG Scaleの数値を上げていくとプロンプトにより正確になるそうだが、少し画像が綺麗になったような気がする。

結論としては、初期値の [steps:20][CFG Scale:7]でいろいろとAI画像を作成していくことが良さそうである。
完成させたい画像に近づいたら、Sampling steps　を40，60と増やしていくことがベストな作成方法であると思える。

※最後の最後に、CFG Scaleを少し上げて２，３枚画像を作成し、CFG Scale:7の画像と比較しても良さそうである。

おすすめサイト

【Sampling steps】

【Stable Diffusion】Sampling stepsってなに？stepごとの違いを比較！

【Stable Diffusion】Sampling stepsってなに？stepごとの違いを比較！ | 動画編集ロードマップ

『Stable DiffusionのSamling stepsってなに？』『数はいくつにすればいいの？』こんなお悩みはありませんか？この記事ではStable DiffusionのSampling stepsごとの違いについて実際に比較しています。Sampling stepsを適切に設定したい方はは読んでみてください。

freeblog-video.com

【CFG Scale】

CFG Scale 設定値の比較

CFG Scale 設定値の比較 - asyura

CFG Scaleとは？ Stable DiffusionのCFG Scale設定値は、アルゴリズムに影響を与えます。CFG Scaleは、条件付き生成において、生成器が出力する...

www.deltakousakusitu.com

おまけ

【恐竜時代】