坂東市のお役立ち情報が満載！

はじめに

StableDiffusion を用いて、簡単なAI動画を作成してみた

• StableDiffusionで画像１枚を作成
• Creative Reality Studio で動画作成
• 音読さんで、音声作成
• canvaで、動画と音声と音楽を合成

画像生成

StableDiffusionで画像１枚を作成

動画作成

Creative Reality Studioで動画作成

【公式サイト】

D-ID Studio

Create professional videos using just a still image with text or audio powered by AI.

studio.d-id.com

【参考サイト】

【誰でも簡単】AIで画像を動画化。原稿を読ませてみました！（リップシンク）

【誰でも簡単】AIで画像を動画化。原稿を読ませてみました！（リップシンク）

AI画像をAIでしゃべらせてみました。方法について解説しています。Stable diffusion やミッドジャーニーの画像を使いました。

blogcake.net

【今回、作成した動画】

コメントも挿入し、口が動くように作成

茨城県に住んでいます。
将門せんべいが大好きです。
水戸納豆もよく食べます。
趣味は、筑波山で登山することです。

音声作成

音読さんで、音声作成

【公式サイト】

日本語 音声読み上げソフト|音読さん

音声読み上げソフト音読さんは無料で最大5000文字までテキストを読み上げることができます。また、有料プランでは最大月間100万文字の読み上げができます。高品質な音声で読み上げられた文章は音声ファイル(.mp3)として読み上げることができ商用利用も可能です。

ondokue3.com

【作成例】

茨城県に住んでいます。
将門せんべいが大好きです。
水戸納豆もよく食べます。
趣味は、筑波山で登山することです。

※少し大人の声になるように、高低: (-3.5)としました。

合成動画（動画と音声と音楽）

canvaで、動画と音声と音楽を合成

【公式サイト】

Just a moment...

www.canva.com

※Creative Reality Studioで収録した音源は、ミュート（音声０）としました。

完成動画

今回の動画は、以下のようになりました。

考察

AI画像１枚からの動画となります。

まばたきや口の動きもスムーズな感じです。

画像を数枚利用できるようになると、また一段とリアリティが上がるような気がします。

はじめに

StableDiffusion にて AI動画 を作成できた!

使用したアプリ

・Stable Diffusion
・FFmpeg
・EBsynth

作成動画

【その１】

【その２】

考察

声に合わせて、口が動くようにできないかな

はじめに

LoRa ： 『Low-Rank Adaptation』

• キャラクターを表現できる
• ポーズを表現できる
• 背景を表現できる

Lora入手方法

Civitaiサイトから入手できます。

【Civitai公式サイト】

Civitai | Stable Diffusion models, embeddings, LoRAs and more

Civitai is a platform for Stable Diffusion AI Art models. Browse a collection of thousands of models from a growing number of creators. Join an engaged communit...

civitai.com

右上のアンテナのアイコンから、 Lora のみ選択する

今回は、「 Cyberhelmet 」を選択しました。

ダウンロードしたファイルは、webuiフォルダ内の「 stable-diffusion-webui-models\models\Lora 」以下に移動します。

Stable Diffusion Web UIを起動して、Loraを設定していきます。

1. 花札アイコンをクリック
2. Loraタブをクリック
3. 目的のLoraをクリック

ダウンロードしたサイトを参考に、トリガーワード（Trigger Words）をプロンプトします。

今回のTrigger Words:cyberhelmet なので、

【呪文:＜lora:cyberhelmetv0.7:1＞, cyberhelmet, 1boy,】

【生成した画像】

考察

今回は、Loraを用いて、サイバーヘルメットを表現しました。

キャラクター、ポーズ、背景なども表現可能です。

思い通りの画像を、組み合わせによっては、簡単に表現できる可能性が高いです。

いろいろなLoraを活用し、AI画像を楽しんでいけたらと思います。

おすすめサイト

Stable Diffusionにおける『LoRa』を解説！|使い方と入手方法をまとめたよ

Stable Diffusionにおける『LoRa』を解説！|使い方と入手方法をまとめたよ

親見さん Stable Diffusionを使っているとLoRaという言葉をよく聞くのですが、これは何で、どうやって手に入れるのでしょうか？ AIイラストの追加学習アイテムとしてよくお話に上がってくるLoRa これを使えると、AIイラスト生

mayonaka-blog.com

【初心者向け】Loraの使い方について！！

【初心者向け】Loraの使い方について！！

AIコスプレイヤーでも話題になったStable DiffusionのLoRaの使い方について超わかりやすく解説しました。

blogcake.net

Stable Diffusionで追加学習させたLoRAとは？使い方を解説！

Stable Diffusionで追加学習させたLoRAとは？使い方を解説！ | 動画編集ロードマップ

LoRAってよく聞くけど一体なに？ 使えると、どんないいことがあるの？ 導入方法をわかりやすく教えて！ こうい

freeblog-video.com

はじめに

現在無料で、AI画像が作り放題となっています。

【SeaArt 公式サイト】

SeaArt-海艺

Unleash Your Imagination: Create, Share, and Generate.

www.seaart.ai

作成例

【呪文：岩の上に堂々と座って火を吐く大きな赤い金色のドラゴン】

• 

• 

考察

ローカルPCで生成しているAI画像と同じように操作可能。

モデルも選択できる。

プロンプト、ネガティブプロンプト、CFGスケール、ステップ、サンプラー、シード値も選択できる。

ローカルPC環境をまだ構築していない方は、ぜひお試しください。

おすすめサイト

AI美少女イラストの作り方！ChilloutMixが使えるSeaArtシーアートaiとは

AI美少女イラストの作り方！ChilloutMixが使えるSeaArtシーアートaiとは | EARN LIFE

今回ご紹介するのは、2023年4月に登場した画像生成AI「SeaArt（シーアート）」 謎に包まれた画像生成AIになりますが、結論から言うと あの「ChilloutMix」がサイト内で使えるんです！しかも無料で。これは気になりますよね。 ただ、謎に包まれ過ぎて実態がわかりませんので、使用は自己責任でお願いいたします。。...

earn-life.com

はじめに

ControlNet 1.1で、考察してみました。

1. Lineart
2. Shuffle
3. Inpaint
4. Tile
5. Depth
6. Normal
7. Canny
8. Scribble
9. Soft Edge
10. MLSD
11. Segmentation
12. Openpose

Lineart

入力画像を一旦線画に変換し、それを元に画像生成を行うモデル

入力	lineart	生成

Shuffle

入力画像をシャッフルして再構成するモデル。
今回は、呪文に「 1boy 」で生成してみました。

入力	Shuffle	生成

Inpaint

画像の一部を修正するモデル。
顔のみ塗りつぶしました。

入力	Inpaint	生成

Tile

高解像度の画像を生成する際にディテールをうまく補完するためのモデル。

入力	Tile(512px)	生成(900px)

Depth

入力画像の深度情報を元に画像生成を行うモデル

入力	Depth	生成

Normal

入力画像の凸凹情報を元に画像生成を行うモデル

入力	Normal	生成

Canny

入力画像の輪郭を抽出して画像生成を行うモデル

入力	Canny	生成

Scribble

落書きを元に画像生成を行うモデル

入力	Scribble	生成

Soft Edge

やわらかい輪郭線を生成し、それを元に画像生成を行うモデル

入力	softedge	生成

MLSD

入力画像の直線を抽出して画像生成を行うモデル

入力	mlsd	生成

Segmentation

入力画像を物体ごとに識別・分割し、それを元に画像生成を行うモデル

入力	Segmentation	生成

Openpose

被写体のポーズを認識し、棒人間を生成してそれを元に画像生成を行うモデル

入力	Openpose	生成

考察

動画を制作する際などに、大活躍しそうです。

一部修正する際にも、使用できそうです。

おすすめサイト

「ControlNet 1.1」の新機能まとめ！新しいモデルや改善点を紹介【Stable Diffusion】

「ControlNet 1.1」の新機能まとめ！新しいモデルや改善点を紹介【Stable Diffusion】

今回もStable DiffusionのControlNetに関する話題でControlNet 1.1の新機能を一通りまとめてご紹介するという内容になっています。ControlNetは生成する画像のポーズ指定など幅広い用途に使える技術であり

kurokumasoft.com

はじめに

Openpose Editorを用いて、AI画像のポーズを固定できる。

Openpose Editorインストール

「Extensions」タブ→「Install from URL」にて、下記のURLを入力

https://github.com/fkunn1326/openpose-editor.git

Installボタンを押して、webuiを再起動すると「Openpose Editor」というタブが追加されます。

Openpose Editor 使用方法

「Openpose Editor」タブを選択

• 生成したい画像の幅と高さ（widthとheigiht）を設定
• 右側のモデルの顔・手・脚などを目的のスタイルに変更する

最後に、「Send to txt2img」をクリックする。

生成されたポーズ画像が、「txt2img」生成のControlNetへ転送される。

ControlNet使用方法

「txt2img」タブを選択。

「Openpose Editor」から転送された画像が、ControlNetに表示される。

• Enableにチェック
• Modelの中の「openpose」を選択
• Preprocessorは、「none」のまま

呪文を設定し、ジェネレートするとAI画像が生成されます。

【openpose例】

• 

• 

考察

今まで、ポーズを固定することが難しかった。

ある程度、ポーズを固定できるので、現実に近い動きが可能になった。

おすすめサイト

ControlNet用のポーズを簡単に作れる「Openpose Editor」の使い方【Stable Diffusion web UI】

ControlNet用のポーズを簡単に作れる「Openpose Editor」の使い方【Stable Diffusion web UI】

今回はStable Diffusion web UIとControlNetに関する話題で、タイトルの通りControlNet用のポーズを作れるweb UI用の拡張機能「Openpose Editor」の使い方をご紹介するという内容になってい

kurokumasoft.com

おまけ

【ロボット】

• 

• 

• 

• 

28日午後1時30分からmyunとyayoさんのキャンペーン当店で初めてでしたがファンの方も、そして水城さんのファンの方も一緒に応援してくれました。沢山ﾃｰﾌﾟを投げていただきコンサート会場でのショーのようでしたねお二人とも若々しく羨ましい限りです(^_-)-☆...

　水城なつみさん「あかつき情話」オリコン演歌チャート　　　　　　　第３位　　　おめでとうございます28日は店頭キャンペーン12時からと15時から行いました。さすが地元茨城県とあって大勢の応援隊！！盛り上がりました。さらになつみさん、今年はデビュー10周年です。10月7日にはふるさと10周年記念コンサートがつくば市カピオにて行われますね。皆さん是非応援お願い致します...

はじめに

Seed値を固定するとキャラをある程度固定できます。

Seed値取得

AI画像を生成すると画像の下にSeed値が表示されます。

【呪文：1girl,blurry_background, upper_body,】

今回生成された画像のSeed値は、3365858533 となります。

Seed値固定

Seed値を、-1から3365858533 に固定しました。
また、腕を組むように「fold arms」を追加しました。

【呪文：1girl,blurry_background, upper_body, fold arms ,】

ある程度、似たような人物で、腕を組むようになりました。

考察

Seed値を固定することで、似たような人物を表現することが出来るようになった。（よく見ると顔が少し違うような気もするけど…）

服装や背景などは異なってくるので、他の手法と組み合わせて使うことが多くなるのかなと思います。

• 

• 

おすすめサイト

イラストAIでキャラ固定する考え方！Seed値を知れば差分も簡単に作れる！Stable Diffusion Novel Ai お絵描きAI

イラストAIでキャラ固定する考え方！Seed値を知れば差分も簡単に作れる！Stable Diffusion Novel Ai お絵描きAI

お絵描きAIでいい感じのキャラが出来たんですけど、このキャラに別のポーズを取らせるとかできないんですか？ その辺り結構難しい部分なんだけど… ある程度ならできるよ！しかも簡単に！ Novel AIやStable Diffusionって本当に凄いですよね、まさに時代の大きな変化を見ているよう。 けどそんなお絵描きAIの弱...

tanoshare.com

おまけ

【呪文：1girl, desktop computer, blurry_background, sitting,】

• 

• 

• 

• 

はじめに

Width・Height

生成するイラストのサイズ。※初期設定は512×512
サイズを大きくするほどVRAMの使用量は増え、生成にかかる時間も長くなります。
まずは512×512の周辺の数字で生成します。

Batch count

イラストを生成する回数。
Batch countが1なら1枚のイラストを生成。
2ならその処理を2回繰り返して2枚のイラストを生成します。

Batch size

同時に生成するイラストの枚数。
Batch sizeが2なら2枚のイラストを並行して生成します。

Width・Height考察

Width×Height:512×512

Width×Height:900×900

Width×Heightを上げていくと、画質が良くなる。
人物の顔なども詳細になっていく。

Batch count考察

Batch count:2 (1枚ずつ２枚）

Batch size考察

Batch size:2　（同時に２枚）

おまけ

【鳥】

• 

• 

• 

•