坂東市のお役立ち情報が満載！

6月6日は埼玉県深谷市文化会館にて商工会イベントで即売お世話になりました。細川たかしさん、杜このみさん、彩青さん、田中あいみさんのコンサート。昼夜二回とも1000人以上の観客でした。そして歌謡ショーも素晴らしかったです。即売が終わって一緒に写真を撮って頂きました...

６月３日　多岐川舞子さん５月２４日発売　「天上の花」キャンペーン新曲の度にキャンペンをしていただいております。いつも朗らかでお客様の気持ちをキャッチ。今回お客様から「お客様との触れ合いに感動しました」とコメントをいただきました。そしてなんと来j店いただいたお客様全員の方がCDを購入してくれました(^^♪?(^_^)／...

田川寿美さん　６月１日（木）５月３１日発売　　新曲「下田の椿」キャンペーンを行いました。平日なので集客の心配をしましたが大勢の方が応援に来てくださいました(^_-)-☆いつもにこやかな寿美さんのゆとりある笑顔にはとても癒されます。そして応援に来て下さるお客様に感謝いたします...

はじめに

Stable Diffusion web UI用の拡張機能として、短い動画を自動生成することができます。

text2videoインストール

web UIの拡張機能リストからインストールします。

• web UIの拡張機能タブ→「Extensions」
• text2video Extension→「install」

インストール後、web UIを再起動してください。

ModelScopeの準備

以下の4つのファイルをダウンロードします。

1. VQGAN_autoencoder.pth
2. configuration.json
3. open_clip_pytorch_model.bin
4. text2video_pytorch_model.pth

以下のサイトから、ファイルをダウンロードできます。

【公式サイト】

damo-vilab/modelscope-damo-text-to-video-synthesis at main

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

ダウンロードしたファイルは、以下のフォルダに移動します。
※「ModelScope」フォルダ以下は、自分で作成します

webui\models\ModelScope\t2v

VideoCrafterの準備

下記ページからモデル（model.ckpt）をダウンロードします。

【公式サイト】

kabachuha/videocrafter-pruned-weights at main

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

ダウンロードしたファイルは、以下のフォルダに移動します。
※「VideoCrafter」フォルダ以下は、自分で作成します

webui\models\VideoCrafter

text2video の使い方

「 text2video 」タブを選択します。

【今回のプロンプト：1dog, walking,】

Generateをクリックして、動画を生成します。

生成された動画ファイルは、以下のフォルダに保存されます。
※サブフォルダが作られて、連番の静止画（PNGファイル）と動画ファイル（MP4）が出力されます。

webui\outputs\img2img-images\text2video

作成例

【今回のプロンプト：1dog, walking,】

参考サイト

短い動画を生成できる拡張機能「text2video Extension」の使い方【Stable Diffuison web UI】

短い動画を生成できる拡張機能「text2video Extension」の使い方【Stable Diffuison web UI】

今回もStable Diffusion web UIの拡張機能に関する話題で、タイトルの通り短い動画を生成できる拡張機能「text2video Extension」の使い方をご紹介するという内容になっています。最近は画像生成AIが急速な進歩

kurokumasoft.com

考察

短い動画ではあるが、プロンプトによって簡単に作成できた。

プロンプトの入力を工夫すると、何かに使えるかもしれない。

はじめに

StableDiffusion を用いて、簡単なAI動画を作成してみた

• StableDiffusionで画像１枚を作成
• Creative Reality Studio で動画作成
• 音読さんで、音声作成
• canvaで、動画と音声と音楽を合成

画像生成

StableDiffusionで画像１枚を作成

動画作成

Creative Reality Studioで動画作成

【公式サイト】

D-ID Studio

Create professional videos using just a still image with text or audio powered by AI.

studio.d-id.com

【参考サイト】

【誰でも簡単】AIで画像を動画化。原稿を読ませてみました！（リップシンク）

【誰でも簡単】AIで画像を動画化。原稿を読ませてみました！（リップシンク）

AI画像をAIでしゃべらせてみました。方法について解説しています。Stable diffusion やミッドジャーニーの画像を使いました。

blogcake.net

【今回、作成した動画】

コメントも挿入し、口が動くように作成

茨城県に住んでいます。
将門せんべいが大好きです。
水戸納豆もよく食べます。
趣味は、筑波山で登山することです。

音声作成

音読さんで、音声作成

【公式サイト】

日本語 音声読み上げソフト|音読さん

音声読み上げソフト音読さんは無料で最大5000文字までテキストを読み上げることができます。また、有料プランでは最大月間100万文字の読み上げができます。高品質な音声で読み上げられた文章は音声ファイル(.mp3)として読み上げることができ商用利用も可能です。

ondokue3.com

【作成例】

茨城県に住んでいます。
将門せんべいが大好きです。
水戸納豆もよく食べます。
趣味は、筑波山で登山することです。

※少し大人の声になるように、高低: (-3.5)としました。

合成動画（動画と音声と音楽）

canvaで、動画と音声と音楽を合成

【公式サイト】

Just a moment...

www.canva.com

※Creative Reality Studioで収録した音源は、ミュート（音声０）としました。

完成動画

今回の動画は、以下のようになりました。

考察

AI画像１枚からの動画となります。

まばたきや口の動きもスムーズな感じです。

画像を数枚利用できるようになると、また一段とリアリティが上がるような気がします。

はじめに

StableDiffusion にて AI動画 を作成できた!

使用したアプリ

・Stable Diffusion
・FFmpeg
・EBsynth

作成動画

【その１】

【その２】

考察

声に合わせて、口が動くようにできないかな

はじめに

LoRa ： 『Low-Rank Adaptation』

• キャラクターを表現できる
• ポーズを表現できる
• 背景を表現できる

Lora入手方法

Civitaiサイトから入手できます。

【Civitai公式サイト】

Civitai | Stable Diffusion models, embeddings, LoRAs and more

Civitai is a platform for Stable Diffusion AI Art models. Browse a collection of thousands of models from a growing number of creators. Join an engaged communit...

civitai.com

右上のアンテナのアイコンから、 Lora のみ選択する

今回は、「 Cyberhelmet 」を選択しました。

ダウンロードしたファイルは、webuiフォルダ内の「 stable-diffusion-webui-models\models\Lora 」以下に移動します。

Stable Diffusion Web UIを起動して、Loraを設定していきます。

1. 花札アイコンをクリック
2. Loraタブをクリック
3. 目的のLoraをクリック

ダウンロードしたサイトを参考に、トリガーワード（Trigger Words）をプロンプトします。

今回のTrigger Words:cyberhelmet なので、

【呪文:＜lora:cyberhelmetv0.7:1＞, cyberhelmet, 1boy,】

【生成した画像】

考察

今回は、Loraを用いて、サイバーヘルメットを表現しました。

キャラクター、ポーズ、背景なども表現可能です。

思い通りの画像を、組み合わせによっては、簡単に表現できる可能性が高いです。

いろいろなLoraを活用し、AI画像を楽しんでいけたらと思います。

おすすめサイト

Stable Diffusionにおける『LoRa』を解説！|使い方と入手方法をまとめたよ

Stable Diffusionにおける『LoRa』を解説！|使い方と入手方法をまとめたよ

親見さん Stable Diffusionを使っているとLoRaという言葉をよく聞くのですが、これは何で、どうやって手に入れるのでしょうか？ AIイラストの追加学習アイテムとしてよくお話に上がってくるLoRa これを使えると、AIイラスト生

mayonaka-blog.com

【初心者向け】Loraの使い方について！！

【初心者向け】Loraの使い方について！！

AIコスプレイヤーでも話題になったStable DiffusionのLoRaの使い方について超わかりやすく解説しました。

blogcake.net

Stable Diffusionで追加学習させたLoRAとは？使い方を解説！

Stable Diffusionで追加学習させたLoRAとは？使い方を解説！ | 動画編集ロードマップ

LoRAってよく聞くけど一体なに？ 使えると、どんないいことがあるの？ 導入方法をわかりやすく教えて！ こうい

freeblog-video.com

はじめに

現在無料で、AI画像が作り放題となっています。

【SeaArt 公式サイト】

SeaArt-海艺

Unleash Your Imagination: Create, Share, and Generate.

www.seaart.ai

作成例

【呪文：岩の上に堂々と座って火を吐く大きな赤い金色のドラゴン】

• 

• 

考察

ローカルPCで生成しているAI画像と同じように操作可能。

モデルも選択できる。

プロンプト、ネガティブプロンプト、CFGスケール、ステップ、サンプラー、シード値も選択できる。

ローカルPC環境をまだ構築していない方は、ぜひお試しください。

おすすめサイト

AI美少女イラストの作り方！ChilloutMixが使えるSeaArtシーアートaiとは

AI美少女イラストの作り方！ChilloutMixが使えるSeaArtシーアートaiとは | EARN LIFE

今回ご紹介するのは、2023年4月に登場した画像生成AI「SeaArt（シーアート）」 謎に包まれた画像生成AIになりますが、結論から言うと あの「ChilloutMix」がサイト内で使えるんです！しかも無料で。これは気になりますよね。 ただ、謎に包まれ過ぎて実態がわかりませんので、使用は自己責任でお願いいたします。。...

earn-life.com

はじめに

ControlNet 1.1で、考察してみました。

1. Lineart
2. Shuffle
3. Inpaint
4. Tile
5. Depth
6. Normal
7. Canny
8. Scribble
9. Soft Edge
10. MLSD
11. Segmentation
12. Openpose

Lineart

入力画像を一旦線画に変換し、それを元に画像生成を行うモデル

入力	lineart	生成

Shuffle

入力画像をシャッフルして再構成するモデル。
今回は、呪文に「 1boy 」で生成してみました。

入力	Shuffle	生成

Inpaint

画像の一部を修正するモデル。
顔のみ塗りつぶしました。

入力	Inpaint	生成

Tile

高解像度の画像を生成する際にディテールをうまく補完するためのモデル。

入力	Tile(512px)	生成(900px)

Depth

入力画像の深度情報を元に画像生成を行うモデル

入力	Depth	生成

Normal

入力画像の凸凹情報を元に画像生成を行うモデル

入力	Normal	生成

Canny

入力画像の輪郭を抽出して画像生成を行うモデル

入力	Canny	生成

Scribble

落書きを元に画像生成を行うモデル

入力	Scribble	生成

Soft Edge

やわらかい輪郭線を生成し、それを元に画像生成を行うモデル

入力	softedge	生成

MLSD

入力画像の直線を抽出して画像生成を行うモデル

入力	mlsd	生成

Segmentation

入力画像を物体ごとに識別・分割し、それを元に画像生成を行うモデル

入力	Segmentation	生成

Openpose

被写体のポーズを認識し、棒人間を生成してそれを元に画像生成を行うモデル

入力	Openpose	生成

考察

動画を制作する際などに、大活躍しそうです。

一部修正する際にも、使用できそうです。

おすすめサイト

「ControlNet 1.1」の新機能まとめ！新しいモデルや改善点を紹介【Stable Diffusion】

「ControlNet 1.1」の新機能まとめ！新しいモデルや改善点を紹介【Stable Diffusion】

今回もStable DiffusionのControlNetに関する話題でControlNet 1.1の新機能を一通りまとめてご紹介するという内容になっています。ControlNetは生成する画像のポーズ指定など幅広い用途に使える技術であり

kurokumasoft.com

はじめに

Openpose Editorを用いて、AI画像のポーズを固定できる。

Openpose Editorインストール

「Extensions」タブ→「Install from URL」にて、下記のURLを入力

https://github.com/fkunn1326/openpose-editor.git

Installボタンを押して、webuiを再起動すると「Openpose Editor」というタブが追加されます。

Openpose Editor 使用方法

「Openpose Editor」タブを選択

• 生成したい画像の幅と高さ（widthとheigiht）を設定
• 右側のモデルの顔・手・脚などを目的のスタイルに変更する

最後に、「Send to txt2img」をクリックする。

生成されたポーズ画像が、「txt2img」生成のControlNetへ転送される。

ControlNet使用方法

「txt2img」タブを選択。

「Openpose Editor」から転送された画像が、ControlNetに表示される。

• Enableにチェック
• Modelの中の「openpose」を選択
• Preprocessorは、「none」のまま

呪文を設定し、ジェネレートするとAI画像が生成されます。

【openpose例】

• 

• 

考察

今まで、ポーズを固定することが難しかった。

ある程度、ポーズを固定できるので、現実に近い動きが可能になった。

おすすめサイト

ControlNet用のポーズを簡単に作れる「Openpose Editor」の使い方【Stable Diffusion web UI】

ControlNet用のポーズを簡単に作れる「Openpose Editor」の使い方【Stable Diffusion web UI】

今回はStable Diffusion web UIとControlNetに関する話題で、タイトルの通りControlNet用のポーズを作れるweb UI用の拡張機能「Openpose Editor」の使い方をご紹介するという内容になってい

kurokumasoft.com

おまけ

【ロボット】

• 

• 

• 

•