Stable Diffusion web UI用の拡張機能として、短い動画を自動生成することができます。
web UIの拡張機能リストからインストールします。
インストール後、web UIを再起動してください。
以下の4つのファイルをダウンロードします。
以下のサイトから、ファイルをダウンロードできます。
【公式サイト】
ダウンロードしたファイルは、以下のフォルダに移動します。
※「ModelScope」フォルダ以下は、自分で作成します
webui\models\ModelScope\t2v
下記ページからモデル(model.ckpt)をダウンロードします。
【公式サイト】
ダウンロードしたファイルは、以下のフォルダに移動します。
※「VideoCrafter」フォルダ以下は、自分で作成します
webui\models\VideoCrafter
「text2video」タブを選択します。
【今回のプロンプト:1dog, walking,】
Generateをクリックして、動画を生成します。
生成された動画ファイルは、以下のフォルダに保存されます。
※サブフォルダが作られて、連番の静止画(PNGファイル)と動画ファイル(MP4)が出力されます。
webui\outputs\img2img-images\text2video
【今回のプロンプト:1dog, walking,】
短い動画を生成できる拡張機能「text2video Extension」の使い方【Stable Diffuison web UI】
短い動画ではあるが、プロンプトによって簡単に作成できた。
プロンプトの入力を工夫すると、何かに使えるかもしれない。
]]>StableDiffusion を用いて、簡単なAI動画を作成してみた
StableDiffusionで画像1枚を作成
Creative Reality Studioで動画作成
【公式サイト】
【参考サイト】
【誰でも簡単】AIで画像を動画化。原稿を読ませてみました!(リップシンク)
【今回、作成した動画】
コメントも挿入し、口が動くように作成
茨城県に住んでいます。
将門せんべいが大好きです。
水戸納豆もよく食べます。
趣味は、筑波山で登山することです。
音読さんで、音声作成
【公式サイト】
【作成例】
茨城県に住んでいます。
将門せんべいが大好きです。
水戸納豆もよく食べます。
趣味は、筑波山で登山することです。
※少し大人の声になるように、高低: (-3.5)としました。
canvaで、動画と音声と音楽を合成
【公式サイト】
※Creative Reality Studioで収録した音源は、ミュート(音声0)としました。
今回の動画は、以下のようになりました。
AI画像1枚からの動画となります。
まばたきや口の動きもスムーズな感じです。
画像を数枚利用できるようになると、また一段とリアリティが上がるような気がします。
]]>StableDiffusion にて AI動画 を作成できた!
・Stable Diffusion
・FFmpeg
・EBsynth
【その1】
【その2】
声に合わせて、口が動くようにできないかな
]]>LoRa:『Low-Rank Adaptation』
Civitaiサイトから入手できます。
【Civitai公式サイト】
右上のアンテナのアイコンから、Loraのみ選択する
今回は、「Cyberhelmet」を選択しました。
ダウンロードしたファイルは、webuiフォルダ内の「stable-diffusion-webui-models\models\Lora」以下に移動します。
Stable Diffusion Web UIを起動して、Loraを設定していきます。
ダウンロードしたサイトを参考に、トリガーワード(Trigger Words)をプロンプトします。
今回のTrigger Words:cyberhelmetなので、
【呪文:<lora:cyberhelmetv0.7:1>, cyberhelmet, 1boy,】
【生成した画像】
今回は、Loraを用いて、サイバーヘルメットを表現しました。
キャラクター、ポーズ、背景なども表現可能です。
思い通りの画像を、組み合わせによっては、簡単に表現できる可能性が高いです。
いろいろなLoraを活用し、AI画像を楽しんでいけたらと思います。
Stable Diffusionにおける『LoRa』を解説!|使い方と入手方法をまとめたよ
【初心者向け】Loraの使い方について!!
Stable Diffusionで追加学習させたLoRAとは?使い方を解説!
現在無料で、AI画像が作り放題となっています。
【SeaArt 公式サイト】
【呪文:岩の上に堂々と座って火を吐く大きな赤い金色のドラゴン】
ローカルPCで生成しているAI画像と同じように操作可能。
モデルも選択できる。
プロンプト、ネガティブプロンプト、CFGスケール、ステップ、サンプラー、シード値も選択できる。
ローカルPC環境をまだ構築していない方は、ぜひお試しください。
AI美少女イラストの作り方!ChilloutMixが使えるSeaArtシーアートaiとは
ControlNet 1.1で、考察してみました。
入力画像を一旦線画に変換し、それを元に画像生成を行うモデル
入力 | lineart | 生成 |
入力画像をシャッフルして再構成するモデル。
今回は、呪文に「1boy」で生成してみました。
入力 | Shuffle | 生成 |
画像の一部を修正するモデル。
顔のみ塗りつぶしました。
入力 | Inpaint | 生成 |
高解像度の画像を生成する際にディテールをうまく補完するためのモデル。
入力 | Tile(512px) | 生成(900px) |
入力画像の深度情報を元に画像生成を行うモデル
入力 | Depth | 生成 |
入力画像の凸凹情報を元に画像生成を行うモデル
入力 | Normal | 生成 |
入力画像の輪郭を抽出して画像生成を行うモデル
入力 | Canny | 生成 |
落書きを元に画像生成を行うモデル
入力 | Scribble | 生成 |
やわらかい輪郭線を生成し、それを元に画像生成を行うモデル
入力 | softedge | 生成 |
入力画像の直線を抽出して画像生成を行うモデル
入力 | mlsd | 生成 |
入力画像を物体ごとに識別・分割し、それを元に画像生成を行うモデル
入力 | Segmentation | 生成 |
被写体のポーズを認識し、棒人間を生成してそれを元に画像生成を行うモデル
入力 | Openpose | 生成 |
動画を制作する際などに、大活躍しそうです。
一部修正する際にも、使用できそうです。
「ControlNet 1.1」の新機能まとめ!新しいモデルや改善点を紹介【Stable Diffusion】
Openpose Editorを用いて、AI画像のポーズを固定できる。
「Extensions」タブ→「Install from URL」にて、下記のURLを入力
https://github.com/fkunn1326/openpose-editor.git
Installボタンを押して、webuiを再起動すると「Openpose Editor」というタブが追加されます。
「Openpose Editor」タブを選択
最後に、「Send to txt2img」をクリックする。
生成されたポーズ画像が、「txt2img」生成のControlNetへ転送される。
「txt2img」タブを選択。
「Openpose Editor」から転送された画像が、ControlNetに表示される。
呪文を設定し、ジェネレートするとAI画像が生成されます。
【openpose例】
今まで、ポーズを固定することが難しかった。
ある程度、ポーズを固定できるので、現実に近い動きが可能になった。
ControlNet用のポーズを簡単に作れる「Openpose Editor」の使い方【Stable Diffusion web UI】
【ロボット】