坂東市のお役立ち情報が満載！

はじめに

Stable Diffusion web UI用の拡張機能として、短い動画を自動生成することができます。

text2videoインストール

web UIの拡張機能リストからインストールします。

• web UIの拡張機能タブ→「Extensions」
• text2video Extension→「install」

インストール後、web UIを再起動してください。

ModelScopeの準備

以下の4つのファイルをダウンロードします。

1. VQGAN_autoencoder.pth
2. configuration.json
3. open_clip_pytorch_model.bin
4. text2video_pytorch_model.pth

以下のサイトから、ファイルをダウンロードできます。

【公式サイト】

damo-vilab/modelscope-damo-text-to-video-synthesis at main

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

ダウンロードしたファイルは、以下のフォルダに移動します。
※「ModelScope」フォルダ以下は、自分で作成します

webui\models\ModelScope\t2v

VideoCrafterの準備

下記ページからモデル（model.ckpt）をダウンロードします。

【公式サイト】

kabachuha/videocrafter-pruned-weights at main

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

ダウンロードしたファイルは、以下のフォルダに移動します。
※「VideoCrafter」フォルダ以下は、自分で作成します

webui\models\VideoCrafter

text2video の使い方

「 text2video 」タブを選択します。

【今回のプロンプト：1dog, walking,】

Generateをクリックして、動画を生成します。

生成された動画ファイルは、以下のフォルダに保存されます。
※サブフォルダが作られて、連番の静止画（PNGファイル）と動画ファイル（MP4）が出力されます。

webui\outputs\img2img-images\text2video

作成例

【今回のプロンプト：1dog, walking,】

参考サイト

短い動画を生成できる拡張機能「text2video Extension」の使い方【Stable Diffuison web UI】

短い動画を生成できる拡張機能「text2video Extension」の使い方【Stable Diffuison web UI】

今回もStable Diffusion web UIの拡張機能に関する話題で、タイトルの通り短い動画を生成できる拡張機能「text2video Extension」の使い方をご紹介するという内容になっています。最近は画像生成AIが急速な進歩

kurokumasoft.com

考察

短い動画ではあるが、プロンプトによって簡単に作成できた。

プロンプトの入力を工夫すると、何かに使えるかもしれない。