坂東市のお役立ち情報が満載！

はじめに

AnimateDiffにある FILM の項目に興味をもった。

※FILM（Frame Interpolation for Large Motion）

２枚の画像を入力するだけで、その間の動きを補間して、動かすという技術だそうです。

参考サイト

画像をぬるぬる動かすFrame Interpolation for Large Motion【FILM】

画像をぬるぬる動かすFrame Interpolation for Large Motion【FILM】

ディープラーニングの使いどころはたくさんあると思います。今までいろいろなモデルをいじってきた私が考える、ディープラーニングの使い方の真骨頂は「補間」です。今回、試してみるのは"THE補間"ともいえる技術のFrame In

farml1.com

FILMインストール

Windows インストール手順

https://github.com/google-research/frame-interpolation/blob/main/WINDOWS_INSTALLATION.md

github.com

github

GitHub - google-research/frame-interpolation: FILM: Frame Interpolation for Large Motion, In ECCV 2022.

FILM: Frame Interpolation for Large Motion, In ECCV 2022. - GitHub - google-research/frame-interpolation: FILM: Frame Interpolation for Large Motion, In ECCV 20...

github.com

Anaconda

• Anacondaをインストール
• CMD.exe PromptのLaunchから起動

  pip install --ignore-installed --upgrade tensorflow==2.6.0
python -c "import tensorflow as tf;print(tf.reduce_sum(tf.random.normal([1000, 1000])))" 

frame-interpolation> に「 pretrained_models 」フォルダを作成し、以下のデータをインストールする

pretrained_models - Google ドライブ

drive.google.com

  git clone https://github.com/google-research/frame-interpolation
cd frame-interpolation
pip install -r requirements.txt
conda install -c conda-forge ffmpeg
 

FILM実行

中間フレーム補間

  python -m eval.interpolator_test --frame1 photos\one.png --frame2 photos\two.png --model_path <pretrained_models>
\film_net\Style\saved_model --output_frame photos\output_middle.png
 

多数のフレーム間補間

AI画像を生成

同様な画像を少しずつ変化を加えて５枚生成し、４枚を逆順に加える。

画像01.png?09.pngを「 photos 」フォルダ以下に配置

  python -m eval.interpolator_cli --pattern "photos" --model_path <pretrained_models> \film_net\Style\saved_model
--times_to_interpolate 6 --output_video
 

完成動画