坂東市のお役立ち情報が満載！

はじめに

StableDiffusionを再インストールを試みたところ、ContorlNetの「IP-Adapter」でつまづいた。

エラー表示が現れ、FaceIDで顔のスワップ表現が生成されなくなっていた。

参考サイト

【最新技術】『IP-Adapter FaceID Plus V2』の使い方！高精度で同じ顔を生成しよう！

【最新技術】『IP-Adapter FaceID Plus V2』の使い方！高精度で同じ顔を生成しよう！

画期的にキャラクターの再現性を高める最新技術「IP-Adapter FaceID Plus 」について、導入から使用方法までを解説しています。この機能を使用するためにはオープンソースの2D&3Dディープフェイス分析ツール、「InsightFace」を導入する必要があります。

romptn.com

IP-Adapter FaceID Plus の導入方法

?ファイルをダウンロードする

h94/IP-Adapter-FaceID at main

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

ファイルはそれぞれ

Loraが ? stable-diffusion-webui → models → Lora

ControlNetモデル(binファイル) ? table-diffusion-webui → extensions → sd-webui-controlnet → models

に入れてください。

ControlNetのパラメーターは

• Enableを有効化
• Pixel Perfectを有効化（Preprocessor Resolutionを調整したい場合は有効化しない）
• Control TypeにIP-Adapterを選択

ここまではいつも通りの使い方です。

次にPreprocessorを開いて 「ip-adapter_face_id_plus」とModelに「ip-adapter-faceid-plus_sd15 [d86a490f]」もしくは「ip-adapter-faceid-plusv2_sd15 [6e14fc1a]」を選択します。

<lora:ip-adapter-faceid-plusv_sd15_lora:0.5>を適用する

次にプロンプト等を設定していきますが、通常通りご自身の描かせたいものをプロンプトとして渡してください。ネガティブプロンプトについても通常通りで大丈夫です。

その上で、専用のLoraを適用します。

ここで１つ注意点ですが、先ほどControlNet Model に「ip-adapter-faceid-plus_sd15 [d86a490f]」を選択した場合Loraは「lora:ip-adapter-faceid-plus_sd15_lora」

ControlNet Modelに「ip-adapter-faceid-plusv2_sd15 [6e14fc1a]」を選択した場合Loraは「lora:ip-adapter-faceid-plusv2_sd15_lora」を使用します。

V1とV2でそれぞれ分かれていますので、間違わないようにしてください。

Loraの強度は0.4~1.0くらいまで幅広く使えます。

完成