中秋假期，又可以玩玩 AI 了。前面介紹了 ComfyUI 的 Lora 模型以及 ControlNet，本文介紹另一個非常重要且使用的節點，IP-Adapter。

一、 IP-Adapter 概念

1.1 IPAdapter 的介紹

IP-Adapter 的是騰訊 ailab 實驗室發布的一個 Stable Diffusion 的適配器，我愿稱之為 Stable Diffusion 最強插件，它的作用是輸入一張或多張圖像，作為生成圖像的提示詞，實現圖片風格或者肖像風格的遷移。本質上類似 MJ 的墊圖。
官網地址：https://github.com/tencent-ailab/IP-Adapter

IP-Adapter 的實際用途有很多，比如保留產品樣式，替換背景生成海報，根據設計圖紙，生成裝修效果圖，對圖片進行人臉替換等等。看看下面的商業海報案例：

1.2 IPAdapter 與 img2img 的區別

IPAdapter 與 img2img 的底層原理完全不同，對于 IPAdapter 可以簡單理解為，將輸入的一張圖像，作為圖像提示詞。而 img2img 是提取輸入的圖像的特征進行模仿生成。
舉個不是十分準確的例子：
IPAdapter 在生成圖像時，是在根據文本提示詞進行作畫，在繪圖的過程中，始終記得輸入圖像的風格，把這些風格元素融入到畫師的靈感中，進行創作。
img2img 在生成圖像時，是拿著輸入的參考圖，然后先將其慢慢擦除，在擦除的過程中，保留了需要的部分，然后在這個基礎上進行繪畫。這樣繪畫出來的結果，總有一部分是復刻了輸入的參考圖像，保有了原圖像的痕跡。

二、基本使用

2.1 節點安裝及模型下載

在 ComfyUI 中使用需要安裝節點 ComfyUI_IPAdapter_plus。
官方地址：https://github.com/cubiq/ComfyUI_IPAdapter_plus

1. 節點安裝方式有很多，之前的文章有講過，推薦使用 ComfyUI 節點管理器安裝
2. Github 主頁中對需要安裝的模型有詳細描述，下載后按要求安裝到指定路徑即可，需要注意的內容有：
   安裝在 /ComfyUI/models/clip_vision 的兩個文件下載后需要重命名，再放到對應的文件夾內；
   如果沒有 /ComfyUI/models/ipadapter 這個文件夾，可以自己手動新建一個。

下載基礎模型

下載 FaceID 模型

下載 Lora 模型

2.2 節點使用

首先我們加載默認的工作流看看效果：

接下來我們接入 IP-Adapter 節點。

這里，我們輸入了一張光頭強的圖片，核心節點主要是 應用 IPAdapter 節點，模型需要通過一個IPAdapter 模型加載器 加載一個 IP-Adapter 的模型輸入。注意，這里的模型要和基礎大模型版本匹配。同時還需要使用 CLIP 視覺加載器 加載一個視覺模型，這些模型都是剛才下載下來的。

我們固定了采樣器的隨機種子，其余參數也不變，IP-Adapater 模型權重設置為 1， 看看生成效果，此時生成的人物，已經變成了光頭強風格，并且后面的背景也變成了森林。

基本流程就是，輸入一張參考圖，使用 CLIP 視覺模型對圖像內容進行理解，在通過 IPAdapter 模型和基礎大模型中和一下，作為條件輸入到潛空間，以達到圖像風格的魔法效果。

另外，ComfyUI_IPAdapter_plus 插件還提供了另一個節點，IPAdapter 加載器。它的作用是把 IPAdapter 模型和 Clip 視覺模型一起加載進來了。

該節點需要將基礎大模型連接到輸入，輸出的模型連接到應用 IPAdapter 節點。測試生成的圖像和之前效果是一樣的。

2.3 參數說明

2.3.1 IPAdater 模型

IPAdapter 的模型非常多，總共有十幾二十個，在使用過程中，應該如何進行選擇呢？
前面提到，IPAdapter 是將輸入的參考圖像，作為輸入條件，與提示詞共同作用，兩者之間既有合作又有對抗，當輸入的圖像風格與提示詞矛盾時，以哪個穩準呢，這里就跟選擇的 IPAdapter 的模型相關了。
下面我做了一個簡單的分類：

圖中對 sd 1.5 模型進行了說明。除了框起來的部分，剩下的模型，根據名字，可以看到一些是 SDXL 版本的，還有一些則需要使用 bigG clip vision 模型進行視覺編碼。

2.3.2 權重 Weight

權重可以通俗理解為 IPAdapter 的作用強度。
接下來，我們將 IPAdapter 的權重設置為 0 和 0.5， 看看生成效果：

可以看到，權重為0，與沒有加入 IPAdapter 生成的圖像一樣，說明，權重設置為 0 時，IPAdapter 完全沒有介入，完全依靠提示詞文本指導圖像生成。權重設置為 0.5 時，提示詞作用有所減弱，參考圖的風格已經很明顯了。

對于linear 類型（默認值，也是唯一老版本保留的類型），從 0.8開始一般效果比較好。如果使用其他類型，可以嘗試更高的值。

2.3.3 權重類型 Weight_type

當 IPAdapter 權重設置為 1 時，會完全忽略提示詞，無論提示詞寫什么，生成的圖像都是按照參考圖的風格繪制。為了解決這個問題，降低權重是一種方式，其實還有一種更好的方式，設置 IPAdapter 的權重類型。這里的類型有很多種：

權重類型，可以指導 IPAdapter 不同時機的作用強度，比如圖像生成開始和結尾強，中間作用弱等，也可以指導風格參考或者構圖參考。這樣配合提示詞也會生成不同的圖片效果。

2.3.4 輸入圖像

IPAdater 可以輸入正面圖像和負面圖像,這個很容易理解，就是希望模仿的風格和不希望摻雜的風格。負面圖像非必須輸入。

2.3.5 關注層遮罩

默認情況下，是參考輸入圖像的整張圖像，如果只想參考輸入圖像的某個部分，就需要輸入一個遮罩，這樣可以避免圖片不要的元素對圖片造成影響。

2.3.6 開始應用位置和結束應用位置

這個也好理解，直接設定 IPAdapter 作用開始和結束的時機。

2.3.7 合并嵌入組 merge_embeds

當發送多個參考圖像時，提示圖像可以一個接一個地發送 ( concat最接近舊版本效果) 或以各種方式組合。average 類型可以減輕 GPU 壓力。subtract 將第二張圖像的條件減去第一張圖像的條件；如果有 3 個或更多圖像，則對它們進行平均再減去第一個圖像。

2.3.8 嵌入組縮放 embeds_scaling

IPAdapter 模型應用于 K,V 的方式。該參數對模型對文本提示的反應影響不大。K+mean(V) w/ C penalty在高權重 (>1.0) 下提供良好的質量，而不會燒壞圖像。

三、多 IP-Aadater 使用

看下面這個例子：

這里參考光頭強圖片的構圖，參考姚明的肖像，生成的圖片，可以看到，背景是森林的，人物肖像是姚明。融合了兩者的風格。

或者使用另外一個節點：IPAdapterStylusComposition，漢化過來是 IPAdapter 風格合成

這里調整了一下權重，可以看到兩張圖片的風格元素完全融入進去了。

后記

關于 IPAdapter 的知識點其實不多，但是使用起來非常靈活，想要完全掌握 IPAdapter ，生成自己想要的圖片，需要大量實踐，不斷累積經驗，本文只是拋磚引玉，幫助沒有理解 IPAdapter 的小白入門，后續還需要在練習中學習。