ComfyUI 基礎(chǔ)教程(六) —— 圖像的局部重繪
前言
如果你看過別人的工作流,很有可能會(huì)發(fā)現(xiàn)每個(gè)人用的都不一樣,如果不搞清楚其中的根本思想,總會(huì)有種不踏實(shí)的感覺,好像會(huì)用了,又好像不會(huì)。本文就來介紹一下 ComfyUI 中的局部重繪的三種基礎(chǔ)方法。
局部重繪的三種思想
首先介紹一下局部重繪的三種方法:分別是 VAE 內(nèi)補(bǔ)編碼器、 設(shè)置 Latent 噪波遮罩、 使用 ControlNet 。
首先說明,這三種方法,沒有優(yōu)劣之分,它們有著各自的使用場(chǎng)景,用哪種要根據(jù)自己的需求來選擇。
下面通過實(shí)際例子來講解:
先看原圖:

VAE 內(nèi)補(bǔ)編碼器
這里,我們把女孩的牛仔短褲,重繪成紅色的短裙,按照慣例,都是先加載默認(rèn)工作流,然后在其基礎(chǔ)上進(jìn)行修改,有了前面的基礎(chǔ),這里我們就直接上工作流看效果:

這里關(guān)鍵是使用了一個(gè) VAE 內(nèi)補(bǔ)編碼器節(jié)點(diǎn),加載一張圖片,手動(dòng)繪制遮罩, 然后將原圖像和遮罩都與VAE內(nèi)補(bǔ)編碼器連接起來,操作方法,前面的文章講過,這里就不再贅述了,如果你是剛?cè)腴T學(xué)習(xí) ComfyUI,建議按順序看。VAE 如果沒有特殊需求,可以直接由大模型輸出。最后再把輸出的 Latent 連接到 K 采樣器的輸入。 正面提示詞,要填寫我們希望繪制的效果。
看到生成的結(jié)果,就是把原圖中遮罩部分進(jìn)行了重繪,即把牛仔短褲重繪成了紅色的短裙。
VAE 內(nèi)補(bǔ)編碼器中 中的遮罩延展,可以理解為 PS 中的羽化, 大家可以自己試一下, 羽化為 0 ,重繪部分的邊緣很生硬,無法和原圖融為一體,設(shè)置太大了也不好,一般保持默認(rèn)的 6 即可。
原理:
VAE 內(nèi)補(bǔ)編碼器,需要將原圖和蒙版一起傳入,這種重繪方式的原理是蒙版區(qū)域?yàn)榭瞻诐摽臻g,生成的圖像跟之前蒙版的內(nèi)容沒有任何關(guān)系,只是參考了原圖的風(fēng)格,它適合做一些比較大的調(diào)整,重繪一個(gè)完全不相干的東西。
多嘗試幾次,甚至?xí)l(fā)現(xiàn),該方法重繪可能會(huì)繪制一些奇怪的畫面,要像達(dá)到比較好的效果,有抽卡的成分,所以在使用這種局部重繪時(shí),最好是用在不是微調(diào)的場(chǎng)景。
注意:不建議降低降噪值,原因:數(shù)值越低,越接近原圖,而蒙版區(qū)域又是空白潛空間,就沒了參考了。會(huì)出現(xiàn)沒有繪制的效果。
Latent 噪波遮罩局部重繪
在不想大調(diào)整,只想局部微調(diào)的時(shí)候,使用 Latent 噪波遮罩的方法就非常適合,這種重繪方式的原理是蒙版區(qū)域參考原蒙版的內(nèi)容,重繪區(qū)域還參考了原圖,能更好地理解需要重新生成的內(nèi)容。
我們給女孩重繪會(huì)上一個(gè)眼鏡,先看工作流:

這里設(shè)置噪波幅度是有用的,當(dāng)設(shè)置的太小,就會(huì)保持跟原圖差不多。具體設(shè)置多少,還是需要根據(jù)效果不斷調(diào)整。
ControlNet 局部重繪
ControlNet 重繪,可以理解為使用更加“專業(yè)”的方式(但不一定更加適合需求)提取原圖的某種特征,對(duì)繪制進(jìn)行更精準(zhǔn)的控制。,前面有一篇文章專門講了 ControlNet,根據(jù) ControlNet 不同的模型,可以提取圖像的輪廓圖、深度圖、人物姿態(tài)等各種特征。
給出傳送門:ComfyUI 基礎(chǔ)教程(三) —— 應(yīng)用 Controlnet 精準(zhǔn)控制圖像生成 http://www.rzrgm.cn/joy99/p/18402051
總結(jié)
最后總結(jié)一下:
關(guān)于局部重繪,三種方式的特點(diǎn):
- VAE 內(nèi)補(bǔ)編碼器,自由度高,適合大面積的局部替換,缺點(diǎn)是需要抽卡。
- 設(shè)置 Latent 噪波遮罩,和原圖完美融合,適合局部微調(diào),生成相似的內(nèi)容。
- ControlNet,適合精準(zhǔn)控制圖像繪制,把握整體構(gòu)圖。

ComfyUI 局部重繪
浙公網(wǎng)安備 33010602011771號(hào)