前言

上一篇文章講述了 ControlNet 模型的使用，如果掌握了 ControlNet 的使用之后，本文所講的 Lora 模型將會非常容易理解。

一、LoRA 模型的概念

之前的文章中，在介紹模型種類時，簡單介紹過 Lora 模型，LoRA 模型全稱是 Low-Rank- Adaptaion of Large Language Models。是一種用于微調大語言模型的低次序適應技術。它最初用于 NLP 領域，特別是用于微調 GPT-3 等模型。在 Stable Diffusion 模型應用中， Lora 允許用戶在不修改 SD 大模型的情況下，利用少量數據訓練出具有特定畫風、IP 或者人物特征的模型，這種模型在社區和個人開發者非常受歡迎。

想深入了解 LoRA 的原理的朋友，請自行學習。

二、Lora 的效果展示

以上都是行話。下面用通俗的語言介紹。
LoRA 相當于大模型之外的另外一種模型，它的主要作用是給原有的畫面做一些微調。LoRA的種類有很多，有人物的、動作的、建筑的，甚至改變一些畫風的、表情的、物品的，只要你加了某個特定的LoRA，它就會在畫面中呈現。最常用的一個就是人物的，舉個例子，最近非常火的黑神話悟空的各種圖片:

這就是使用悟空的 LoRA 生成的。

下面這個，用的是胡桃的LoRA

可以看到不管怎么切換基礎模型，不管怎么切換畫風，LoRA始終是胡桃的LoRA，它畫出來的就是胡桃。

三、 Lora 的使用

3.1 Lora 模型加載器

前面學會了使用 ControlNet，在來看 Lora 的使用就非常簡單了。
首先到模型網站上下載自己想要的 Lora 模型。放到 ComfyUI\models\loras 文件夾下。然后添加一個 Lora 加載器節點。

該節點有三個參數，選擇 Lora 模型，
Lora 模型的強度 - 這個數值越大，生成圖像月偏向 Lora 模型風格
以及 Clip 的強度 - 文本提示詞的強度
這些參數根據需要調整就行。

最后再將主模型的模型輸出點連接到 Lora 加載器的輸入點，主模型的 Clip 輸出作為 Lora 加載器的輸入，最后，Lora 加載器的輸出，分別連接到 Clip 文本編碼器和采樣器的模型輸入。

需要強調的是：Lora 模型的版本要和主模型版本保持一致。

3.2 Lora 使用演示

可以看到，當前選擇了一個中國風的水墨場景的 Lora ，生成的圖像，也就成了中國風的水墨風格。

3.3 Lora 堆的使用

如果要使用多個 Lora 模型，可以添加多個 Lora 加載器，依次串聯起來。和 ControlNet 一樣， 多個 Lora 模型可以使用 Lora 堆節點進行加載。
Lora 堆節點有很多，有的統一控制 Clip 強度，有的分別增加了開關，可以對每個 Lora 分別控制，但是基本都大同小異。這里展示簡易 Lora 堆節點。

這里有一個總開關，可以開啟或者關閉應用 Lora 堆，模式高級的化可以針對每個 Lora 模型設置 Clip 權重，最后輸出到 應用LoRA 堆 節點。

四、本地訓練 LoRA 模型

前面提到，Lora 有一個特點，就是個人消費級顯卡也可以很快完成訓練，這樣就給了我們很多施展的空間。
下面來講解訓練 LoRA 模型的步驟：

4.1 下載安裝 LoRA 訓練器

訓練模型的過程，俗稱“煉丹”，訓練模型的軟件和環境，稱為模型訓練器，俗稱“丹爐”。訓練模型首先需要有一個模型訓練器，目前網上有很多版本的 SD LoRA 模型訓練器，這里還是比較推薦 秋葉 大佬的LoRA 模型訓練器。
下載地址：
https://pan.baidu.com/s/1TBaoLkdJVjk_gPpqbUzZFw
https://pan.quark.cn/s/b4ccd1f635b6

4.2 訓練數據準備

訓練數據準備，主要做好下面幾點：

1. 訓練素材處理
   首先要準備好訓練素材，比如你想訓練某個特定的人臉 LoRA 模型，你需要準備 一些該特定人物的人臉的照片，素材的質量直接決定了訓練出的模型的質量。對素材有一些的要求，比如圖片數量不少于 15 張，一般可以準備 20-50 張；圖片的質量要高，主體內容清晰可見，特征明顯，圖片盡量構圖簡單，避免其它雜亂的元素；盡可能以人物臉部特寫為主，多角度，多表情等; 減少重復或者相似度太高的圖片。
   素材準備完畢后，還需要對圖片進一步處理，對低像素的素材圖片，進行高清放大處理。圖片統一分辨率，注意分辨率為 64 的倍數，顯存低的可切為 512 x 512, 顯存高的可切為 1024 x 1024。可以借助一些軟件或者工具批量裁切。

2. 素材打標
   這一步的關鍵是對素材進行打標。

3. 打標優化
   打標完成之后，還要對生成的文件中的標簽進行再優化，刪除某些和要訓練的風格不一致的圖片。
   這一步相對比較復雜一點，訓練不同風格的 LoRA，打標的要求不一致。大家也可以在網上學習其它優秀的教程。

4.3 訓練環境參數配置

這一步是需要配置訓練的具體參數，比如每張素材圖片訓練多少步，總共訓練多少輪等等。

4.4 模型訓練

訓練參數設置保存完之后，就可以開始訓練了。訓練過程中會自動進行模型保存。

4.5 模型測試

之前的文章有提到過，模型訓練什么時候叫訓練好了，是沒有具體標準的，我們需要對訓練生成的模型進行測試，感覺效果達到預期了，就可以停止訓練了。

實操方式放上秋葉大佬視頻

秋葉大佬訓練 LoRA 教程

五、結束語

LoRA 非常好用，使用也很簡單，大家可以多到開源站點上看看別人訓練的 LoRA，學習學習。本文相對比較簡單，到此結束。