一鍵生成圖片繪制過程 | 大模型發展竟這般快速！

大家好，這里是白澤，詳細演示一個今年7月份由 Stable Diffusion 的 ControlNet 插件的作者張博士所推出的最新模型——Paints_UNDO。

大家好，這里是白澤，詳細演示一個今年7月份由 Stable Diffusion 的 ControlNet 插件的作者張博士所推出的最新模型——Paints_UNDO。

地址

https://github.com/lllyasviel/Paints-UNDO

簡介

Paints_UNDO

旨在提供人類繪畫行為的基礎模型，希望未來的人工智能模型可以更好地與人類藝術家的真實需求保持一致。

“涂料-撤銷”這個名稱的靈感來自于相似性，模型的輸出看起來像在數字繪畫軟件中多次按下“撤銷”按鈕(通常是 Ctrl + Z)。

繪畫-撤銷呈現了一系列的模型，這些模型將圖像作為輸入，然后輸出該圖像的繪制序列。該模型展示了各種人類行為，包括但不限于素描，墨水，著色，陰影，轉換，左右翻轉，色彩曲線調整，改變層的可見性，甚至在繪畫過程中改變整體觀念。

?本文大綱：

1. 效果
2. 資料獲取 & 安裝方式
3. windows 本地調試配置詳解

效果

效果是輸入一張現成的圖片，模擬輸出其從線稿到上色到成品的整個過程。

第一步：本地啟動，并輸入圖片，選擇生成提示詞。

第二步：輸出關鍵步驟的圖片

第三步：基于第二步的圖片，進行插值，模擬中間態的圖片，生成更多的圖片，并輸出一份視頻。

• 輸出中

• 線稿

• 上色過程

  導出 MP4 文件

安裝方式

資料獲取：

關注公眾號：白澤talk，回復“AIGC資料包“ 即可獲取。

電腦環境：

cuda 12.1：https://developer.nvidia.com/cuda-12-1-0-download-archive

git 代碼管理工具: https://git-scm.com/downloads

python 3.10.6：https://www.python.org/downloads/release/python-3106/

c++ 14及以上：https://visualstudio.microsoft.com/zh-hans/downloads/?q=build+tools

conda 依賴管理工具：https://docs.conda.io/projects/conda/en/latest/user-guide/install/index.html

注意完成安裝之后，確認環境變量中已經配置了對應工具的路徑，通過 xx --version 查看上述工具的安裝是否完成。

項目安裝命令：

git clone https://github.com/lllyasviel/Paints-UNDO.git
cd Paints-UNDO
conda create -n paints_undo python=3.10
conda activate paints_undo
pip install xformers
pip install -r requirements.txt
python gradio_app.py

配置

倉庫大部分使用者安裝都遇到了問題，主要是因為配置錯誤。

• 完成安裝之后，一份可以使用的配置參考

Package                   Version
------------------------- ------------
accelerate                0.30.1
aiofiles                  23.2.1
altair                    5.4.1
annotated-types           0.7.0
anyio                     4.6.2.post1
attrs                     24.2.0
av                        13.1.0
bitsandbytes              0.43.1
certifi                   2024.8.30
charset-normalizer        3.4.0
click                     8.1.7
colorama                  0.4.6
coloredlogs               15.0.1
contourpy                 1.3.0
cycler                    0.12.1
diffusers                 0.28.0
einops                    0.8.0
exceptiongroup            1.2.2
fastapi                   0.112.4
ffmpy                     0.4.0
filelock                  3.13.1
flatbuffers               24.3.25
fonttools                 4.54.1
fsspec                    2024.2.0
gradio                    4.43.0
gradio_client             1.3.0
h11                       0.14.0
httpcore                  1.0.6
httpx                     0.27.2
huggingface-hub           0.24.0
humanfriendly             10.0
idna                      3.10
importlib_metadata        8.5.0
importlib_resources       6.4.5
intel-openmp              2021.4.0
Jinja2                    3.1.3
jsonschema                4.23.0
jsonschema-specifications 2024.10.1
kiwisolver                1.4.7
markdown-it-py            3.0.0
MarkupSafe                2.1.5
matplotlib                3.9.2
mdurl                     0.1.2
mkl                       2021.4.0
mpmath                    1.3.0
narwhals                  1.9.4
networkx                  3.2.1
numpy                     1.26.3
onnxruntime               1.19.2
opencv-python             4.10.0.84
orjson                    3.10.9
packaging                 24.1
pandas                    2.2.3
peft                      0.13.2
pillow                    10.2.0
pip                       24.2
protobuf                  3.20.0
psutil                    6.1.0
pydantic                  2.9.2
pydantic_core             2.23.4
pydub                     0.25.1
Pygments                  2.18.0
pyparsing                 3.2.0
pyreadline3               3.5.4
python-dateutil           2.9.0.post0
python-multipart          0.0.12
pytz                      2024.2
PyYAML                    6.0.2
referencing               0.35.1
regex                     2024.9.11
requests                  2.32.3
rich                      13.9.2
rpds-py                   0.20.0
ruff                      0.7.0
safetensors               0.4.5
semantic-version          2.10.0
setuptools                65.5.0
shellingham               1.5.4
six                       1.16.0
sniffio                   1.3.1
starlette                 0.38.6
sympy                     1.13.1
tbb                       2021.11.0
tensorboardX              2.6.2.2
tokenizers                0.19.1
tomlkit                   0.12.0
torch                     2.3.1+cu121
torchaudio                2.3.1+cu121
torchvision               0.18.1+cu121
tqdm                      4.66.5
transformers              4.41.1
typer                     0.12.5
typing_extensions         4.12.2
tzdata                    2024.2
urllib3                   2.2.3
uvicorn                   0.32.0
websockets                11.0.3
xformers                  0.0.27
zipp                      3.20.2