環(huán)境： 操作系統(tǒng)：windows11

RAM：16.0 GB

處理器：AMD Ryzen 3700X

顯卡：NVIDIA GeForce GTX 1060 3GB

 

1、從上面github下載window版本的一鍵安裝部署的zip。

地址：https://github.com/oobabooga/text-generation-webui/

2、根據(jù)github上步驟，一鍵安裝。

 

 

3、等待安裝完之后，配置python的環(huán)境。建議使用一鍵安裝之后自帶的python環(huán)境配置。

 

 

4、開始運行webui.py。

5、很快出現(xiàn)了第一個問題如下圖：

 這個問題是環(huán)境變量沒有配置好，于是重新配置了一次環(huán)境變量：

 

然后：

 

 

6、重新配置好環(huán)境變量之后，再次運行webui.py，開始讓選擇電腦的GPU

 

 

根據(jù)電腦的配置，我選擇了的A，之后開始下載對應(yīng)的依賴數(shù)據(jù)。碰到黃色字體，說明有警告，可以先暫時不用理會。

7、不久，出現(xiàn)了一個新錯誤，看圖如下：

 

 

大概意思是從github上來取數(shù)據(jù)，https連接超時。有可能是自己網(wǎng)的問題，也可能是因為https證書驗證。保險起見，我加把git的證書驗證暫時關(guān)掉。

執(zhí)行關(guān)閉命令：git config --global http.sslVerify false

8、繼續(xù)啟動webui.py，不再出現(xiàn)同樣的問題，但新問題緊接著到來了，python缺少模塊依賴包。

 

 

下載缺少的模塊命令：

python -m pip install gradio

之所以只用這個命令下載，是因為環(huán)境變量中沒有配置pip命令，如果小伙伴配置了，可以把 python -m 去掉。記住pip環(huán)境變量配置，一定要和你的python環(huán)境一致，別配錯了。

9、模塊下載之后，繼續(xù)運行webui.py，有可能會報出同樣的問題，依然缺少依賴的模塊，繼續(xù)使用命令下載即可。

10、缺少的模塊問題搞定后，繼續(xù)運行webui.py，不久開始讓我選擇LLM模型：

 

 

根據(jù)自己電腦的配置，選擇了OPT1.3B的模型，先試試。之后開始下載對應(yīng)的模型數(shù)據(jù)，這里需要耐心等待了。當然如果朋友您的網(wǎng)速非常快，5G超牛網(wǎng)速，那....

11、下載完之后，很可能還會出現(xiàn)缺少模塊的報錯，根據(jù)上面的命令繼續(xù)下載即可。最后前前后后我大概下載了五六缺少的模塊，才OK。

這個時候，想著應(yīng)該都沒問題了，迫不及待的心澎湃了起來，再次運行webui.py，走你！ 然后新的問題接踵而至：

 

 

模型需要的GPU內(nèi)存，分配不足。看報錯需要32M，電腦配置的顯卡是3G，按理說這容量運行起來應(yīng)該是完全ojbk的。但仔細一看，實際能分配的顯存只有12.3M。只有12.3M是空閑的，其他的都別占用了。

我立即打開電腦的任務(wù)管理器，發(fā)現(xiàn)GPU使用率不到3%，那怎么可能還剩下12.3M的顯存，不合理。但我重新啟動了一次，盯著任務(wù)管理器看，最后發(fā)現(xiàn)了問題。

 

 

從圖上可以看出，在模型啟動的時候，GPU直接給打滿了，之后就出現(xiàn)了上面的錯誤。到這里，我意識到電腦配置的顯卡應(yīng)該是無法運行opt-1.3B模型，帶不動！

于是，我換了一個更小的模型opt-350m，重新啟動，這次成功了！

 

 

啟動成功之后，會給出一個url，web界面的鏈接，復制放在瀏覽器上打開，是這個樣子：

 

 

簡單詢問了幾句，發(fā)現(xiàn)回答的不是很理想。模型太小，里面的訓練數(shù)據(jù)不多，回答的也就不盡人意。 如果想體驗更好的效果，需要運行更大的模型，或者自己進行微調(diào)預訓練，不過前提是電腦的硬件配置要跟上。

模型需要的顯存部分如下：

opt-350m，需要顯存3G

opt-1.3B，需要顯存4G~6G

其他模型目前還沒有試，后面會不定時更新。