DeepSeek+AnythingLLM打造自己大模型知識庫

有些用戶或是專家在項(xiàng)目建設(shè)中提出來要提煉工藝庫、模型庫、算法庫等知識庫，可以試著讓deepseek成為每個角色的助手，例如工藝的、信息化的、設(shè)備的、電氣的等角色，讓deepseek成為自己，再不斷的迭代它。deepseek扮演AI助手的角色，應(yīng)用越來越發(fā)揮出來應(yīng)有的價(jià)值。

1. 安裝Ollama

2. 下載DeepSeek模型

3. 安裝AnythingLLM

4. 基本應(yīng)用

5. 自定義知識庫應(yīng)用

1. 安裝Ollama

　　官方網(wǎng)站下載:https://ollama.com/，點(diǎn)擊download進(jìn)行下載。

為了避免安裝在C盤占用空間，可以使用命令指定路徑方式安裝Ollama，安裝命令：OllamaSetup.exe /DIR=d:\Ollama，如下圖：

直接安裝就可以了，如下圖：

配置下載模型保存路徑，在電腦的環(huán)境變量中增加：OLLAMA_MODELS，設(shè)置保存模型路徑：D:\Ollama\models。如下圖：

2. 下載DeepSeek模型

　　建議使用“Windows PowerShell”終端，使用“命令提示符”運(yùn)行Ollama命令可能會出現(xiàn)參數(shù)錯誤的提示。

　　DeepSeek-r1模型：1.5b約占用空間1.1GB，7b模型是4.7GB，8b模型是4.9GB，14b模型是9.0GB，32b是20GB，70b是43GB，671b是404GB，根據(jù)自己磁盤空間進(jìn)行選擇，原則上數(shù)據(jù)越大，回答的問題就越全面。

　　我們選擇下載8b模型，在Windows PowerShell終端運(yùn)行命令：ollama run deepseek-r1:8b。如下圖：

下載模型成功后，8b模型保存在D:\Ollama\models目錄中。如下圖：

使用命令運(yùn)行模型：ollama run deepseek-r1:8b。試一下提問：你是誰？使用效果如下圖：

這樣就算安裝成功了。

3. 安裝AnythingLLM

　　安裝一個交互界面的軟件，可以把資料投喂給大模型，類似的交互界面很多，暫時使用AnythingLLM，有其他好用的工具，網(wǎng)友留言反饋。

　　官方網(wǎng)站：https://anythingllm.com，下載軟件，如圖：

同樣默認(rèn)安裝到D盤，如下圖：

　　點(diǎn)擊安裝后，直接等待安裝完成。根據(jù)網(wǎng)速情況，安裝快慢不一樣，會下載各種模型及相關(guān)文件。如下圖：

有可能all-minilm-l6-v2模型下載失敗，這是一個語義轉(zhuǎn)換模型，如果缺失，使用AnythingLLM上傳文檔內(nèi)容會失敗。下載all-minilm-l6-v2模型，github下載地址: https://github.com/user-attachments/files/18676036/Xenova.zip。

下載Xenova壓縮包，解壓到本機(jī)目錄：C:\Users\WXZZ\AppData\Roaming\anythingllm-desktop\storage\models。如下圖：

4. 基本應(yīng)用

　　在桌面打開“AnythingLLM”應(yīng)用程序，設(shè)置成中文，如下圖：

　　新建一個工作區(qū)，單擊“新工作區(qū)”，在demo工作區(qū)上單擊設(shè)置圖標(biāo)，在“聊天設(shè)置”設(shè)置“工作區(qū)聊天模型”為：deepseek-r1:8b。如下圖：

在demo聊天應(yīng)用效果如下圖：

5. 自定義知識庫應(yīng)用

　　在保持原有模型不變的情況下，提問：請規(guī)劃一下稀土領(lǐng)域的生產(chǎn)管控系統(tǒng)的內(nèi)容。deepseek回答的內(nèi)容明顯比較吃力，如下圖：

　　有些用戶或是專家在項(xiàng)目建設(shè)中提出來要提煉工藝庫、模型庫、算法庫等知識庫，可以試著讓deepseek成為每個角色的助手，例如工藝的、信息化的、設(shè)備的、電氣的等角色，讓deepseek成為自己，再不斷的迭代它。deepseek扮演AI助手的角色，應(yīng)用越來越發(fā)揮出來應(yīng)有的價(jià)值

　　將自己的資料投喂給deepseek模型，在demo工作區(qū)上單擊上傳文件按鈕，如下圖：

我把“稀土領(lǐng)域生產(chǎn)一體化管控系統(tǒng)案例.docx（基于iNeuOS工業(yè)互聯(lián)網(wǎng)平臺）”是上傳投喂給deepseek模型，上傳成功后，選擇相應(yīng)的文件，單擊“Move to Workspace”按鈕移動到demo工作區(qū)；然后單擊“Save and Embed”按鈕，這個過程會調(diào)用all-minilm-l6-v2模型，根據(jù)文檔內(nèi)容的大小處理過程耗時不一樣；保存成功后，在文件后面的按鈕釘起來后會變成黑色，就證明選擇這個文件。如下圖：