deepseek模型部署到本地使用+投喂數據訓練
近期,由于國外大量攻擊,導致 DeepSeek 經常無法使用;另外,許多朋友希望在本地搭建自己的知識庫,以保護自己的資料不被外泄。因此,越來越多的人希望能夠在本地部署 DeepSeek,但對于技術難度有所擔憂。別擔心,這篇教程將為你掃清所有障礙!從環境搭建到模型運行,每一步都進行了詳細拆解,即便是零基礎的小白也能輕松上手。讓我們一起來解決這些問題,順利完成本地部署,保護個人隱私的同時,享受強大的 AI 功能。
一、 Win版安裝教程:Ollama與AnythingLLM安裝及DeepSeek模型下載 (Mac安裝教程點擊跳轉)
1.選擇下載的安裝包右鍵解壓。(安裝包末尾獲取)
2.解壓后,右鍵以管理員身份運行Ollama安裝程序。
3.點擊Install安裝完成即可。
4.在D盤創建一個名為“OllamaAI”的文件夾。接著,打開系統環境變量,新增一個變量:
- 變量名:OLLAMA_MODELS
- 變量值:D:\OllamaAI
溫馨提示:此步驟旨在解決Ollama默認將模型下載到C盤的問題。如果C盤空間充足,可以跳過此步驟。在系統設置中搜索“系統變量”以進入相關設置。
在系統設置搜索系統變量
5.重啟電腦后,在開始菜單中找到并打開Ollama程序。啟動后,您會在電腦右下角看到一個羊駝圖標。
6.按快捷鍵Win+R,輸入cmd確定。
7.輸入 ollama run + 模型名稱,然后按回車鍵開始下載。(根據下方附圖中的硬件要求選擇下載一個或多個模型。此過程可能會稍慢,如果下載失敗,請重新輸入命令再次嘗試。)如下所示:
ollama run deepseek-r1:1.5b
ollama run deepseek-r1:7b
ollama run deepseek-r1:8b
ollama run deepseek-r1:14b
安裝中:
二、安裝模型
根據自己的電腦配置選擇模型(附上配置參考圖片)
8.deepseek-r1模型下載完成后,當提示“success”時,表示下載已成功完成。
打開新的CMD窗口,輸入命令并按回車鍵,下載nomic-embed-text嵌入式模型(此模型將在后續數據投喂中使用)。
ollama pull nomic-embed-text
溫馨提示:若需要刪除模型,請輸入命令 ollama rm + 模型名稱,例如:ollama rm deepseek-r1:14b。
9.當 deepseek-r1 和 nomic-embed-text 模型下載完成后,開始安裝 AnythingLLM 軟件。
10. 選擇【所有用戶】并點擊“下一步”,根據自己的需求繼續點擊“下一步”即可。
11. 下載完成后,打開 AnythingLLM,點擊【Get started】。
12. 點擊箭頭,進入下一步。
13. 輸入工作區名稱,點擊箭頭繼續。
14. 點擊【設置】,在其中可以設置模型、界面顯示語言等選項。
三、AnythingLLM設置
1. 在軟件設置中的 LLM首選項 界面,選擇提供商為 Ollama,在 Ollama Model 中選擇前面下載的 DeepSeek-R1 系列模型,點擊 Save changes 保存更改。
2. 在 Embedder首選項 界面,選擇嵌入引擎提供商為 Ollama,在 Ollama Embedding Mode 中選擇 nomic-embed-text,然后點擊 保存更改。
3. 點擊 工作區設置,在 聊天設置 界面:
? 將 工作區LLM提供商 選擇為 Ollama,
? 將 工作區聊天模型 選擇為 deepseek-r1,
? 然后點擊 Update workspace agent 更新工作區代理。
4. 在 代理配置 界面,將 工作區代理LLM提供商 選擇為 Ollama,將 工作區代理模型 選擇為 deepseek-r1,點擊 Update workspace agent 更新工作區代理。
四、如何投喂數據(訓練AI)
1.在工作區界面,點擊【上傳】。
2. 點擊 Upload,選擇需要上傳的文件(支持 PDF、TXT、Word、Excel、PPT 等常見文檔格式)。勾選需要上傳的文件。點擊 Move to Workspace 將文件移動到工作區
五、DeepSeek-R1應用展示
浙公網安備 33010602011771號