一、Windows 版 DeepSeek-R1、Ollama 與 AnythingLLM 介紹及核心使用場景?

?一、組件功能與定位?

1. ?DeepSeek-R1?

   • ?模型特性?：支持 ?FP16 計算? 和 ?CUDA 加速?，提供 1.5B 至 671B 參數量級版本，適用于本地部署的邏輯推理、文本生成、數據分析等場景?。
   • ?優勢?：開源免費、響應速度快（本地低延遲），支持中文復雜任務處理?。

2. ?Ollama?

   • ?核心功能?：簡化大語言模型本地部署流程，支持一鍵下載、運行和管理模型（如 DeepSeek-R1），提供命令行界面和靈活的環境變量配置?。
   • ?特性?：支持自定義安裝路徑（需修改系統變量）、多模型切換、離線運行?。

3. ?AnythingLLM?

   • ?定位?：全棧 AI 應用，集成本地大模型（通過 Ollama）與知識庫，支持文檔/音視頻/網頁內容轉換為上下文數據，供 LLM 調用?。
   • ?功能?：私有化知識庫構建、多工作區管理、模型與數據關聯式問答?。

?二、核心使用場景?

1. ?企業內部知識庫與智能客服?

   • ?場景?：通過 AnythingLLM 上傳企業文檔（如產品手冊、合同），結合 DeepSeek-R1 實現精準問答，替代傳統人工客服?。
   • ?優勢?：數據本地化存儲（避免云端泄露）、支持多格式文件解析?。

2. ?專業領域研究與分析?

   • ?場景?：科研人員使用 DeepSeek-R1 處理長文本（如論文、報告），生成摘要或提取核心結論；結合 AnythingLLM 訓練領域專屬模型?。
   • ?案例?：法律條文分析、醫學文獻結構化處理?。

3. ?個人效率工具?

   • ?場景?：
     • ?周報生成?：輸入工作記錄，由 DeepSeek-R1 自動整理成結構化周報?。
     • ?實時翻譯?：本地部署模型實現無網絡環境下的多語言互譯?。
     • 個性化知識助手?:導入個人筆記、電子書等資料，構建專屬知識庫，輔助日常學習決策?。

4. ?開發與測試環境?

   • ?場景?：開發者通過 Ollama 快速切換不同參數量級的 DeepSeek-R1 版本，測試模型性能或調試應用兼容性?。

二、本地下載安裝部署

1、安裝 CUDA Toolkit 步驟如下：https://developer.nvidia.com/cuda-downloads?target_os=Windows&target_arch=x86_64

1. 不用顯卡跳過此步驟
2. 訪問指定鏈接下載 CUDA Toolkit。請務必留意針對 Windows 系統的版本選項，如 Windows 10、Windows 11 等，并選擇 “local” 本地安裝類型，以獲取最佳安裝體驗。
3. 下載過程需登錄 NVIDIA 賬號。若您尚無賬號，請提前完成注冊流程，確保下載順利進行。
4. 完成 CUDA Toolkit 安裝后，請重啟計算機，以使所有配置更改生效，從而確保 CUDA Toolkit 能夠正常運行。

2、Ollama 安裝：https://ollama.com/

1. 下載與安裝：前往 Ollama 官方網站，獲取 Ollama 安裝程序。整個下載與安裝流程十分簡易，按照系統提示逐步操作即可輕松完成，在此便不展開詳述。
2. 后臺運行檢查：安裝完成并啟動 Ollama 后，該程序將在后臺持續運行。您可通過查看電腦右下角的系統托盤區域，確認是否出現 Ollama 的 Logo 圖標，以此判斷 Ollama 是否已成功在后臺啟動并正常運行 。

3、 通過Ollama安裝模型：https://ollama.com/search

1. 選擇模型參數與獲取安裝命令：Ollama 的模型庫涵蓋了豐富多樣的大語言模型，通過 Ollama 安裝 DeepSeek - R1 模型的操作十分便捷。其模型庫中的可用模型包括但不限于 DeepSeek - R1、Lamma3.3、qwq 等，用戶可按需選擇安裝 。進入 DeepSeek - R1 模型集合，依照下方圖示的順序，選擇合適的參數數量，然后復制對應的安裝命令。
2. 考慮硬件限制：需特別注意，GPU 顯存大小（若僅使用 CPU，則考慮本地主機的內存）會限制可使用的模型大小。例如，擁有 16GB 顯存的 GPU 能夠運行 14B 的模型，而 24GB 顯存的 GPU 則可以運行 32B 的模型。
3. 執行安裝命令：普通電腦運行1.5b就可以，不用顯卡。以本人為例，我選擇了 14B 的模型。復制好命令后，打開 Powershell 并執行該命令，Ollama 會自動開始安裝相應版本的 DeepSeek - R1 模型。你只需耐心等待命令運行結束，安裝完成后即可使用該模型。

ollama run deepseek-r1:1.5b

 Powershell 的終端中直接運行了，但是存在諸多不便之處。比如，難以對對話記錄進行保存、搜索與管理，無法讀取附件，并且無法集成本地知識庫來實現檢索增強生成等功能，極大地影響了用戶體驗。因此，強烈推薦大家安裝一款本地 AI 應用用戶界面，本文以 AnythingLLM 為例進行示范。

4、AnythingLLM 安裝與配置：https://anythingllm.com/desktop

1. 下載與安裝：前往 AnythingLLM 官方網站獲取安裝程序并進行安裝。
2. 啟動與設置：安裝完成并啟動 AnythingLLM 后，在設置中選擇 “Ollama”（注意不是 “DeepSeek”）。
3. 在設置中選擇 “Ollama”（注意不是 “DeepSeek”）作為 LLM Provider。此時，AnythingLLM 會自動檢測本地部署的大語言模型，從中選擇 “deepseek - r1:14b”。然后一直點擊右鍵。
4. 創建工作區并開始對話：完成上述步驟后，創建一個 Workspace，隨后即可開啟與模型的對話之旅。
5. 進行設置

    

6. 保存設置

   

    

   5、下載 embedding 模型

   步驟一：下載模型

   1. 打開命令行工具。
   2. 在命令行中輸入指令 ollama pull nomic-embed-text，然后回車執行，等待模型下載完成。
   3. 

   步驟二：切換并保存模型設置

   1. 找到系統左下角的相關操作入口（扳手）。
   2. 
   3. 切換到新下載的 nomic-embed-text embedding 模型。
   4. 
   5. 切換完成后，點擊 “保存更改” 按鈕，確保設置生效。
   6. 

6. 上傳本地資料構建本地數據庫

1. 在工作空間頁面中，找到并點擊 “上傳” 按鈕。
2. 
3. 依據實際需求選擇上傳方式：你既可以直接上傳本地文件，也能夠選擇連接數據庫以獲取所需資料。
4. 資料上傳或數據庫連接完成后，點擊 “保存” 按鈕，系統將自動對上傳的資料進行向量化處理。
5. 然后新建對話進行測試。

三、Windows 系統 Ollama 當服務器開放共享給其他人

?一、配置環境變量開放訪問權限?

1. ?設置 OLLAMA_HOST 環境變量?

   • 右鍵點擊「此電腦」→「屬性」→「高級系統設置」→「環境變量」→「系統變量」→「新建」：
     • ?變量名?：OLLAMA_HOST
     • ?變量值?：0.0.0.0（允許所有網絡接口監聽請求）?
   • 若需同時解決跨域問題，可添加變量 OLLAMA_ORIGINS，值為 * ?。
   • 

2. ?重啟 Ollama 服務?

   • 退出任務欄的 Ollama 程序（右鍵圖標→「Quit Ollama」），重新啟動 Ollama ?。
   • 若配置未生效，建議重啟系統 ?。

?二、開放防火墻端口?

1. ?通過命令行添加防火墻規則?

   • 以管理員身份運行命令提示符，執行以下命令：
     netsh advfirewall firewall add rule name="Ollama" dir=in action=allow protocol=TCP localport=11434
     （放行 Ollama 默認端口 11434）?

2. ?驗證防火墻規則?

   • 檢查端口是否放行成功：
     netsh advfirewall firewall show rule name="Ollama"
     （輸出需包含 Enabled=Yes 和 Action=Allow）?

?三、驗證非本機訪問?

1. ?局域網設備測試?

   • 執行命令 ipconfig 查看本機 IPv4 地址（如 192.168.1.100）。
   • 在其他設備的瀏覽器或命令行中訪問：
     curl http://[Windows主機IP]:11434/api/tags
     （若返回模型列表，則配置成功）?

2. ?可視化工具驗證（可選）?

   • 使用 Open WebUI 或 LobeChat 等工具，輸入 http://[Windows主機IP]:11434 作為 Ollama 服務地址進行連接 ?。

?四、常見問題解決?

• ?報錯 Server connection failed?：
  檢查環境變量 OLLAMA_HOST 和 OLLAMA_ORIGINS 是否配置正確，并重啟服務 ?。
• ?端口占用或沖突?：
  使用 netstat -ano | findstr 11434 確認端口未被其他進程占用 ?。

五、公網共享（可選）?

1. ?內網穿透工具部署?

   • 使用 ngrok 將本地服務映射至公網：
     ngrok http 11434 # 映射 Ollama 服務
   • 生成公網鏈接（如 https://xxx.ngrok.io）共享給外部用戶。

2. ?域名綁定（高級）?

   • 若已備案域名，可通過路由器或云服務商配置端口轉發，將域名指向服務器 IP。

?注意事項?

• 開放 0.0.0.0 會暴露服務至公網，建議內網使用時結合 IP 白名單或 VPN 提升安全性 ?。
• 若修改了模型存儲路徑（OLLAMA_MODELS），需確保目錄權限允許網絡訪問 ?。
• 內網穿透需謹慎暴露公網端口，建議配置 HTTPS 加密和 IP 白名單?。
• 定期清理 AnythingLLM 的無效文檔，避免存儲空間占用過高?