微軟在其 2025 Build 大會上發布了 Foundry Local，能夠在本地設備上執行 AI 推理，意味著可以利用本地的 AI 算力，如：CPU/GPU/NPU；也讓用戶在隱私方面得到了充足的保障，還能有改善成本效益！Foundry Local 默認除了支持 CLI外，還支持 SDK、REST API 和 Catalog API，用戶可以自行基于 Foundry Local 進行開發。在未來 Foundry Local 還將內置對 Agent/MCP 的支持。

Foundry Local 還支持跨平臺，除了能夠運行在Windows 11 上，還能夠運行在 macOS。由于需要本地存儲和運行模型，請確保有足夠的算力和存儲，Foundry Local 支持硬件加速：NVIDIA GPU（2000系列或更高版本）、AMD GPU（6000系列或更高）、Intel iGPU、Intel NPU（32GB或更多內存）、高通 Snapdragon X Elite（8GB或更多內存）、高通 NPU，以及 Apple 系列。

        要在本地以 Foundry Local 運行 AI 模型，首先需要安裝 Foundry Local。

• Windows：
  • winget install Microsoft.FoundryLocal
• macOS：
  • brew tap microsoft/foundrylocal
  • brew install foundrylocal

        運行模型只需要執行：

foundry model run <model>

        在 Foundry Local 上可運行的模型有很多，可使用以下命令查看：

foundry model list

        還可以加載 --filter 參數對顯示列表進行篩選。

其他有用的參數還有：

foundry model info <model> 顯示有關特定模型的詳細信息

foundry model download <model> 在不運行模型的情況下只下載模型到本地緩存

foundry model load <model> 將模型加載到服務中

foundry model unload <model> 從服務中卸載模

        要查看本地已經下載緩存的模型，可執行：

foundry cache list

要檢查 Foundry Local 服務狀態，可執行：

foundry service status

Foundry Local CLI 詳細使用可參考：Foundry Local 文檔。

Foundry Local SDK 目前支持 JavaScript、Python、C# 和 Rust，也可以使用 REST API 去調用 Foundry Local Service。這是一個用于演示或本地實驗的示例項目，可能展示如何在本地環境中使用或集成“Foundry”相關功能。核心代碼在https://github.com/andrewleader/FoundryLocalLabDemo/blob/main/FoundryLocalLabDemo/ExecutionLogic.cs：

封裝 FoundryLocalManager，提供基礎模型管理：
?    StartServiceAsync：啟動本地 Foundry 服務
?    ListCatalogModelsAsync / ListCachedModelsAsync：列出目錄/本地緩存模型
?    DownloadModelAsync：按進度流式下載模型（IAsyncEnumerable<ModelDownloadProgress>）
?    LoadModelAsync / UnloadModelAsync：加載/卸載模型

基于選定模型進行流式解析用戶文本為結構化對象：
?    ParseStudentProfileStreamingAsync：
?    通過 OpenAIClient + Microsoft.Extensions.AI 創建聊天客戶端（使用 FoundryLocalManager 提供的 Endpoint 和 ApiKey）
?    構造一個包含字符串枚舉的 JSON Schema，要求模型僅輸出 JSON
?    發送提示詞并以流式方式接收回復，邊接收邊通過 IAsyncEnumerable<StudentProfileUpdate> 返回中間文本增量
?    收集完整回復后，去除可能的 <think> 標簽和 ```json 代碼塊圍欄，處理嵌套對象，再用 Json.NET（含 StringEnumConverter）反序列化為 StudentProfile
?    最后返回一次包含解析好的 StudentProfile 的更新

項目地址：https://github.com/andrewleader/FoundryLocalLabDemo