項(xiàng)目Github：https://github.com/xorbitsai/inference/

文檔：https://inference.readthedocs.io/zh-cn/latest/getting_started/index.html

安裝的時(shí)候如果還是 0.16.3

pip install "xinference[all]"

要裝最新的1.3需要這么寫(xiě)：

pip install  "xinference==1.3.0.post1"

更新日志

? 新模型
* LLM：
     * DeepSeek V3 & DeepSeek R1
     * Qwen2.5-Instruct-1M
* 多模態(tài)：
     * InternVL 2.5
新功能
* SGLang 引擎支持分布式多機(jī)多卡推理
* vLLM 引擎支持輸出 reasoning content
* 日志新增 GPU 利用率顯示
* vLLM Xavier 現(xiàn)支持最新 vLLM ≥ 0.7.0
BUG 修復(fù)
* 修復(fù)開(kāi)啟 Xavier 后 batch 推理的一個(gè)問(wèn)題
* ? 修復(fù) FLUX 使用了不兼容的 scheduler 問(wèn)題
UI 相關(guān)
* ? 啟動(dòng)模型頁(yè)面新增「推薦模型」模塊，重要模型一鍵直達(dá)
* 模型額外啟動(dòng)參數(shù)輸入框支持智能提示，重要參數(shù)一鍵填入
* 新增「啟動(dòng)命令行 ? 頁(yè)面操作」互相轉(zhuǎn)換工具
* ? 模型啟動(dòng)固定選項(xiàng)新增 n_worker，適配分布式推理