摘要： 本文通過五個方面系統(tǒng)介紹了大模型量化技術：首先闡述量化的基本概念，以低比特（INT8/4/2/1）取代 FP32 的壓縮與加速原理；其次按時間維度區(qū)分 PTQ、QAT 與 QAF 三種策略，明確何時量化；隨后按對象維度梳理權重、激活、梯度、KV-Cache 及偏置的量化差異；再從粒度維度比較 per-tensor、per-channel、per-group、per-token 的精度與開銷權衡；最后結合位寬與對象給出 W8A16、W4A8、KV4 等典型組合，完整呈現(xiàn)量化在模型大小、推理速度與部署場景中的綜合優(yōu)化路徑。 閱讀全文

摘要： 一、SSH客戶端配置 如果你需要通過SSH遠程訪問服務器，需要生成密鑰對，然后將公鑰配置到服務器，具體如下： Step1：檢查是否安裝了 OpenSSH Client（客戶端） 以管理員身份運行powershell（Win+X → 終端管理員） ## 檢查SSH客戶端是否安裝 Get-Windows 閱讀全文

摘要： regular expression This article is intended to introduce the RE package in Python. The main funciton of RE module is sub：Replace matched items. match： 閱讀全文