摘要:
繼續(xù)整理tensorrt的學習資料,方便后續(xù)查看. (文章內容大部分摘取于網絡資源) ## 1 int8量化 int8量化就是將網絡的權重由float32類型縮放為int8類型,同時記錄縮放的scale。為了盡可能的不丟失精度,需要采用標定圖片來確定縮放的范圍。 ### 1.1 int8量化原理 * 閱讀全文
posted @ 2023-09-02 16:38
silence_cho
閱讀(517)
評論(0)
推薦(0)
摘要:
繼續(xù)整理tensorrt的學習資料,方便后續(xù)查看. (文章內容大部分摘取于網絡資源) ## 1. tensorrt插件 對于tensorrt不支持的算子,可以通過plugin插件的方式,自己實現。這里采用在pytorch中自定義一個算子,導出到onnx中,然后實現一個tensorrt plugin來 閱讀全文
posted @ 2023-09-02 16:32
silence_cho
閱讀(969)
評論(0)
推薦(1)
摘要:
整理下tensorrt學習資料,方便后續(xù)查找。(文章內容大部分摘取于網絡資源) # 1. tensorrt介紹 安裝: https://docs.nvidia.com/deeplearning/sdk/tensorrt-install-guide/index.html tensorrt python 閱讀全文
posted @ 2023-09-02 16:26
silence_cho
閱讀(2323)
評論(0)
推薦(0)

浙公網安備 33010602011771號