TensorRT，由NVIDIA精心打造，是一款專為深度學習推理任務設計的高效優化工具。它能夠顯著降低應用的延遲同時提升處理速度，是大規模數據中心、嵌入式設備以及自動駕駛技術等領域推理加速的理想選擇。TensorRT的兼容性廣泛，支持包括TensorFlow、Caffe、Mxnet和Pytorch在內的主流深度學習框架，與NVIDIA GPU的結合使用。

TensorRT本質上是一個推理加速器，它允許用戶在模型訓練完成后，直接將模型文件導入TensorRT進行優化，無需再依賴原始的深度學習框架。

模型訓練：需要fp32，避免梯度下溢和舍入誤差

梯度下溢：當梯度值非常小（小于 ~6e-8）時，在FP16中會變成0（即下溢）。一旦梯度變為0，對應的參數就無法更新，學習過程會停滯。

舍入誤差：在FP16中，由于精度有限，很多微小的更新（比如用一個很小的學習率乘以一個很小的梯度）可能會因為舍入誤差而直接變為0。在數百萬次的迭代中，這些微小的誤差累積起來可能會導致模型無法收斂，或者收斂到一個很差的局部最優點。

模型推理：不涉及到反向傳播(梯度計算)，只需fp16

在FP32下訓練好的模型，其權重和激活值的分布通常在一個合理的范圍內。將其轉換為FP16進行推理，對于絕大多數任務（如圖像分類、目標檢測、語音識別等）的最終輸出精度影響微乎其微，通常只有小數點后幾位的損失，但換來的卻是巨大的速度提升和資源節省。

TensorRT 采用多種優化技術來提升深度學習模型的推理性能：

1、層間融合技術：

TensorRT 通過層間融合，將卷積層、偏置層和ReLU激活層合并為單一的CBR結構，實現橫向和縱向的層融合。橫向融合將這些層合并為單一操作，僅消耗一個CUDA核心，而縱向融合則將具有相同結構但不同權重的層合并成更寬的層，同樣只占用一個CUDA核心。這種融合減少了計算圖中的層數，降低了CUDA核心的使用量，從而使得模型結構更加緊湊、運行速度更快、效率更高。

2、數據精度優化：

在深度學習模型訓練過程中，通常使用32位浮點數（FP32）來保證精度。然而，在推理階段，由于不需要進行反向傳播，可以安全地降低數據精度至FP16或INT8，這不僅減少了內存占用和延遲，還使得模型體積更小，提高了推理速度。

3、Kernel自動調優：

TensorRT 能夠自動調整CUDA核心的計算方式，以適應不同的算法、模型結構和GPU平臺。這種自動調優確保了模型在特定硬件上以最佳性能運行。

TensorRT 部署流程主要有以下五步：

1.訓練模型

2.導出模型為 ONNX 格式

3.選擇精度

4.轉化成 TensorRT 模型

5.部署模型
Pytorch → ONNX → TensorRT

 PyTorch 部署推理

• 本質：使用訓練框架本身進行推理。

• 優點：

  • 無縫銜接：無需模型轉換，直接從訓練環境到推理環境，減少了轉換出錯的風險。

  • 調試方便：可以使用熟悉的PyTorch工具和API進行調試。

• 缺點：

  • 性能非最優：PyTorch為了支持訓練，保留了很多在推理時不需要的操作和內存布局，這帶來了額外的開銷。

  • 依賴較重：需要安裝完整的PyTorch庫，可能不適用于非常輕量級的部署。

  • 硬件支持局限：主要圍繞NVIDIA GPU和CPU。

ONNX Runtime 部署推理

• 核心：ONNX (Open Neural Network Exchange)
  ONNX是一個開放的模型表示標準。它定義了一個通用的計算圖格式，使得不同框架訓練的模型可以被各種推理引擎所使用。

• 優點：

  • 硬件無關性與生態：其最大的價值在于解耦了模型和硬件。你可以將一個ONNX模型部署到幾乎任何主流的硬件平臺上，只需切換ONNX Runtime的Execution Provider即可。

  • 性能良好：作為一個專業的推理引擎，它進行了大量圖級別的優化（如常量折疊、冗余節點消除等），去除了訓練帶來的開銷。

• 挑戰：

  • 轉換支持：并非所有PyTorch/TensorFlow的算子都能完美地轉換為ONNX格式，有時會遇到不支持的算子或需要自定義。

  • 性能非極致：雖然性能很好，但由于要兼顧通用性，它無法像TensorRT那樣為特定型號的GPU進行極其深入的底層優化。

TensorRT 部署推理

• 核心：針對NVIDIA GPU的編譯器
  TensorRT不是一個簡單的推理器，而是一個深度學習優化器和運行時引擎。它的工作流程是：將你的模型（如ONNX）作為輸入，然后進行一系列極其激進的優化，最終生成一個高度優化的、序列化后的計劃文件（Plan File），這個文件就是TensorRT引擎。

• 優化技術包括：

  • 層融合：將多個層（如Conv、BN、ReLU）合并成一個單一的、更高效的內核。這大大減少了內核啟動次數和內存讀寫操作。

  • 精度校準：在保證精度損失可接受的前提下，將FP32模型轉換為FP16甚至INT8，從而顯著提升速度并降低顯存占用。

  • 內核自動調優：針對你當前使用的特定GPU型號，自動選擇最優的內核實現。

• 優點：

  • 極致性能：在NVIDIA GPU上，其性能通常是所有方案中最好的。

  • 低延遲/高吞吐：特別適合實時應用和高并發場景。

• 缺點：

  • 供應商鎖定：僅限NVIDIA硬件。

  • 構建耗時：引擎構建（特別是開啟所有優化選項時）可能需要較長時間。

  • 復雜度與調試：優化過程是個黑盒，量化可能帶來精度問題，調試比較困難。

部署方案：

使用 ONNX Runtime 作為頂層的推理接口。

在安裝了NVIDIA GPU的機器上，為ONNX Runtime配置 TensorRT Execution Provider。

這樣，你的代碼只需調用ONNX Runtime的API，當它在有NVIDIA GPU的環境中運行時，會自動調用底層極速的TensorRT引擎，而在其他環境（如只有CPU）時，則回退到CPU或其他EP。這實現了 “一套代碼，多種部署” 的理想狀態。

ONNX Runtime 的 TensorRT EP 作為一個抽象層，自動處理了所有底層的 TensorRT 操作：

import onnxruntime as ort

# 這一切都是自動的！
trt_options = {
    'trt_fp16_enable': True,
    'trt_engine_cache_enable': True,
    'trt_engine_cache_path': './trt_cache'
}

session = ort.InferenceSession(
    "model.onnx",
    providers=['TensorrtExecutionProvider'],
    provider_options=[trt_options]
)

# 背后自動發生：
# 1. 解析 ONNX 模型
# 2. 調用 TensorRT builder
# 3. 構建優化引擎
# 4. 序列化并緩存（如果啟用）