1. 配置：使用 vgpu-smi  查看顯卡資源使用情況。

    復制共享環境：

   conda create -n CONDA_ENV_NAME --clone /share/conda_envs/internlm-base

    

    

2. 部署服務原理

　　3.模型轉換　　

　　在線轉換：在線讀取hugging face 模型

 　　離線轉換：

 　　推理：

　　lmdeploy chat turbomind ./workspace

 　　優點與對比:

 基礎作業：