百川大模型安裝（N卡）：
tar xvf cu.tar.xz

source ~/.bashrc

測試cudnn
sudo vim test_cudnn.cu
#======================================

std::cout << "cuDNN version: " << CUDNN_MAJOR << "." << CUDNN_MINOR << "." << CUDNN_PATCHLEVEL << std::endl;

#======================================

安裝docker（支持GPU）
docker啟動：

編寫build.sh：
docker run --gpus all -it -w /root/workcode \--name baichuan_13b \-p 80:80 \-v ${Host_datas}:${Docker_datas} \${ImageID} /bin/bash

運行：sh build.sh

進入docker后安裝：
安裝conda

安裝百川運行環境

git clone https

需要兩張V100 32G卡才能跑起來

model = model.quantize(8).cuda()

運行：
python cli_demo.py