安裝vllm環境
必須確認是否使用了自己安裝的環境:
source ~/miniconda3/bin/activate
create
安裝環境,python=3.12,并which pip,確認使用了miniconda環境下的pip
conda create -n env_vllm python=
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu124 # nvcc --version: 12.3,使用之后的軟件都兼容,選擇12.4
pip install vllm
clone
conda create -n toolrl --clone /home/zhangzai/miniconda3/envs/env_vllm
Qwen25_VL+flash_attention_2最新適配環境:
2.7.0+cu126
pip install torch==2.7.0 torchvision==0.22.0 torchaudio==2.7.0 --index-url https://download.pytorch.org/whl/cu126
pip install flash-attn --no-build-isolation

浙公網安備 33010602011771號