OMG-LLaVA學習記錄---跑代碼前置準備(AutoDL平臺)

這里我選擇了一個顯存32GB的GPU，因為我的電腦是8GB,加載模型顯存直接爆了(即使加上了4-bit量化)。然后用了一個24GB的GPU，加載模型時也爆了，所以才用了一個32GB的GPU，但是最后實測運行時顯存占用實際為15GB左右，稍后再去24GB的GPU上試一試

AutoDL顯卡租用

1. 首先在AutoDL平臺租用個張顯存32GB的GPU，(根據搜到的網友反饋)建議西北B區，按量計費，注意這里我們最好不要選擇RTX 5090顯卡，我們的這個模型要求CUDA==11.8，但是RTX 5090要求的CUDA比較新。

然后我們選擇PyTorch框架

按照項目要求選擇對應的版本就好

VScode 遠程連接

在這里復制登錄指令和密碼

然后打開VS Code, 如果沒有下載 這個插件就下載一下

然后配置ssh的config文件

按照這樣配置,host可以自己指定

格式寫好后把上面那個登錄指令刪掉

然后點擊這個就可以連接到遠程了，過程中需要輸入密碼的話輸進去就好了

修改AutoDL的Conda的默認存儲路徑

系統盤存儲空間有限，我們盡量存到數據盤中，數據盤不夠可以擴容
首先打開一個終端,創建數據盤存儲目錄

mkdir -p /root/autodl-tmp/conda/{envs,pkgs} 

然后使用vim指令修改配置文件

vim /root/.condarc

在最后寫入

envs_dirs:
  - /root/autodl-tmp/conda/envs
pkgs_dirs:
  - /root/autodl-tmp/conda/pkgs

然后保存退出即可

補充
vim常見指令

:w # 保存文件
:q # 退出 Vim
:wq # 保存并退出
:q! # 強制退出不保存
:w # 保存文件
:q # 退出 Vim
:wq # 保存并退出
:q! # 強制退出不保存