最近在一個新集群上，計算節(jié)點不能聯(lián)網(wǎng)，只有特殊節(jié)點可以聯(lián)網(wǎng)。

現(xiàn)在的代碼倉庫依賴 huggingface hub 很嚴(yán)重，模型和數(shù)據(jù)集只能在特殊節(jié)點先下載好，然后在計算節(jié)點加載緩存。

為了不用絕對目錄，可以設(shè)置環(huán)境變量 HF_HOME：

export HF_HOME="dir_to_pub/.cache/huggingface"

然后特殊節(jié)點正常跑，

計算節(jié)點上設(shè)置 huggingface hub 為離線模式：

export HF_HUB_OFFLINE=1

這樣，在每次 AutoTokenizer.from_pretrained 或者 AutoModel.from_pretrained 時，等效于加入 local_files_only=True，就不會再聯(lián)網(wǎng)去判斷緩存是否要更新了（這里如果斷網(wǎng)情況下會卡幾分鐘）