機器學習學習記錄
摘要：
※，2024年5月27日09:57:43 前向計算過程(獲得損失loss)和后向傳播過程（計算梯度） 2.1 主流的訓練加速方式 目前主流的LLM訓練的加速方式有以下三種： 數據并行DataParallel：N個GPU上放置同一個模型（模型復制N份），將數據切分成N份。每臺GPU都獨立地執行前向計算 閱讀全文
posted @ 2023-12-14 16:32 everest33 閱讀(1885) 評論(0) 推薦(1)
浙公網安備 33010602011771號