摘要：
NLP and transform https://github.com/datawhalechina/happy-llm/tree/main ──────────────────────────────────────────────────────── 預(yù)訓(xùn)練（Pre-training） ─── 閱讀全文
posted @ 2025-06-11 21:48
iTech
閱讀(506)
評(píng)論(0)
推薦(0)
摘要：
LLaMA-Factory https://github.com/hiyouga/LLaMA-Factory 什么是 LLaMA-Factory？ LLaMA-Factory 是一個(gè)由開(kāi)源社區(qū)開(kāi)發(fā)的工具包，旨在簡(jiǎn)化 Meta 推出的大型語(yǔ)言模型 LLaMA 的配置、訓(xùn)練和部署過(guò)程。它提供了一組易于使 閱讀全文
posted @ 2025-06-11 21:46
iTech
閱讀(476)
評(píng)論(0)
推薦(0)
摘要：
LLM deploy for inference (tensor parallelism, data parallelism, pipeline parallelism, expert parallelism for MOE) vLLM worker or SGLang worker or http 閱讀全文
posted @ 2025-06-11 21:42
iTech
閱讀(47)
評(píng)論(0)
推薦(0)
摘要：
TensorFlow、PyTorch和Triton是機(jī)器學(xué)習(xí)領(lǐng)域常用的深度學(xué)習(xí)框架和工具，而CUDA和Google的TPU則是與硬件加速相關(guān)的技術(shù)和產(chǎn)品。它們?cè)跈C(jī)器學(xué)習(xí)模型的訓(xùn)練和推理中發(fā)揮著重要作用，利用GPU或TPU可以顯著提升計(jì)算速度和效率。 TensorFlow： 由Google開(kāi)發(fā)的開(kāi)源機(jī) 閱讀全文
posted @ 2025-06-11 21:34
iTech
閱讀(49)
評(píng)論(0)
推薦(0)
摘要：
LLM蒸餾過(guò)程是指將大型語(yǔ)言模型（LLM）中的知識(shí)和權(quán)重轉(zhuǎn)移到一個(gè)較小的模型中，以減少計(jì)算成本和內(nèi)存占用，同時(shí)保持原有模型的性能。這個(gè)過(guò)程也被稱為模型蒸餾或知識(shí)蒸餾。以下是LLM蒸餾過(guò)程的概述： 背景 大型語(yǔ)言模型雖然能夠取得非常好的性能，但其計(jì)算成本和內(nèi)存占用非常高，這使得它們難以部署在資源有限的 閱讀全文
posted @ 2025-06-11 21:32
iTech
閱讀(83)
評(píng)論(0)
推薦(0)
浙公網(wǎng)安備 33010602011771號(hào)