hf鏡像下載會快很多:https://hf-mirror.com/ 實際下載模型界面和hugginface一致

下載腳本
huggingface-cli download --token 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 jinaai/jina-embeddings-v2-base-zh --local-dir jina-embeddings-v2-base-zh
HugginFace官網:https://huggingface.co/models?sort=downloads
大模型存儲格式介紹: https://zhuanlan.zhihu.com/p/686570419
格式1:.safetensors 格式2: torch.save
torch.save保存的內容比.safetensors多很多。所以,從torch.save轉到.safetensors是比較簡單的,官方也給出了轉換腳本。
總的來說,.safetensors是針對huggingface transformers類模型的權重存儲需求而設計的一種簡單的跨框架文件格式,拋棄了torch.save支持的非常多大模型用不到的特性,所以才能夠變得簡單、高效。
下載模型并運行在ollama
浙公網安備 33010602011771號