在SelfLLM項目中發現了很多微調大模型的項目。微調語言大模型的很多了,微調多模態模型的還是較少。這里有幾個例子,可以很好的參考一下:
這里做一下總結,使用float16加載模型,再配上Lora,可以在4090*24G(單卡)上微調7B的模型。7B以上的模型,需要多卡,或者是增大單卡的顯存。