背景

在SelfLLM項目中發現了很多微調大模型的項目。微調語言大模型的很多了，微調多模態模型的還是較少。這里有幾個例子，可以很好的參考一下：

• 微調qwen
• Llava

這里做一下總結，使用float16加載模型，再配上Lora，可以在4090*24G（單卡）上微調7B的模型。7B以上的模型，需要多卡，或者是增大單卡的顯存。