LISA是LoRA的简化版,但其抓住了LoRA微调的核心,即LoRA侧重更新LLM的底层embedding和顶层head。 根据上述现象,LISA提出两点改进: 始终更新LLM的底层embedding和顶层head随机更新中间层的hidden state 实验结果 显存占用 毕竟模型参数大头还是在底层embedding,所以显存占用并没有减少太多。 训练时间 下游任务微调 在MT-BENCH上,LISA超过了LoRA,甚至全量参数微调。 参考 比LoRA还快50%的微调方法来了!一张3090性能超越全参调优,UIUC联合LMFlow团队提出LISALMFlow