专栏：大模型应用开发：从原理到生产篇号：30内容标签：QLoRA、LoRA、4-bit量化、NF4、微调上一篇我们讲了 LoRA。LoRA 已经把微调变轻了很多。它冻结基座模型，只训练少量低秩适配器。但这里还有一个现实问题：基座模型虽然不训练，训练时仍然要放进显存。因为模型要做前向计算。它要读输入，要算激活，要生成预测，还要把结果和标准答案对比。LoRA 只减少了“要更新的参数”。但没有自动减少“要加载的基座模型”。这就是 QLoRA 出场的原因。一句话说：QLoRA = 量化后的基座模型 + 可训练的 LoRA 适配器。它不是把 LoRA 推翻重来。它是在 LoRA 的基础上，继续压低显存门槛。一、LoRA 已经很轻，为什么还需要 QLoRA先把这个问题讲清楚。LoRA 的轻，主要体现在训练参数少。原模型大部分权重被冻结。真正参与更新的是少量适配器参数。但训练时，基座模型仍然要参与计
专栏：大模型应用开发：从原理到生产篇号：30内容标签：QLoRA、LoRA、4-bit量化、NF4、微调上一篇我们讲了 LoRA。LoRA 已经把微调变轻了很多。它冻结基座模型，只训练少量低秩适配器。但这里还有一个现实问题：基座模型虽然不训练，训练时仍然要放进显存。因为模型要做前向计算。它要读输入，要算激活，要生成预测，还要把结果和标准答案对比。LoRA 只减少了“要更新的参数”。但没有自动减少“要加载的基座模型”。这就是 QLoRA 出场的原因。一句话说：QLoRA = 量化后的基座模型 + 可训练的 LoRA 适配器。它不是把 LoRA 推翻重来。它是在 LoRA 的基础上，继续压低显存门槛。一、LoRA 已经很轻，为什么还需要 QLoRA先把这个问题讲清楚。LoRA 的轻，主要体现在训练参数少。原模型大部分权重被冻结。真正参与更新的是少量适配器参数。但训练时，基座模型仍然要参与计
