peft

LoRA（Low-Rank Adaptation of Large Language Models，大语言模型的低秩自适应）是一种在大模型微调（Fine-tuning）领域极具革命性的技术。简单来说，LoRA 是一种“四两拨千斤”的微调方法。它允许我们在不更新大模型原有巨量参数的情况下，通过引入极少量的额外参数来适配特定的下游任务，从而极大地降低了训练成本和硬件门槛。