LoRA

LoRA（Low-Rank Adaptation of Large Language Models，大语言模型的低秩自适应）是一种在大模型微调（Fine-tuning）领域极具革命性的技术。简单来说，LoRA 是一种“四两拨千斤”的微调方法。它允许我们在不更新大模型原有巨量参数的情况下，通过引入极少量的额外参数来适配特定的下游任务，从而极大地降低了训练成本和硬件门槛。

vLLM 是一个用于大型语言模型 (LLM) 推理加速的开源库，它以其卓越的性能和易用性而闻名。vLLM 的核心优势在于其创新的PagedAttention算法，该算法有效解决了传统注意力机制在处理长序列时内存碎片化的问题，从而显著提高了吞吐量和降低了延迟。