LoRA微调的详细步骤 - 飞书文档
https://docs.feishu.cn/v/wiki/TyQZw9lZSiN1V5kTKIocgJOvnag/a3... 教程帮助大家完成微调任务。此外还会教大家使用vllm加速推理，封装成api加速推理。我们还用到了一个提分trick，使用微调的模型进行多路投票，得到更好的结果。 微调介绍1.1 大 ...
飞搜侠
热门搜索
LoRA模型训练 - 飞书文档
https://docs.feishu.cn/article/wiki/ALBcwA6zAi5GJLkbekFcLOUPnde概述LoRA (Low-Rank Adaptation) 是一种轻量级的模型微调方法，可以用于在特定数据集上微调预训练的Stable Diffusion模型。该方法可以通过在模型的潜在空间中加入一个低 ...
《开源大模型项目中模型的微调方法你都知道吗？》 - 飞书文档
https://docs.feishu.cn/v/wiki/F8VUwzJ3bixoPtkyCP3cS1tYnfd/ac开源LLM 的全量微调、高效微调方法，包括分布式全量微调、LoRA、ptuning 等。 项目的主要内容就是教程，让更多的学生和未来的从业者了解和熟悉开源大模型的食用方法！
Qwen2-1.5B-Instruct模型LoRA微调 - 飞书文档
https://docs.feishu.cn/v/wiki/Pbw7wrZ5kiNtCykrgjyc1bh8nBd/a7- LoRA 使用自适应优化器（Adaptive Optimizer），不需要计算梯度或维护大多数参数的优化器状态，训练更有效、硬件门槛更低。 - LoRA 使用简单的线性设计，在部署时将可训练矩阵 ...
LLamaFactory微调大模型实战教程 - 飞书文档
https://docs.feishu.cn/v/wiki/QKUNwvvL0ilcwUk5T65cnpHgnVV/a81. 本篇教程可以带你手把手无痛的体验如何自建数据集，并使用LoRA微调大模型（SFT）。但模型训练是一个多方因素影响，需要不断调参、优化。因此受数据集质量和参数影响 ...
《LORA模型训练超入门级教程》--人人都可以当炼金术士 - 飞书云文档
https://waytoagi.feishu.cn/wiki/QNNKw1KPGiqSbpk8y9xc6o7jnSg《LORA模型训练超入门级教程》--人人都可以当炼金术士 · 1. 节省训练时间：LORA模型的低层模型已经在大规模的基准数据集上训练过了，因此可以利用这些已经学到的特征来加速新 ...
Lora微调如何保持模型泛化能力？ - 飞书文档
https://docs.feishu.cn/v/wiki/QHSTwBPFKiZxqfkA1INc1u4fn0f/ahLoRA (Low-Rank Adaptation) 微调是一种用于在预训练模型上进行高效微调的技术。它可以通过高效且灵活的方式实现模型的个性化调整，使其能够适应特定的任务或领域，同时保持 ...
探究大模型微调Lora的不同形态
https://docs.feishu.cn/v/wiki/ZK3JwmKFlizYWPkStyzcbrXonNb/ar研究成果现已开源，提供硬件设计、教程和模拟模型，供开发者研究双手操作。 微软官宣创建12个逻辑量子比特，联合AI首次破解化学难题. https://mp.weixin.qq.com/s ...
源大模型微调实战：解锁任务解决潜能 - 飞书文档
https://docs.feishu.cn/v/wiki/PLCHwQ8pai12rEkPzDqcufWKnDd/a1LoRA 是通过低秩矩阵分解，在原始矩阵的基础上增加一个旁路矩阵，然后只更新旁路矩阵的参数。 参考资料. LoRA paper · 大模型轻量级微调（LoRA）：训练速度、显存占用分析.
轻量化微调能否降低大模型算力需求？ - 飞书文档- Feishu
https://docs.feishu.cn/v/wiki/PLCHwQ8pai12rEkPzDqcufWKnDd/adLoRA 是通过低秩矩阵分解，在原始矩阵的基础上增加一个旁路矩阵，然后只更新旁路矩阵的参数。 参考资料. LoRA paper · 大模型轻量级微调（LoRA）：训练速度、显存占用分析.