大模型中LoRA微调如何降低推理显存占用？ - 飞书文档
https://docs.feishu.cn/v/wiki/CHL6wLgfyikSaOkDqIlclr9ynwg/a2在5.2节，我们估算了大模型的推理显存占用。一个经验公式是，如果使用Adam优化器，微调需要的显存约为推理的4倍：微调环节，我们需要保存梯度（ ...
飞搜侠
热门搜索
轻量化微调能否降低大模型算力需求？ - 飞书文档
https://docs.feishu.cn/v/wiki/PLCHwQ8pai12rEkPzDqcufWKnDd/ad相较于预训练所需的海量数据，指令微调所需数据量显著减少，从几十万到上百万条不等的数据，均可有效激发模型的通用任务解决能力，甚至有研究表明，少量高质量的指令数据（数千至 ...
如何降低大模型训练的硬件资源消耗？ - 飞书文档
https://docs.feishu.cn/v/wiki/PegewHgQ9idDnUkNr3bc4F3Fnbb/am背景我们日常所认识的「大模型」都是经过微调之后得到的。大 ... 基座大模型LLaMA2 模型代码内容的占 ... 使用LoRA 高效微调的方式可以有效降低模型训练使用硬件资源。
零阶优化器如何降低大模型微调内存开销？ - 飞书文档
https://docs.feishu.cn/v/wiki/SsF2w3FwKiJ8DOkcaTAcR35dnMc/a7我们的研究不仅揭示了这些方法在精度和效率方面的表现，还深入探讨了任务对齐和前向梯度的关键作用。利用这些实验分析，我们提出了诸如分块优化、零阶与一阶混合训练、梯度 ...
大模型微调之模型选择指南 - 飞书文档
https://docs.feishu.cn/v/wiki/V1WowewP1iLXjxk0sDgcO1Wlnke/a2与LORA类似，也是原有模型参数冻结，新增训练参数；但是参数增加的方式和位置不同。 上述方法的理论知识不必深究，只需了解其各自特点即可。 全量参数微调，显存占用高，且容易 ...
LoRA技术：节省计算资源的奥秘 - 飞书文档
https://docs.feishu.cn/v/wiki/UTOzwjQTliLhyYkfEmWcE4hYnSh/a1QLoRA 是一种在微调过程中进一步减少内存占用的技术。在反向传播过程中 ... LoRA 允许我们在单个GPU 上微调7B 参数规模的大语言模型。在这个特定情况下，采用 ...
DeepSpeed如何加速Bloom lora微调？ - 飞书文档
https://docs.feishu.cn/v/wiki/LxYGwaCdkiTbTQkOhuicExX2nVc/ad大模型（LLM）在训练时往往需要大量内存来存储中间激活、权重等参数，百亿模型甚至无法在单个GPU 上进行训练，使得模型训练在某些情况下非常低效和不可能。这就需要进行多卡， ...
想提高LLM推理速度？你是否清楚KV缓存内存占用的优化？ - 飞书文档
https://docs.feishu.cn/v/wiki/BuUZwPExniwmPzkKVBocUATdnYg/ac本文是该系列文章的第三篇，作者的观点是：多头注意力（MHA）模型的KV 缓存确实会消耗大量GPU 内存，并且很容易增长到比模型权重还大的规模， KV 缓存大小的控制对于优化大模型的 ...
LoRA能否真正解决模型微调中的问题？ - 飞书文档
https://docs.feishu.cn/v/wiki/TgTfwj1a3iOkGmk7cX7c2d2CnBg/ag最终我们仍然需要对模型本身进行微调,增强大模型本身的专业领域知识能力,来实现对专业领域等特殊场景的支持. 如何高效的微调这一问题,随着谷歌的研究人员在发布了论文《 ...
高效微调 - 飞书文档
https://docs.feishu.cn/article/wiki/FnGMwW3w6ig6atk6gGScLy7wn4fDreamBooth. 训练效果最好，内存占用大，训练速度慢. DreamBooth 训练已有的difussion 模型直到其理解新的概念 ...