想提高LLM推理速度？你是否清楚KV缓存内存占用的优化？ - 飞书文档
https://docs.feishu.cn/v/wiki/BuUZwPExniwmPzkKVBocUATdnYg/ac本文是该系列文章的第三篇，作者的观点是：多头注意力（MHA）模型的KV 缓存确实会消耗大量GPU 内存，并且很容易增长到比模型权重还大的规模， KV 缓存大小的控制对于优化大模型的 ...
飞搜侠
热门搜索
从资源占用看RAG与Long - Context的差异与联系 - 飞书文档
https://docs.feishu.cn/v/wiki/CuK2wWt5SiOANikQLZ6c27pZnse/a9但大模型随着输入长度越长， **KV Cache所占资源就越多**，成本也会剧增，这也是为什么有人持观点，未来也会有RAG。
大模型推理内存管理之CachedAttention/MLA - 飞书文档
https://docs.feishu.cn/v/wiki/POYNwdkaRiQCtWkY6D4c4NcQnCd/ad2024年7月5日 ... 聊聊大模型推理内存管理之CachedAttention/MLA · 图解序列并行云台28将（上篇） · 站在AI Scale-Up域的一个岔路口 · LLM分离式推理可能带来的软硬件变革的迷思.
显存占用主要分为哪两部分？ - 飞书文档
https://docs.feishu.cn/v/wiki/LxYGwaCdkiTbTQkOhuicExX2nVc/ah大模型（LLM）在训练时往往需要大量内存来存储中间激活、权重等参数，百亿模型甚至无法在单个GPU 上进行训练，使得模型训练在某些情况下非常低效和不可能。这就需要进行多卡， ...
如何优化LLM推理的显存管理？ - 飞书文档
https://docs.feishu.cn/v/wiki/SterwrHAKi7TErkXgSMcVJEHnRg/a9**batch_size **: KV Cache 与batchsize 度呈线性关系，随着batch size 的增大，KV cache 占用的显存开销快速增大，甚至会超过模型本身。 ... 大降低了内存占用。
大模型的开发训练与推理部署 - 飞书
https://v11enp9ok1h.feishu.cn/wiki/RZpvwSUtiinb1JkJ7pkcVxyUnZg... 内存优化 的ZeRO-Offload方法，即通过将数据和计算从GPU 卸载到CPU，以减少神经网络训练期间GPU 内存占用的方法。. . . . . 附件不支持打印. 加载失败， 点击重 ...
大模型开发训练中的内存优化方法 - 飞书文档
https://docs.feishu.cn/v/wiki/RZpvwSUtiinb1JkJ7pkcVxyUnZg/a3大模型推理往往面临显存占用过多、计算规模庞大、输入输出变长等挑战，这些也是大模型应用落地要重点解决的问题。 在充分考虑大模型结构特性基础上，可以从模型压缩、推理 ...
LoRA技术：节省计算资源的奥秘 - 飞书文档
https://docs.feishu.cn/v/wiki/UTOzwjQTliLhyYkfEmWcE4hYnSh/a1我推测r 值过大将导致过拟和，而r 值过小，模型可能无法捕捉数据集中多样化的任务。我怀疑数据集中的任务类型越多，所需r 值就越大。例如，如果我仅需要模型执行基本的两位 ...
大模型中LoRA微调如何降低推理显存占用？ - 飞书文档
https://docs.feishu.cn/v/wiki/CHL6wLgfyikSaOkDqIlclr9ynwg/a2在5.2节，我们估算了大模型的推理显存占用。一个经验公式是，如果使用Adam优化器，微调需要的显存约为推理的4倍：微调环节，我们需要保存梯度（ ...
流水并行会减少激活的内存占用吗？ - 飞书文档
https://docs.feishu.cn/v/wiki/JgmpwQbhhiyNLQkTKbtcCDilnUf/ah严格来说，你可以使用任意数量的token训练Transformer模型。然而，训练的token数量会对计算成本和最终模型的性能产生很大影响，因此找到一个合适的平衡点非常重要。