RAG的资源利用率怎样优化？ - 飞书文档
https://docs.feishu.cn/v/wiki/U696wvpo9iIgMqk3qN7c4heHnHc/ad... ：牛大局原文：RAG性能提升策略和评估方法（产品视角） 一、前言相信经过一年的知识沉淀，RAG 是 ... 资源利用率：如计算资源（CPU、GPU 等）的使用情况。 泛化能力评估：. 交叉验证 ...
飞搜侠
热门搜索
LLM推理入门指南③：剖析模型性能 - 飞书文档
https://docs.feishu.cn/article/wiki/J329wlyDOi2pVGkRhY3cHq9yn3f一些已经讨论过的优化方法也可以增加算术强度，从而提高吞吐量和资源利用率。对于Transformer模型（其解码阶段受内存带宽限制），通过操作融合和数据（权重矩阵、KV ...
资源池化怎样实现资源的高效调配？ - 飞书文档
https://docs.feishu.cn/v/wiki/ZD5Qwbo3uiqcBakqmnNcvekenrh/ak早期的计算机系统设计是为了满足单一任务的需求，因此硬件资源的利用率相对较低。随着计算需求的增长和技术的进步，人们开始寻找更有效的方法来利用这些昂贵的硬件资源。虚拟 ...
多模态LLM如何减少计算资源消耗 - 飞书文档
https://docs.feishu.cn/v/wiki/SjvIwleDNiEvxwk7ygzcUanfneb/ad根据Chinchila的scaling law，要达到最优的计算利用率，65B模型对应的训练t0ken ... 一般采用启发式方法，制定一系列规则删除任何具有过多行、段落或n-gram重复的 ...
vLLM如何提升GPU利用率？ - 飞书文档
https://docs.feishu.cn/v/wiki/JwqLwU8dDipwMfkJM7LcjTApnMd/ag这些模型需要大量的计算资源进行训练和推理，而GPU因其并行处理能力成为首选硬件。 **市场供应限制： **GPU的市场供应受到多种因素的限制，包括生产能力、原材料成本、市场 ...
性能问题排查：从代码到系统资源全方位解析
https://docs.feishu.cn/v/wiki/E5LxwxRBriKtrckUZtGcmiOin1f/a1... 使用、NPE、正则表达式、数学计算 ... 通过vmstat查看详细的CPU利用率，用户态CPU利用率较高，若该值长期大于50%，应着重排查应用本身的性能问题。内核态CPU利用率 ...
如何解决数据并行中的利用率问题？ - 飞书文档
https://docs.feishu.cn/v/wiki/IwBmw43EMiKJ0NkGRJ4cUvGcnxf/ac关于并行计算，笔者在之前的文章中都比较分散地谈及过，但都不够系统和全面。本期我们将围绕LLM 的计算方法，探讨其不同层次的并行计算的思想和原理，结合并行计算的基本理论和 ...
算子融合如何提升LLM推理性能？ - 飞书文档
https://docs.feishu.cn/v/wiki/SterwrHAKi7TErkXgSMcVJEHnRg/aaKV cache的峰值显存占用大小计算公式**：2 **x **Length **x **batch_size ... 计算资源负载动态变化，导致GPU 资源利用率低. 通过维护一个作业队列实现,在batch ...
5月AGI技术月报下篇 - 飞书文档
https://docs.feishu.cn/article/wiki/GI9KwAwZEi6d1PkRA3XcbbB4nfe... 计算公式展示了如何预估显存需求。此外，文章还讨论了多种并行训练策略 ... Persistent block 技术通过持续驻留在GPU 上，减少了线程占用，提高了计算资源的利用率。
AI算力 - 飞书文档
https://docs.feishu.cn/article/wiki/EWaTwyZ6di4S1bkgRxLcOeYVnNg这种方法不仅减少了单个模型的算力资源消耗，还提高了整体的资源利用率。 通过端 ... 不断优化算法和模型，降低计算复杂度和内存占用，提高计算效率是另一个重要方向。