RAG的资源利用率怎样优化？ - 飞书文档
https://docs.feishu.cn/v/wiki/U696wvpo9iIgMqk3qN7c4heHnHc/adF1 值：综合考虑准确率和召回率的平衡指标。 性能指标：. 推理速度：测量模型处理一个或一批输入数据所需的时间，反映其效率。 资源利用率：如计算资源（CPU、GPU 等）的使用情况 ...
飞搜侠
热门搜索
RAG性能提升策略和评估方法（产品视角） - 飞书云文档
https://waytoagi.feishu.cn/wiki/U696wvpo9iIgMqk3qN7c4heHnHcF1 值：综合考虑准确率和召回率的平衡指标。. 性能指标：. •. 推理速度：测量 ... 资源利用率：如计算资源（CPU、GPU 等）的使用情况。. 泛化能力评估：. •. 交叉 ...
5月AGI技术月报下篇 - 飞书文档
https://docs.feishu.cn/article/wiki/GI9KwAwZEi6d1PkRA3XcbbB4nfe... 计算公式展示了如何预估显存需求。此外，文章还讨论了多种并行训练策略 ... Persistent block 技术通过持续驻留在GPU 上，减少了线程占用，提高了计算资源的利用率。
性能问题排查 - 飞书文档
https://docs.feishu.cn/article/wiki/E5LxwxRBriKtrckUZtGcmiOin1f... 使用、NPE、正则表达式、数学计算 ... 通过vmstat查看详细的CPU利用率，用户态CPU利用率较高，若该值长期大于50%，应着重排查应用本身的性能问题。内核态CPU利用率 ...
目标检测中IoU的计算方法是什么 - 飞书文档
https://docs.feishu.cn/v/wiki/VCDLwYIsKiDzSYkGPsgcV7eTned/a8综合评价指标（F1-Measure） ... F-Measure是一种统计量，又称F-Score,也是精确率（Presicion）和召回率（Recall）的加权调和平均，常用于评价分类模型的好坏。 F-Measure数学公式为：.
算法的创新是实现人工智能工程主导地位的 - 飞书文档
https://docs.feishu.cn/v/wiki/AKE5wVx5giZuhqklrUqcaiqonrc/a7另一方面，我们还需要优化计算算法和软件框架，提高计算资源的利用率。例如，分布式计算框架能够将计算 ... 综合能力。同时，企业也需要加强与高校和科研机构的合作 ...
vLLM如何提升GPU利用率？ - 飞书文档
https://docs.feishu.cn/v/wiki/JwqLwU8dDipwMfkJM7LcjTApnMd/ag通过这些努力来缓解GPU资源紧缺的压力，更有效地利用计算资源从而提升大型模型推理的效率和可行性。 vLLM加速推理框架简介. vLLM是一种解决当前GPU资源限制的方案，它是 ...
多模态模型的实现与发展 - 飞书文档
https://docs.feishu.cn/v/wiki/MoJxwYTLxitweakOM98cCNZqnzb/a72025年6月30日 ... ... 计算密集型的Prefill 任务提高资源利用率。Decode Pool 负责自回归流式输出，关注Time Between Tokens (TBT)，采用TBT 而非Time Per Output Token ...
8月AGI技术月报下篇
https://docs.feishu.cn/article/wiki/SvZXw63OmiJSvfkuyHtcPhzFnY5最后，文章还提出了一种更复杂的并行计算方法，即在两张显卡之间分配奇偶层的Linear参数和KV Cache，来进一步优化资源利用率。这种方法虽然增加了通信开销，但有可能通过提高 ...
教育如何为降低生成式AI碳足迹提供人才支持 - 飞书文档
https://docs.feishu.cn/v/wiki/M4cSwrFBmi6NLTkPMBQcLfCAnEh/ai... 计算资源和技术成果。例如，一些大型的科技企业可以将自己闲置的计算资源提供给其他有需要的企业或研究机构，这样可以提高资源的利用率，减少能源的浪费。同时，企业之 ...