大模型推理框架的性能对比如何 - 飞书文档
https://docs.feishu.cn/v/wiki/RZpvwSUtiinb1JkJ7pkcVxyUnZg/ak与其他框架（HF、TGI）的性能对比. vLLM 的吞吐量比HF 高14 - 24 倍，比TGI 高2.2 - 2.5 倍。
飞搜侠
热门搜索
模型训练速度的对比与分析 - 飞书文档
https://docs.feishu.cn/v/wiki/PlMjwHppwiS4EekwnFZcPD8cnd8/a2AI != 模型训练。推理市场很大。 框架的核心需求：易用性高、性能好。 推理和训练，基本是2 套框架了。这就是“专业”。 训练强调开发效率（易用性），比如tensorflow ...
大模型LLM推理框架整理 - 飞书
https://agijuejin.feishu.cn/wiki/UllzwvbjWi41mVkY4gDcOyiYnEd大模型LLM推理框架整理 · vLLM · 代码仓库 · 主要特性 · 通过PagedAttention对KV Cache 的有效管理 · 传入请求的continus batching，而不是static · 支持张量并行推理 · 支持流式 ...
大模型LLM推理框架整理 - 飞书文档
https://docs.feishu.cn/article/wiki/UllzwvbjWi41mVkY4gDcOyiYnEd与其他框架（HF、TGI）的性能对比. vLLM 的吞吐量比HF 高14 - 24 倍，比TGI 高2.2 - 2.5 倍。 HuggingFace TGI. Text Generation Inference ...
vLLM与其他LLM库的吞吐量对比 - 飞书文档
https://docs.feishu.cn/v/wiki/JwqLwU8dDipwMfkJM7LcjTApnMd/a8... 推理，以及通过智能的数据分发策略进行计算，不仅进一步提高了显存利用率，还减少了GPU设备间的同步开销。这些策略综合提升了VLLM框架处理大规模模型时的效率和性能。
LLM推理引擎的延迟情况：TensorRT、vLLM、LMDeploy和MLC
https://docs.feishu.cn/v/wiki/AoqSwwlCsiKC6pk40s5cIKqAnwc/agTensorRT INT8模型在推理速度上优于HF模型和TensorRT模型，而TensorRT模型在总结任务上表现更好，ROUGE得分最高。可以看到这几个推理引擎都要比使用HF模型的速度快2倍左右，这 ...
LLM推理的极限速度是多少？ - 飞书文档
https://docs.feishu.cn/v/wiki/K0CvwFTFLiZFDokhN4rcfMw0nnh/a14这个模型不仅打败了一众开源大模型、成为百亿级代码大模型中最强，还有特别的优势：一改传统的“刷题式”代码生成，它专门针对企业级软件项目，在真实开发场景下效果最好——代码 ...
大模型应用框架：LangChain与LlamaIndex的对比选择 - 飞书文档
https://docs.feishu.cn/article/wiki/CynKwkknSiwa8tksSlicKeqTn9bLlamaIndex 能够与大型语言模型（LLM）结合使用，在推理过程中提供与上下文相关的数据，从而提升应用程序性能。具体应用如：. 智能搜索：通过LLM 使用索引数据来提供更 ...
LLM（十八）：LLM 的推理优化技术纵览 - 飞书文档
https://docs.feishu.cn/article/wiki/VzYYwkCDGifRcOk5XbzcFxcSnQfFlashAttention-v2 在原基础上做了改进，使其在算法、并行化和工作分区等方面都有了显著改进，对大模型的适用性也更强。在A100 上性能数据如下：. FlashDecoding 是在 ...
LLM推理入门指南③：剖析模型性能 - 飞书文档
https://docs.feishu.cn/article/wiki/J329wlyDOi2pVGkRhY3cHq9yn3f执行模型的反向或正向传播涉及运行多kernel的执行（~ GPU函数调用）。所有kernel 都在相同的模式下运行是不可能实现的。问题的关键在于确定大部分执行时间都花在哪个模式上 ...