大模型推理框架的性能对比如何 - 飞书文档
https://docs.feishu.cn/v/wiki/RZpvwSUtiinb1JkJ7pkcVxyUnZg/ak大模型的高性能训练旨在通过对模型计算、显存、内存和通信的系统级优化，在保证模型收敛性的前提下，提高训练吞吐量，实现在有限资源下大模型高效训练的目的。
飞搜侠
热门搜索
大模型的开发训练与推理部署 - 飞书
https://v11enp9ok1h.feishu.cn/wiki/RZpvwSUtiinb1JkJ7pkcVxyUnZg大模型的开发训练与推理部署 · 1. 数据并行：. . .. 数据并行是每个处理器存储全量的模型参数、梯度和优化器状态，但读取不同的输入数据，在反向计算出参数梯度后，对 ...
大模型推理在智能体和多模型框架中的挑战？ - 飞书文档
https://docs.feishu.cn/v/wiki/K2TlwBwYhi1y9DkOBJUcnHPanxf/a8然而，大语言模型的落地应用受到其较大的推理开销的限制，对部署 ... 下表对比了典型的猜测解码算法。 ... 图注：开源推理框架比较. 2.3.3 知识、建议和未来方向.
模型推理中训练与推理有何不同？ - 飞书文档
https://docs.feishu.cn/v/wiki/O7KFwgCbWi5U7jk33K4cZK55nmc/aaDeploy 知识库共建 ; 大模型架构详解 · Deploy009. 解码相关. topk，topp，beam search. Deploy009 ; 大模型部署框架解析. Deploy010. vLLM. 详细讲讲论文可以. Deploy010 ; 大 ...
SiliconLLM与其他推理框架的性能比较 - 飞书文档
https://docs.feishu.cn/v/wiki/OJsFwQRKjiMo1akvdsxcA4y4nNd/a8原创：是莫尔索公众号：莫尔索随笔原文链接：https://mp.weixin.qq.com/s/Ym6QYBfouJLuyELEqAAeTw GLM-4-9B 有多强智谱家GLM-4-9B 模型的发布，可以称得上大模型开源领域的 ...
LLM推理引擎怎么选？TensorRT vs vLLM vs LMDeploy vs MLC-LLM
https://docs.feishu.cn/article/wiki/AoqSwwlCsiKC6pk40s5cIKqAnwc... 模型，能够高度理解和流畅。但是它们的大尺寸也给推理带来了挑战。有很多个框架和包可以优化LLM推理和服务，所以在本文中我将整理一些常用的推理引擎并进行比较 ...
大模型应用框架：LangChain与LlamaIndex的对比选择 - 飞书文档
https://docs.feishu.cn/article/wiki/CynKwkknSiwa8tksSlicKeqTn9b开发基于大型模型的应用时，选择合适的应用框架不仅能显著提高开发效率，还能增强应用的质量属性。这类似于在Windows上开发传统软件服务时从MFC过渡到.
模型训练速度的对比与分析 - 飞书文档
https://docs.feishu.cn/v/wiki/PlMjwHppwiS4EekwnFZcPD8cnd8/a2模型训练vs 推理部署. 深度学习框架的数量，那可以太多了。 训练框架. TensorFlow, Google. Pytorch, FaceBook. MxNet, Amazon. Caffe, Caffe2. CoreML，苹果，代码保密.
vLLM与其他LLM库的吞吐量对比 - 飞书文档
https://docs.feishu.cn/v/wiki/JwqLwU8dDipwMfkJM7LcjTApnMd/a8由于GPU资源受限，通过高效地使用显存可以相较而言，更好地提升大模型的推理和训练效果。 ... 这些策略综合提升了VLLM框架处理大规模模型时的效率和性能。 在官方的博客 ...
大模型应用开发框架对比：LangChain、LlamaIndex和Haystack的 ...
https://docs.feishu.cn/v/wiki/EQGzwZ4kLiy3IokV4ECcV8senVe/a2因为大模型不具备联网以及处理一些特殊问题的能力，因此它并不能完美处理各种用户的输入，因此我们需要代理function，帮助大模型去处理它处理不了的问题，以此增强大模型的能力 ...