《大模型成本之计算资源：为何如此昂贵？》 - 飞书文档
https://docs.feishu.cn/v/wiki/F92EwgU1hi42Wtk0GadcCREGngG/a6“烧钱”的大模型：初探成本拆解与推理优化方法. 原文链接：https://mp.weixin.qq.com/s/ek9Z9E-T04BBP7g7rl2Eqw. 作者：** Dmytro Nikolaiev (Dimid)**. 编者按：大模型的 ...
飞搜侠
热门搜索
MoE技术如何节省计算资源？ - 飞书文档
https://docs.feishu.cn/v/wiki/VzYYwkCDGifRcOk5XbzcFxcSnQf/ah计算每个头组装之后的候选的最优解，其实这时候完全可以每个候选都走一次模型，算出概率，但是很显然不可能这样做，因为本来方案是为了加速，作者设计了一种tree ...
越来越火的Serverless（无服务器计算），到底是个啥？ - 飞书文档
https://docs.feishu.cn/article/wiki/UNRwwJDdXizn20kQzsfcUb1bnkd云计算的本质，不是算力资源的简单堆砌，而是池化——它将大量的零散算力资源（廉价的算力资源）进行打包、汇聚，实现更高可靠性、更高性能、更低成本的算力。
惊人算力成本背后，AI混战下如何选择基础设施？ - 飞书文档
https://docs.feishu.cn/article/wiki/C87pwwOvqiDNz5kQ3WncnGq5nBc在这篇文章中，我们试图分解AI公司的成本因素。绝对数字当然会随着时间的推移而变化，但我们并没看到AI公司受算力资源的约束得以快速缓解。下面希望为大家提供一个有用的思考 ...
计算资源昂贵如何影响LLM应用落地 - 飞书文档
https://docs.feishu.cn/v/wiki/RODjw9m07iWR57k2cNdcIV3qnWc/aa2024年3月9日 ... 这位临时工，将会使用他的通用逻辑能力，先去理解目标，写下来、再去拆解任务，写下来，再根据子任务分门别类去查询每个文档，最后再汇总信息得到结果。最终我们 ...
去中心化计算：重构数字世界的分布式革命 - 飞书文档
https://docs.feishu.cn/v/wiki/PiX4wdN3RidOnKk7L6mcglPZnUe/ak去中心化计算（Decentralized Compute）如同数字世界的细胞裂变，正在重塑人类对算力分配的认知范式。这种革命性的计算架构将传统"中心服务器-终端设备"的星型拓扑 ...
资源分配基本思路与加补撤补 - 飞书文档
https://docs.feishu.cn/article/wiki/PUDEwDr1pi0fHQk1o59cykQpnUc2、遍历分配对象，暴力求解法. 背景：上面的基础链路，整体是一个化零为整、逐步拆解 ... 计算对应的ROI，选取其中**ROI 最高的一版本方案； **. 飞书AI 知识问答系统深度 ...
张量并行怎样确保计算正确性和高效性？ - 飞书文档
https://docs.feishu.cn/v/wiki/RLt2wcWY4indgUkM0ZDcDnlInEe/ae张量并行是将神经网络中同一层的张量运算拆分成多个独立的子运算，并相应地 ... 此外，针对大模型训练资源不稳定的问题，设计了弹性资源调度管理机制。当资源发生 ...
“烧钱”的大模型：初探成本拆解与推理优化方法 - 飞书
https://agijuejin.feishu.cn/wiki/F92EwgU1hi42Wtk0GadcCREGngG“烧钱”的大模型：初探成本拆解与推理优化方法 ... 不完整的单词片段（chunks），这些片段（chunks）被 ... 计算资源，这导致训练成本和能源消耗都很高。这一 ...
Planning中的任务拆解：如何实现高效分解？ - 飞书文档
https://docs.feishu.cn/v/wiki/XkWJweD4EiedIkkXdjgcdUCJnod/a7他们用算术作为测试案例，做了一个微调LLM 以调用计算器的实验。他们的实验表明，由于LLM（7B Jurassic1-large 模型）无法可靠地提取基本算术的正确论据，因此解决口算数学问题 ...