LLM推理入门指南②：深入解析KV缓存 - 飞书文档
https://docs.feishu.cn/article/wiki/K8WxwbKRDi22Y3kwjt7cK0fonVd这种缓存方案也就是KV缓存，是LLM推理过程中的一种常用优化方式，使得（自）注意力机制的计算需求在总序列长度（提示+ 生成的完成部分）上线性扩展，而不是呈二次方扩展。更具体地 ...
飞搜侠
热门搜索
优化CUDA GEMM的双缓冲与Bank Conflict解决 - 飞书文档
https://docs.feishu.cn/v/wiki/CHk5wCTbRiGgjJk43nFcs3TpnRf/af其中包括了基于GPU硬件特性的算法设计，如利用深度学习的算法加速矩阵运算、优化内存访问模式以及利用线程束级并行性等。此外，文章还提到了针对GPU架构的代码优化技巧，包括 ...
Self-RAG：更主动智能的LLM增强方式 - 飞书文档
https://docs.feishu.cn/v/wiki/UgmlwJ6iVio89nk4BCEcTyjtnWg/a3这允许系统为搜索优化文档的版本而不失去答案合成时的上下文。 简单来说就是将 ... 性、完整性、检索片段是否支持输出的观点。模型会基于原有词库和反思字段来 ...
自动提示词工程：提升LLM性能的关键技术
https://docs.feishu.cn/v/wiki/K5NbwjrCXi7o4JkYjLtcbYZAn6g/a52024年9月10日 ... 统一GPU架构：AMD将RDNA（面向消费市场）和CDNA（面向数据中心）统一为新的UDNA架构，目标是通过统一架构提升优化效率，吸引更多开发者。Jack Huynh承认，RDNA架构 ...
AI硬件中的隐私问题，如何解决？ - 飞书文档
https://docs.feishu.cn/v/wiki/PmZlwMnKoiJ1bukFdfdcU51snYd/ac如何解决端侧硬件能耗、存储、算力在AI 硬件使用场景需求下的平衡？ AI native 硬件头脑风暴，对现有产品吐槽，AI native 硬件 ...
【飞行社】 AJ的个人主页 - 飞书
https://www.feishu.cn/community/profile?id=7215609422452719618《深入LLM投机采样(上)》文章详细介绍了LLM部署中的投机采样技术，包括确定性采样、概率性采样、截断采样等基础策略，以及投机采样的数学原理和优化方法。文章旨在提高LLM ...
8月AGI技术月报上篇 - 飞书文档
https://docs.feishu.cn/article/wiki/QoU3wYW99iGlPzkBZZDcbJMonzp未来，对话接口将成为与存储系统交互的趋势，实现通过自然语言获取实时状态和故障信息。AI 的控制路径优化和数据溯源追踪问题也是存储系统需要关注的技术细节。此外，AI 技术 ...
AI Agent系列(二)：Brain模块探究 - 飞书文档
https://docs.feishu.cn/article/wiki/Y69KwsRnViPXgOk8mhHcchiTnHh为此，我们特别开设了这个系列文章，旨在帮助大家系统性地了解智能体，并从中学习跨学科、跨领域的人工智能知识。 我们深知，系统性学习智能体并非易事， ... 优化结果的相关性和 ...
阿里云Multi-Agent框架AgentScope介绍 - 飞书文档
https://docs.feishu.cn/v/wiki/M79Mw0jB0idSz4kAbYXcs0PJn7f/a2基于Actor的分布式机制：AgentScope设计了一种新的基于Actor的分布式机制，实现了复杂分布式工作流的集中式编程和自动并行优化，即用户可以使用中心化编程的方式完成分布式 ...
内容总结— 真格基金闭门会议：一个AI 创业者的反思、观察和预测
https://docs.feishu.cn/article/wiki/TNmxwjA26indv9k8LkrcffSrnMe开放公开数据与易爬数据的价值基本为零。 甚至企业自行设计与收集的数据 ... 性等方面指标的优化。 如果产品经理仍按以前思维去做，可能会严重影响公司。 在AI ...