llama.cpp：高效推理的开源库 - 飞书文档
https://docs.feishu.cn/v/wiki/XrzMwhg7wiItRBktwn9ctV8qnwh/ae2024年2月24日 ... 量化是什么. 前文中我们提到，模型的推理过程是一个复杂函数的计算过程，这个计算一般以矩阵乘法为主，也就是涉及到了并行计算。
飞搜侠
热门搜索
matmul 算子如何处理批量矩阵？ - 飞书文档
https://docs.feishu.cn/v/wiki/MAPgwoidBiQcEUk3jn1cn6lSnRe/ahBMM 能够同时对一个批量的矩阵进行乘法运算,效率更高。 matmul 只能处理单个矩阵 ... com/cuda/cuda-c-programming-guide/#warp-shuffle-functions constexpr int ...
LLM推理中矩阵与注意力计算 - 飞书文档
https://docs.feishu.cn/v/wiki/W6qBwpaMRi7EMJkrJBscYaNhndc/a2现在，矩阵-向量乘法和注意力计算都有一个重要的特点：对于从矩阵或KV缓存中读取 ... cpp只达到了理论上的100 GB/s带宽的约65%，这表明所引用的峰值带宽只能在 ...
T-MAC技术细节：新计算范式提升性能 - 飞书文档
https://docs.feishu.cn/v/wiki/ROmJwP7I9ibPVKkiZl1cYWYkn3b/a5而T-MAC通过从比特的视角观察低比特矩阵乘计算，只需为单独的一个比特设计最优的 ... **△**T-MAC与llama.cpp在计算数据流上的不同. 为此，微软亚洲研究院的研究员 ...
传统代码如何借力C++26实现AI华丽转身？ - 飞书文档
https://docs.feishu.cn/v/wiki/HiUEw7LpDiP7d0kV5fOcDwecnmh/ae异构计算革命：GPU/TPU/NPU等加速器形成算力矩阵. 动态适应需求：模型训练与推理需要即时编译优化. // 传统C++实现矩阵乘法void matrixMultiply(const vector<vector ...
大模型终端部署新趋势：硬件直接支持混合矩阵乘法
https://docs.feishu.cn/v/wiki/PqoQwXbpni6Ztok4RSkc2JrJn0c/aj无需乘法的通用低比特混合精度矩阵乘计算. 为了让现有硬件设备支持不同的数据模式 ... 与原始的Llama.cpp 框架相比，其提升了4 至5 倍，甚至比专用的NPU 加速器还 ...
4月AGI技术月报下篇 - 飞书文档
https://docs.feishu.cn/article/wiki/OD5cw71Q5i1jiukvT5CcYKsente通过比较CuBLAS和CUTLASS的性能，他发现CUTLASS在自动调整（autotuning）后的性能比CuBLAS高出10%，这在处理大型计算绑定的矩阵乘法时表现尤为突出。 ... C/C++和Python接口进行 ...
CUDA中二维数组的使用方法是什么？ - 飞书文档
https://docs.feishu.cn/v/wiki/UQj6wr7xbi6MqtktrCbc7Ls5nbd/ab这种联合执行的需要已经在最新的集中编程模型（OpenCL，OpenACC，C++ AMP）中体现出来了。 2.并行编程语言和模型解析：使用比较广泛的是为可扩展的集群计算设计的消息传递接口（ ...
软件2.0（Software 2.0） - 飞书云文档
https://waytoagi.feishu.cn/wiki/FFJawIKRpi77JokULCvcjIPBnBv... C++ 等）所开发。 它由程序员写的给计算机的明确指令组成。通过编写每一行代码 ... 矩阵乘法操作要更容易运行在各种计算机环境下。. •. 敏捷开发：如果你在写C++ ...
软件2.0（Software 2.0） - 飞书文档
https://docs.feishu.cn/article/wiki/FFJawIKRpi77JokULCvcjIPBnBv2017年11月12日 ... ... C++代码库为代表）相比的好处，对于软件2.0：. 同质化计算：一个典型的神经网络仅由两种操作组合而成：矩阵乘法和线性整流函数（ReLu）。传统软件里的 ...