101N0202 Micrograd C++ 代码自发实现 - 飞书文档
https://docs.feishu.cn/article/wiki/BY4rwy6jKibibAkkQQTcZxnEnoc... 乘得到一个结果c = a×b 。当我们稍微改变a或b时，c也会发生变化。梯度告诉 ... 当我们计算c的梯度时，a的变化会影响c，并且影响的大小是$b \cdot a^{b-1} $. 所以 ...
飞搜侠
热门搜索
llama.cpp：高效推理的开源库 - 飞书文档
https://docs.feishu.cn/v/wiki/XrzMwhg7wiItRBktwn9ctV8qnwh/ae2024年2月24日 ... 量化是什么. 前文中我们提到，模型的推理过程是一个复杂函数的计算过程，这个计算一般以矩阵乘法为主，也就是涉及到了并行计算。
C++数据类型在核函数计时中重要吗？ - 飞书文档
https://docs.feishu.cn/v/wiki/KFhQwIkbAi44Sukp8PVc87NxnAd/ad... C) // 在设备上计算{ // int i = threadIdx.x; // 获取线程索引int i = blockIdx ... 乘以2的24次方printf("Vector size %d\n", nElem); // 打印vector大小 ...
T-MAC技术细节：新计算范式提升性能 - 飞书文档
https://docs.feishu.cn/v/wiki/ROmJwP7I9ibPVKkiZl1cYWYkn3b/a5这是因为查找表需要保存激活向量与所有可能的位模式相乘的结果，这比激活本身要多得多。 **△**T-MAC与llama.cpp在计算数据流上的不同. 为此，微软亚洲研究院的研究员们 ...
算子Kernel 优化 - 飞书
https://deep-learning.feishu.cn/wiki/MAPgwoidBiQcEUk3jn1cn6lSnRe3. SASS 指令。c++ API 和ptx 最终都翻译成sass 指令. .
CUDA中的基本概念：thread, block, grid等 - 飞书文档
https://docs.feishu.cn/v/wiki/UQj6wr7xbi6MqtktrCbc7Ls5nbd/a4这种联合执行的需要已经在最新的集中编程模型（OpenCL，OpenACC，C++ AMP）中体现出来了。 2.并行编程语言和模型解析：使用比较广泛的是为可扩展的集群计算设计的消息传递接口（ ...
Intrinsic Function如何无缝衔接C++语言？ - 飞书文档
https://docs.feishu.cn/v/wiki/RZriwDzq0ifbyxkHCXQc67DlnKf/ad图灵机，计算所有可计算的问题。 能simulate 图灵机的，就满足图灵完备性。 第一 ... 整数融合乘加运算. AVX512_VBMI. 附加向量字节指令集. AVX512_VNNI. 向量神经 ...
Nvidia TensorCore - 飞书
https://deep-learning.feishu.cn/wiki/PnYmw4KcdiPBphkJBFdcqdDxnke?fromScene=spaceOverviewC++ 复制. template<typename Use, int m, int n, int k, typename T, typename ... 硬件实现的矩阵乘法流水线确保了计算过程的连续性和高效性，使得GPU能够更快地 ...
大模型AI Compiler入门材料全解析：技术栈、模型、并行、编译器等
https://docs.feishu.cn/v/wiki/DIxDwbd4Ki8fcskaT9Nc0wQznub/a1计算matmul 的MACs（multiply-accumulate，乘加） 指令数量，估算占整个 ... 画个图，写出A、B、C 矩阵拆分前后的详细shape、计算公式。 拆分后，需要合并回 ...
4月AGI技术月报下篇 - 飞书文档
https://docs.feishu.cn/article/wiki/OD5cw71Q5i1jiukvT5CcYKsente... 计算绑定的矩阵乘法时表现尤为突出。然而，当将CUTLASS的核心绑定到Python ... 文章详细介绍了如何使用NVML进行GPU管理，包括通过C/C++和Python接口进行调用。在 ...