（8）LLM模型量化世界观(上) - 飞书文档
https://docs.feishu.cn/article/wiki/YTWSwt0wHi3GNqkuNUfcGa51ngg2024年3月10日 ... 一般的量化方法是一次性把整个\mathbf{w}_0变成\mathbf{w}_q，但如果我们考虑逐个元素转化的话，不妨假设当前选中了第k个元素做量化。此时问题转化为，当对第 ...
飞搜侠
热门搜索
LLM模型量化：Activation+Weight量化之ZeroQuant - 飞书文档
https://docs.feishu.cn/v/wiki/X9BSwZMFyizeAkkGWc5cqWu1ndh/a82024年6月6日 ... 需要注意这里的shortcut分支，接DeQuant在转换回到fp32/fp16的时候把系数还原回去。 ... K},\quad k=1,\cdots,K. 有了全局的截断值t 之后，就可以算出 ...
Why Use Different Weight Matrices for Q and K in Self-Attention?
https://docs.feishu.cn/v/wiki/SyROwpjaziB2tfkDImhcNzgCnts/a8将词转化成embedding向量. Q，K，V 向量计算. 根据embedding 和权重矩阵，得到Q，K，V. Q：查询向量，目标字作为Query. K：键向量，其上下文的各个字作为Key. V：值向量 ...
截断采样的原理与方法 - 飞书文档
https://docs.feishu.cn/v/wiki/U1BywrrxTibXOAkqF5Yc2uWynRh/a22024年6月4日 ... ... 系数相关，此时对于λx<i \lambda_{x<i} 的选取，有两种方式. λ ... k(k+1)\tag{4}\end{align*}. 我们先关注第一项，即. (5)S≜∑t=0k−1αt(1 ...
（7）LLM分布式训练面面观 - 飞书文档
https://docs.feishu.cn/article/wiki/IKrdwdaFSizOSTk1iracN234nrg2023年7月8日 ... ... 系数$K $不一样，例如adam的话是$12\Psi $. parameters(fp32): $4\Psi=6GB ... 转换既可，即Resharding。但是注意这里跟layout 转换出现内存重排 ...
（3）ChatBot是怎么炼成的? - 飞书文档
https://docs.feishu.cn/article/wiki/HRnLw588DiTDLPkSTXCcKit8nbD2023年7月8日 ... ... {k}}{C_n^k}] $. 其中：. - $C_{n-c}^{k} $ 代表选取的$k $ 个全部不通过的 ... PPO是指第三项系数$\gamma $为0，前两项系数不为0的情况. 此外RM训练 ...
时间序列分解：理解其构成要素 - 飞书文档
https://docs.feishu.cn/v/wiki/wikcnwjfUgFYZ7YxgiWaNh7Rylb/a5这里的C 称为曲线的最大渐近值， k 表示曲线的增长率， m 表示曲线的中点。当C=1,k=1,m=0 时，恰好就是大家常见的sigmoid 函数的形式。 **分段线性函数的趋势项是趋势 ...
多头注意力机制如何进行矩阵拆分？ - 飞书文档
https://docs.feishu.cn/v/wiki/M9hkw6GwHiFdAxkak6fc86prnYB/alunsqueeze\(1\) 计算用于控制正余弦的系数，确保不同频率成分在d\_model维空间内 ... k\) k = self\.w\_ks\(k\)\.view\(batch\_size, len\_k, n\_head, d\_k\) v ...
Deploy007 Attention - 飞书文档
https://docs.feishu.cn/article/wiki/VHrqwDNooiwFnYkbPpmcSNH8nHH聚焦的过程体现在权重系数的计算上，权重越大越聚焦于其对应的Value值上 ... K）和值（V）均来自编码器同一序列，实现编码器序列内部的注意力计算，计算上下文 ...
ComfyUI的SDXL工作流是怎样的？ - 飞书文档
https://docs.feishu.cn/v/wiki/JoDRwnWz6iOi3SkYMxwcDycInkh/ah... 系数缩放节点，系数选择0.5就行了或者增加一个图像缩放的节点，可以自定义想要的分辨率. 潜空间放大（Lantent放大）. K ... 换算下来一张照片的成本在5块钱左右，而我们嘉定 ...