如何理解Transformer中的Self-Attention机制？ - 飞书文档
https://docs.feishu.cn/v/wiki/SjjKwIqSDiNFdQkiLADcQZ3jnOf/aa我们知道，对于向量xi x_i 和xj x_j ，其内积<xi,xj> <x_i,x_j> **表征一个向量在另一个向量上的投影，即两个向量的相似关系。 ... 例子是英语翻译），解码 ...
飞搜侠
热门搜索
How to Parallelize Self-Attention? - 飞书文档
https://docs.feishu.cn/v/wiki/SyROwpjaziB2tfkDImhcNzgCnts/a6比如在上面这个例子中， “ 鸿” 字对理解“ 鹄” 字的作用最大，而“ 之” 字的作用 ... 投影，增强了表达能力，提高了泛化能力。 为什么采用点积模型而不采用加性模型 ...
LLM推理入门指南②：深入解析KV缓存 - 飞书文档
https://docs.feishu.cn/article/wiki/K8WxwbKRDi22Y3kwjt7cK0fonVd举个例子，想象一下你开发了一个聊天机器人应用（ *https://newsletter ... 现在，通过采用上述公式并逐个检查其各项，我们来看看可以减少KV缓存内存占用的所有 ...
第四天：LLM训练理论和实战
https://docs.feishu.cn/article/wiki/KxSRwQf4Ri918Xk7Bqecj5ZwnIh2024年2月12日 ... 总览介绍. 模型/训练/推理. 深度学习领域所谓的“模型”，是一个复杂的数学公式构成的计算步骤。为了便于理解，我们以一元一次方程为例子解释：. y = ax + ...
数据集对LoRA技术到底有多重要？如何体现？ - 飞书文档
https://docs.feishu.cn/v/wiki/BqdEwiMzHiA2iRkOjsKcyAwlneb/ak如果能知道在投影层使用LoRA 对训练结果是否有益，那么我们就可以更好地优化模型 ... 正如上图中的公式所示，LoRA 权重的值越大，影响就越大。 在之前的实验中 ...
Linformer能真正将复杂度降到线性吗 - 飞书文档
https://docs.feishu.cn/v/wiki/PpwpwshMmiaDojkj0JGcUm2Wnsb/aj傅里叶变换的公式如下，从公式中可以看出，傅里叶变换生成的每个元素，都是原始 ... 可以针对输入嵌入的每个线性投影(例如timemixing 中的R、K、V，以及channel ...
装置艺术的参考公式有哪些？ - 飞书文档
https://docs.feishu.cn/v/wiki/ZQP4wihTDiQSdrkzY7wchuKUnWf/ai多样化的艺术风格，可以采用对应的装置艺术艺术家来强化某些效果，例如草间 ... 投影出了她的影子。 --ar 3:4 --fast --sref 2570201426 1438181005 --style raw ...
Swish激活函数如何提高模型性能？ - 飞书文档
https://docs.feishu.cn/v/wiki/PjoUwaGZtiNeHPkHiifcHptPnme/aj这个导数公式可以用于计算Swish 函数在任意输入x 处的导数值。 - 特点: 平滑 ... 投影首先通过一个sigmoid函数。测试了GLU的不同变体在Transformer序列到序列模型 ...
大雨：简单易懂的向量数据库解析：你需要了解的一切 - 通往AGI之路
https://waytoagi.feishu.cn/wiki/A7dUw1m2iiw3FikWoVMcGGaonhc?from=lark_search_qa&ccm_open_type=lark_search_qa案例：电影网站用户希望找到类似于 ... 公式来做，理解上还可以通过降维的方式来，比如投影之类的方法。 ... 这里例子里面，我们看到了文字转换成向量的结果，它 ...
特征去噪：能否有效抵御对抗样本攻击？ - 飞书文档
https://docs.feishu.cn/v/wiki/DVgaw9FSBitbohk12iAcswmcnCd/ad投影梯度下降法（PGD, Project Gradient Descent）攻击是一种迭代攻击，可以看 ... 例如下面这个例子。REVISE 发现，在“风琴”类别中，男性更多的是在演奏乐器，而 ...