向量Embedding如何表示非结构化数据？ - 飞书文档
https://docs.feishu.cn/v/wiki/IwyfwYWbCic7ydkTFyqc4KBJnBe/ai2023年9月19日 ... 余弦相似度公式. 在Python中，这看起来像 def cosine_similarity(a, b): return np.dot(a, b)/(norm(a)*norm(b)). 在我们的查询向量和上图中的其他三个向量 ...
飞搜侠
热门搜索
LLM推理入门指南②：深入解析KV缓存 - 飞书文档
https://docs.feishu.cn/article/wiki/K8WxwbKRDi22Y3kwjt7cK0fonVd共有t个查询向量、t个键向量和t个值向量。 对于每个查询，我们生成一个输出向量 ... 多头注意力（MHA）模型的KV缓存每个词元的内存消耗（以字节为单位）如下图所示：.
Transformer模型训练成本的计算公式 - 飞书文档
https://docs.feishu.cn/v/wiki/JgmpwQbhhiyNLQkTKbtcCDilnUf/a2C是对总计算量的度量，可以用多种单位来表示。例如：. Actual FLOPs是一个值得 ... 化模型性能，你就应该使用上面提到的公式。 **我们不建议训练小于200B个token的 ...
第四天：LLM训练理论和实战
https://docs.feishu.cn/article/wiki/KxSRwQf4Ri918Xk7Bqecj5ZwnIh2024年2月12日 ... 在加上非线性部分后，这个公式就可以按照一个复杂的曲线（而非直线）将对应的x映射为y。在LLM场景中，一般a、b和输入x都是复杂的矩阵，σ是一个复杂的指数函数， ...
LLM推理的极限速度 - 飞书文档
https://docs.feishu.cn/article/wiki/W6qBwpaMRi7EMJkrJBscYaNhndc现在，矩阵-向量乘法和注意力计算都有一个重要的特点：对于从矩阵或KV缓存中读取的每个元素，我们需要执行少量的浮点运算。矩阵-向量乘法对每个矩阵元素执行一次乘加运算（2 ...
AI辅助在独立游戏开发中的“踩坑”经验——《玩具帝国》 - 飞书文档
https://docs.feishu.cn/article/wiki/KuObwMHLMimTvxkMcd9c7Arjn1M推公式还是要一步步推的，希望以后有个AI帮我把这部分工作也做了。 为了让每次输入的向量等长，在观察时，场上的三条路被分成了许多块，在每一块上，统计在其上单位的 ...
Transformer的不可能三角是什么 - 飞书文档
https://docs.feishu.cn/v/wiki/PpwpwshMmiaDojkj0JGcUm2Wnsb/a9看到多头机制，我们可能会比较自然想到CNN 中的多通道，这样可以实现更好的**并行化效果**，那么除此之外是否还存在更深层次的原因呢？ 根据原文观点， **将隐状态向量分成多 ...
陶哲轩对AI在数学领域未来的看法在奇绩大模型日报中有何体现？
https://docs.feishu.cn/v/wiki/DbWDwHUNai8T22kQR1kclonEnFc/adnGPT的关键技术在于将所有向量（嵌入、MLP、注意力矩阵、隐藏状态）归一化为单位范数，使其位于超球面上。 ... UCT通过置信区间上界（UCB）的公式，结合节点的均值和标准 ...
Quanto：PyTorch量化工具包的功能与应用 - 飞书文档
https://docs.feishu.cn/v/wiki/VIwfwas84i0n5PkQM9LckN67nPe/ad搞懂CUDA Shared Memory 上的bank conflicts 和向量化指令（LDS.128 / float4）的 ... 例如，旋转位置嵌入(RoPE)通过旋转矩阵编码绝对位置并结合自注意力公式中的明确相对位置 ...
大语言模型检索增强生成（RAG）综述 - 飞书文档
https://docs.feishu.cn/article/wiki/RnOEwBYzjiPXy9kZVbBcSz0Encg... 向量化块之间的相似性分数。系统优先考虑并检索与查询表现出最大相似性的前K 个块 ... 检索单位从标记（例如，kNN-LM [Khandelwal et al.，2019]）到短语（例如 ...