第四天：LLM训练理论和实战
https://docs.feishu.cn/article/wiki/KxSRwQf4Ri918Xk7Bqecj5ZwnIh2024年2月12日 ... 在加上非线性部分后，这个公式就可以按照一个复杂的曲线（而非直线）将对应的x映射为y。在LLM场景中，一般a、b和输入x都是复杂的矩阵，σ是一个复杂的指数函数， ...
飞搜侠
热门搜索
LLM推理的极限速度 - 飞书文档
https://docs.feishu.cn/article/wiki/W6qBwpaMRi7EMJkrJBscYaNhndc在不深入研究具体使用的公式和矩阵的情况下，我们看看像Mistral 7B这样72亿参数的模型。 参数组成如下：. 嵌入矩阵有4096 * 32000 = 1.31亿个参数；该矩阵不用于矩阵-向量乘法 ...
AI辅助在独立游戏开发中的“踩坑”经验——《玩具帝国》 - 飞书文档
https://docs.feishu.cn/article/wiki/KuObwMHLMimTvxkMcd9c7Arjn1M推公式还是要一步步推的，希望以后有个AI帮我把这部分工作也做了。 为了让每次输入的向量等长，在观察时，场上的三条路被分成了许多块，在每一块上，统计在其上单位的 ...
深入理解NLP的中文分词 - 飞书文档
https://docs.feishu.cn/article/wiki/RSUgwDtVziDomOkMTC4cxKySn7g最大匹配法、词总数最少法和概率最大法都基于每个词自身的属性，完全没有考虑词的 ... pi向量. HMM的求解：. 先确定初始概率. 遍历DAG，计算概率值. 选择概率值最大的 ...
Quanto：PyTorch量化工具包的功能与应用 - 飞书文档
https://docs.feishu.cn/v/wiki/VIwfwas84i0n5PkQM9LckN67nPe/ad例如，旋转位置嵌入(RoPE)通过旋转矩阵编码绝对位置并结合自注意力公式中的明确相对位置依赖性。 ... 向量内部（dim=1）操作。最后，探讨了在CV数据中BatchNorm2d和 ...
特征去噪：能否有效抵御对抗样本攻击？ - 飞书文档
https://docs.feishu.cn/v/wiki/DVgaw9FSBitbohk12iAcswmcnCd/ad关于隐私保护相关的法律，我国有以三法为核心的网络法律体系，为数字时代的 ... 向量， j 代表向量维度的一维。 (1) 的目的是将添加噪声之后的置信度与原置信度之 ...
【LLM】从零开始训练大模型 - 飞书文档
https://docs.feishu.cn/v/wiki/VhqZwf34riSekcksULFcx6K3nDg/a3BPE 不是按照中文字词为最小单位，而是按照unicode 编码作为最小粒度。 对于 ... 上述公式源自[ 这篇paper ]，代码中实现也普遍采样该公式。 以下是[ trl ] 中对 ...
多模态模型的实现与发展 - 飞书文档
https://docs.feishu.cn/v/wiki/MoJxwYTLxitweakOM98cCNZqnzb/a72025年6月30日 ... ... 向量量化进行编码与生成。每种模型的技术细节都被突出描述，包括它们如何 ... 训练模型算力的单位：FLOPs、FLOPS、Macs 与估算模型（FC, CNN ...
大语言模型检索增强生成（RAG）综述 - 飞书文档
https://docs.feishu.cn/article/wiki/RnOEwBYzjiPXy9kZVbBcSz0Encg... 向量索引。其次，RAG 根据块与查询和索引块的向量相似性来识别和检索块。最后，该 ... 检索单位从标记（例如，kNN-LM [Khandelwal et al.，2019]）到短语（例如 ...
MLP的神经元是如何工作的？ - 飞书文档
https://docs.feishu.cn/v/wiki/Af76wZbh4i4YvtkOkDvc56D2nZc/ai... 单位向量。 让多元函数的所有参数都沿着梯度的正方向走，我们称之为梯度上升 ... 但其实不懂这个公式的具体含义，丝毫不影响理解卷积神经网络！本文档不会很详细 ...