LLM推理的算子融合与高性能算子 - 飞书文档
https://docs.feishu.cn/v/wiki/SterwrHAKi7TErkXgSMcVJEHnRg/a3x^3 -> x*x*x: c语言中x*x和pow(x,2)哪个计算更快一点？ rsqrt: Why ... 最后，我们再计算与A 和B 的最大绝对值向量的外积，并将此与C 求哈达玛积来反量化回FP16。
飞搜侠
热门搜索
CS143 编译原理：Compiler 的5 个阶段 - 飞书文档
https://docs.feishu.cn/v/wiki/OZcLw0Wj7igZEekx65XcYwDInge/a1注：$\Sigma $是希腊字母Sigma，不是求和。 ... formal language 包含很广：. 正则表达式，是formal language。 英语和c program 也是formal ...
主要微调方法全解析 - 飞书文档
https://docs.feishu.cn/v/wiki/TNUAw3AMtiToCnkVgL5cVR8anyh/a4尽管像GPT这样的预训练语言模型拥有丰富的语言知识，但它们缺乏特定领域的专业化。 ... 因为Skywork-13B 在多个基准测试（如C-Eval，MMLU）中**全面超越**了LLaMA2-13B ...
LLM（廿三）：LLM 中的长文本问题 - 飞书文档
https://docs.feishu.cn/article/wiki/XOBowEScOikoZ2kRLcXcikHGnLc通过以上分析，我们可以得到结论： **计算量主要和模型参数和token 数相关，文本长度并不会显著增加计算量**。 ... **4. **计算完$ softmax() $函数后，会进行dropout操作。
公式2.0 使用说明 - 飞书
https://ae.feishu.cn/hc/zh-CN/articles/961781900188填写完出生日期后，自动计算年龄 · 编辑完成单价和数量后，自动计算总价 · 可2个都转义 · 也可转义1个 · 整数Integer，不超过18 位的整数。 · 浮点数Float，用于各类数值字段。 · 定 ...
LLM指令微调的评测方法：挑战与探索 - 飞书文档
https://docs.feishu.cn/v/wiki/VhqZwf34riSekcksULFcx6K3nDg/ab1.2 Language Model PreTraining. 在扩充完tokenizer 后，我们就可以开始正式进行模型的预训练步骤了。 Pretraining 的思路很简单，就是输入 ...
AI辅助在独立游戏开发中的“踩坑”经验——《玩具帝国》 - 飞书文档
https://docs.feishu.cn/article/wiki/KuObwMHLMimTvxkMcd9c7Arjn1M为了让每次输入的向量等长，在观察时，场上的三条路被分成了许多块，在每一块上，统计在其上单位的平均数值或求和，最后加上单独的数值，组合得到完整的向量。 因为不同的文明 ...
深入数据分析的若干方法与技巧 - 飞书文档
https://docs.feishu.cn/article/wiki/EPQBwOIK1iFDfokzm3KclFnPnif... 语言，编程语言最重要的是动手操作. BI.. 数据展示工具，数据分析师 ... 刚转行，了解基本的求和、平均数、计数这些基本就够用，正态分布、条件概率等暂时 ...
Qwen2：提升多语言理解能力 - 飞书文档
https://docs.feishu.cn/v/wiki/LR4AwSqSIiZPxRkVxY1c1YDKnvc/a3不到一年时间，通义先后开源数十款不同尺寸的模型，包括大语言模型、多模态模型 ... C++、JAVA、PHP、TypeScript、C#、Bash和JavaScript). **数学任务: **GSM8K (4 ...
LLM的In-Context Learning如何提升模型性能？ - 飞书文档
https://docs.feishu.cn/v/wiki/Hy6Xw65Zxi2G5DkTMRCcLIjlnKe/al2024年3月5日 ... 而正是因为这一最新成果· AlphaDev，使得十年都没有更新的LLVM标准C++库都更新了，并且数十亿人将会受益。 ... 求找到两者之间所隐含的的共性、差异 ...