2023-07-20大模型微调方法总结-今日头条
https://docs.feishu.cn/article/wiki/KQYOw0VsEigJx8kVcW4c4H3yntd2023年7月20日 ... 在原始预训练语言模型（PLM）旁边增加一个旁路，做一个降维再升维的操作，来模拟所谓的内在秩。 ○ 训练的时候固定PLM 的 ...
飞搜侠
热门搜索
主要微调方法全解析 - 飞书文档
https://docs.feishu.cn/v/wiki/TNUAw3AMtiToCnkVgL5cVR8anyh/a4从总体上看，大模型的训练可以分为四个关键阶段： 预训练、有监督微调、奖励建模和强化学习。 预训练阶段是最为耗时的 ...
大模型微调中高效参数微调的方法及其在低算力下的优势 - 飞书文档
https://docs.feishu.cn/v/wiki/BamwwXMmQi5cN7kIYmccyCrVnae/a2大模型全量微调（Fine-tuning）**通过在预训练的大型模型基础上调整所有层和参数，使其适应特定任务。这一过程使用较小的学习率和特定任务的数据进行，可以充分利用预训练模型 ...
Task4：源大模型微调实战-知识点文档
https://docs.feishu.cn/article/wiki/PLCHwQ8pai12rEkPzDqcufWKnDd模型微调也被称为指令微调（Instruction Tuning）或者有监督微调（Supervised Fine-tuning, SFT），该方法利用成对的任务输入与预期输出数据，训练模型学会以问答的形式解答问题， ...
从零入门大模型微调指南 - 飞书文档
https://docs.feishu.cn/v/wiki/R5hiwpICDifKWBkswC1c8l5En8e/a1从零入门大模型微调是Datawhale 2024 年AI 夏令营第四期的学习活动（“大模型技术”方向），基于讯飞开放平台“星火大模型驱动阅读理解题库构建挑战赛”开展的实践学习—— 适合 ...
大语言模型微调和PEFT高效微调 - 飞书
https://v11enp9ok1h.feishu.cn/wiki/SxHtw2z62iGfF9kukHLcZsAynng大语言模型微调和PEFT高效微调. . . . .. 联系我们 ... 微调方法也是一种高效微调方法，并不是全量微调。 ... 最早与2022年4月，由OpenAl研究团队系统总结并提出 ...
微调的多种方式及其效果对比
https://docs.feishu.cn/v/wiki/PegewHgQ9idDnUkNr3bc4F3Fnbb/a32024年1月8日 ... 我们日常所认识的「大模型」都是经过**微调**之后得到的。大模型只是一个「文本续写的模型」。在未经过任何微调或者基于人类反馈的强化学习（RLHF）之前， ...
PEFT技术分类：按方法的总结归纳 - 飞书文档
https://docs.feishu.cn/v/wiki/TgTfwj1a3iOkGmk7cX7c2d2CnBg/a7**○ 特点: **Adapter Tuning 是一种轻量级微调方法，通过在预训练模型的参数中添加小型适配器来保持大部分参数不变，仅微调适配器的参数。这样可以显著减少微调过程中需要 ...
大模型+BERT式微调的方法描述 - 飞书文档
https://docs.feishu.cn/v/wiki/IsTxwhBnaizE9lkPHQ4c6zuVnJf/ac正好前段时间，有潜在客户希望我们研究是否能够通过大模型提升新闻事件分类的效果。借着这个机会，我对大模型在文本分类任务上的应用方式和对应效果进行了研究，有了一些初步 ...
大语言模型长文本微调：LongLoRA解析 - 飞书文档
https://docs.feishu.cn/v/wiki/UfniwOJvviUFXwkWxYHc3mbCnRQ/a2【大语言模型】LongLoRA:大语言模型长文本的高效微调方法 · 2.1 SHIFT SHORT ATTENTION. 一般的transformer的attention计算复杂度为O(n2) O(n^{2}) ,n为序列长度，使得llm长 ...