2023-07-20大模型微调方法总结-今日头条
https://docs.feishu.cn/article/wiki/KQYOw0VsEigJx8kVcW4c4H3yntd2023年7月20日 ... 在预训练模型每一层(或某些层)中添加Adapter 模块(如上图左侧结构所示)，微调时冻结预训练模型主体，由Adapter 模块学习特定下游任务的知识。
飞搜侠
热门搜索
大模型训练是怎样的？ - 飞书文档
https://docs.feishu.cn/v/wiki/RCIRw28Ghiu7bvkwdGlcjQpen1e/a5模型训练的过程就是在解方程 ... 当我们的请求被输入到模型时，它不再是我们通常理解的自然语言形式。而是被转化为机器可以理解的格式，通常是向量。不必深入了解向量的具体 ...
多模态大模型入门指南-长文慎入【持续更新】 - 飞书文档
https://docs.feishu.cn/article/wiki/DPjOwD19iiAcMYkryZicYJMWnTf... 模型架构、训练数据集规模等多个维度进行了对比。 综合回顾了主要MM-LLMs在18个广泛使用的视觉语言评测集上的表现，并总结提炼出提升模型效果的重要训练方法。 探讨了 ...
如何让大模型拥有专业知识？ - 飞书文档
https://docs.feishu.cn/v/wiki/LubIwPjfMijr1XkTJm9cfIEan9g/ab2023年12月20日 ... **知识盲点于实时性： **大模型通过预训练获得通用语言能力，但不具备专业领域的知识。对某些专业问题无法做出准确回答。有些知识不停的有更新，大模型需要在 ...
腾讯混元大模型的训练流程复杂吗？ - 飞书文档
https://docs.feishu.cn/v/wiki/R2q7wn5nuicOXLkMqUKcOfbInHe/ab虽然也可以让大模型死记硬背中小学数学题，但要想真正让它学会“打开思路”，还需要增强上下文能力和行业知识水平。 为此，腾讯也基于自研方法，让混元大模型具备了问题 ...
多模态大模型指令微调的总结 - 飞书文档
https://docs.feishu.cn/v/wiki/QXlrw1y5CiX4OZkktO8cXwhEn0g/aa【导读】MLLM 的训练范式大致可以划分为预训练阶段、指令微调阶段和对齐微调阶段。本文介绍指令微调阶段（Instruction-tuning），指令微调阶段的目的是教会模型更好的 ...
文档使用：提升大模型能力的方式
https://docs.feishu.cn/v/wiki/SzTMwuYMoi1fGjkMsazcCffsnxb/a9当前大模型面临三个重要的问题：（1）大模型熟练地掌握了常见知识，却无法很好地学习长尾知识；（2）受限于训练策略，大模型内部的知识无法及时更新，无法与动态变化的世界知识保持 ...
多模态大模型(MLLM)训练篇- Pre-training - 飞书文档
https://docs.feishu.cn/article/wiki/EC2RwRpMZiFQfBk0l2kcl8VPnsg预训练语料库可以根据粒度分为粗粒度和细粒度图文对数据，表中总结了常用的预训练数据集。 ... 方法：来源互联网，数据量大，描述简短且可能嘈杂。 代表数据集：. CC-3M ...
多模态大模型的训练范式解析 - 飞书文档
https://docs.feishu.cn/v/wiki/JADywa3Rri9U1akjKWNcU1Qjnwg/a11）预训练阶段：通过大量图文对将图片信息对齐到LLM 的表征空间，即让LLM 读懂视觉Token；2）指令微调阶段：通过多样化的各种类型的任务数据提升模型在下游任务上的性能，以及模型 ...
大模型预训练方式的调研 - 飞书文档
https://docs.feishu.cn/v/wiki/MV8nwzQiciIEm5kQ5nHcCAbenvf/a3（1）两种学习方式. 首先在刚开始，我们调研到了有两种预训练方式： Fine\-tuning Learning 和 In\-context Learning 。 · （2）in-context learing · （1）知识库的搭建 · （2）全局 ...