微调大型语言模型需要考虑哪些因素？ - 飞书文档
https://docs.feishu.cn/v/wiki/CuEiwiraUiUomdktufGcVQlcnjc/aj文本生成。 大多数模型都经过文本生成训练，您有从GPT-3.5 到GPT-4 的多种选择。 它们的成本各不同，其中GPT-4 是最昂贵的。 值得研究一下Azure OpenAI Playground，以评估 ...
飞搜侠
热门搜索
代码大模型业界现状如何？ - 飞书文档
https://docs.feishu.cn/v/wiki/WQxtwZKCciRcbvkjmymcSgW0nif/ao2024年11月9日 ... DeepSeek-Coder-V2：拥有16B和236B的模型规模，在千亿模型中表现突出，利用代码和数学数据的组合训练，长文本窗口与reward model实现高效代码生成。 Qwen2.5- ...
微调是否能让大模型新增知识？ - 飞书文档
https://docs.feishu.cn/v/wiki/PegewHgQ9idDnUkNr3bc4F3Fnbb/a72024年1月8日 ... 在预训练阶段，模型通过学习大量的数据来提取特征、理解语义和推理能力，从而对通识知识，代码知识获得一般性认识。质量较高的预训练数据可以增强模型的泛化 ...
Llama3微调：深入理解概念与实践意义 - 飞书文档
https://docs.feishu.cn/v/wiki/Sx6zwWdD5iCqP6kgySycmoOgn5c/a2全局概览 · 下载需要用来微调的数据集（也就是需要大模型学习的知识） · 挑选用来进行微调的框架 · 写程序用来进行微调 · 验证微调的结果 ...
基于文档的微调数据生成怎样降低模型依赖？
https://docs.feishu.cn/v/wiki/WlRnwFU9Xi3Bdvk8XoKclmZTnhd/an最近，AI领域掀起了一股数据合成的热潮，各大厂商最近推出的模型都或多或少有数据合成的影子。英伟达的Nemotron-4-340B-Instruct、微软的Orca-3，以及Meta的Meta-Llama-3.1-8B ...
Self - LLM：初学者友好的开源大模型微调教程 - 飞书文档
https://docs.feishu.cn/v/wiki/Drttwt1bxiFNW8k8kpFctdQDn2c/a6大模型的能力和特点 · 上下文学习：首次由GPT-3引入，允许模型在提供自然语言指令或多个任务示例的情况下，通过理解上下文并生成相应输出来执行任务。 · 指令遵循：通过指令微调， ...
最强开源代码大模型DeepSeek Coder亮相 - 飞书文档
https://docs.feishu.cn/v/wiki/U7OWw5jl3iwsC0kQK3qcVmgCnIf/a2DeepSeek 在成立六个月后推出了智能代码助手“DeepSeek Coder”，这是一个免费且开源的代码生成和辅助工具。它能够为各种编程任务生成代码，例如创建Python 语言的贪吃蛇 ...
《开源大模型项目中模型的微调方法你都知道吗？》 - 飞书文档
https://docs.feishu.cn/v/wiki/F8VUwzJ3bixoPtkyCP3cS1tYnfd/ac本项目是一个围绕开源大模型、针对国内初学者、基于AutoDL 平台的中国宝宝专属大模型教程，针对各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导 ...
2024年AI代码大模型进展：技术创新与应用场景拓展
https://docs.feishu.cn/v/wiki/BDa6wRAGrii9vAk6OHpcsdpwnWc/a32024年8月30日 ... Qwen2.5-Coder 系列模型的开源为代码生成大模型领域带来了新进展。其32B-Instruct模型在代码生成、代码修复和代码推理等多项任务中表现卓越，与GPT-4o ...
大型语言模型微调的数据选择：再思考
https://docs.feishu.cn/v/wiki/KIUowujDbinEkHkVH3tc1K0OnLr/ae吴恩达感叹：在父亲节，我用OpenDevin为女儿生成算术练习题，提升了我们的学习体验。六个月前，编码代理还是新奇事物，现在它们已逐渐实用。编码代理的工作流程包括分析问题、 ...