怎样评估大模型的性能？ - 飞书文档
https://docs.feishu.cn/v/wiki/TILfwiS6MitI0skxsgRcPuoQnqc/ai本项目是一个从原理出发、以“白盒”为导向、围绕大模型全链路的“手搓”大模型指南，旨在帮助有传统深度学习基础的读者从底层原理出发，“纯手搓”搭建一个清晰、可用的大模型系统 ...
飞搜侠
热门搜索
整体流程测试如何评估系统？ - 飞书文档
https://docs.feishu.cn/v/wiki/VSqnwsD8rirggFk3O3TcFTQbnBf/ah... 制作精确、清晰且逻辑性强的”prompt template”。 ... 这要求设计测试案例来模拟实际的工作流程，评估模型 ... 评估，确保所有组件和流程协同工作，实现预期效果。这包括 ...
《RAG 大模型生成结果：流程与注意事项》 - 飞书文档
https://docs.feishu.cn/v/wiki/QBssw7z4oiGS40kDlltcjozBnxc/af... 评估模型的性能。 例子：研究人员可能会让模型回答各种问题，完成各种任务，然后 ... 下面则是我用Coze 制作的一个秘塔搜索机器人，感兴趣可以看下他的工作过程.
如何优雅地自动评测LLM 模型质量 - 飞书文档
https://docs.feishu.cn/article/wiki/ZYDOwiD5kiyOWgk4v7EcRSJhn4a... 模型质量的评测也就成了一个重要的工作。 大家也知道，我在今年5月制作过一个JioNLP 的大语言模型 ... 正确的LLM 评估方法，满足以下几个特点：. 公开，所有模型都可以探明评测的 ...
HuggingFace评估团队分享大语言模型评估指南 - 飞书文档
https://docs.feishu.cn/v/wiki/IvXmwBAK4iEXeqkhOFqc0BvUnNc/ab亲爱的LLM 推特社区，我为大家制作了一本评估指南！ . https://github.com ... 模型结构、损失函数设计和训练方法的演进。 在模型结构方面，早期VLM分为单分支和 ...
AutoChain怎样进行自动化评估？ - 飞书文档
https://docs.feishu.cn/v/wiki/ZD7Ew4x2SiaJYUk3U7fcN9RAnFb/af在LLM （ 大规模语言模型） 开发和应用的热潮中，评估和权衡不同工具平台的优劣将是一个至关重要的环节。基于提示工程、数据集成、工作流程编排、调试可视化、评估指标、生产 ...
论文里的AI研究：模型优化与评估框架 - 飞书文档
https://docs.feishu.cn/v/wiki/ApZpwvKmxiPbVYku8p3cg6O6nwf/a4我们确定真实与模拟环境之间的控制和视觉差距是可靠模拟评估的关键挑战，并提出了一些方法来减轻这些差距，而无需制作真实环境的完整数字孪生体。然后，我们采用这些方法创建 ...
SciCode：评估语言模型解决科学问题的能力 - 飞书文档
https://docs.feishu.cn/v/wiki/XNbFw4UpTilBqEkXrfwc4w3Gn0f/a2这一趋势涉及通过蒸馏或量化来压缩大模型，以及从零开始在大型数据集上训练小模型。这些方法不仅显著降低了推理成本，还提高了用户隐私，同时催生了新应用。微软的Phi 系列、 ...
构建LLMs产品的实用指南里，评估与监控是如何进行的？ - 飞书文档
https://docs.feishu.cn/v/wiki/E5d3wSjWViKSFMkW3lzc95Qonzg/ae... 生产样本来源，这些样本可以转换成评估。 LLM-as-Judge可能有用，但它不是 ... 模型解释其决策过程，这可以提高评估的可靠性。一个额外的好处是，你可以使用一个 ...
生成式AI设计模式：综合指南 - 飞书文档
https://docs.feishu.cn/v/wiki/D2c6wJJXeit6C2kSCuucuASpnne/aj在红蓝团队评估模型中，一个AI生成内容，而另一个则对其进行批判性评估，类似于严格的同行评审过程。这种双模型设置非常适合质量控制，使其高度适用于可信度和准确性至关重要的 ...