如何优雅地自动评测LLM 模型质量 - 飞书文档
https://docs.feishu.cn/article/wiki/ZYDOwiD5kiyOWgk4v7EcRSJhn4a... 模型的评价结果也就越公正**。 如果像网上一些调侃的文章那样，拿着某个模型的某 ... 建立联系）. 当然，这里有一个特殊情况， 如果评测集有标准答案时，那么评价 ...
飞搜侠
热门搜索
如何搭建大语言模型信任构成要素？ - 飞书文档
https://docs.feishu.cn/v/wiki/V9dAwHVAwiZPGCkzu5Kc5kWKnZb/aa通过这种自我评估，模型能更准确地区分正确和错误的答案并给出信心分数。无论模型 ... 其次，多元主体参与的治理机制和工具，将为大语言模型的信任建立提供有效抓手。
怎样建立完善的评估体系？ - 飞书文档
https://docs.feishu.cn/v/wiki/TILfwiS6MitI0skxsgRcPuoQnqc/ae适合谁来学：希望从底层出发、“纯手搓”搭建一个清晰、可用的大模型系统的学习者一站式手搓大模型的最佳指南，包括大模型本身、RAG 框架、Agent 系统及大模型评估体系项目 ...
RAG实践：从数据集到评价指标，小白入门指南
https://docs.feishu.cn/v/wiki/Dy5dw45rFiwS4Qk98E7c3SA7nOe/a2种流行的范式，它使大型语言模型（LLMs）能够访问外部数据，并作为一种机制来减轻幻觉现象。 实现RAG时，可能会面临有效集成检索模型 ... 建立一个简单的推理和实验流程。
评估大型语言模型(LLM) 系统：指标、挑战和最佳实践 - 飞书文档
https://docs.feishu.cn/v/wiki/C4Rhw0oiaibpoLkNDBrcUmrCnXg/aj这种多样性确保LLM能够有效地概括，处理广泛的输入。同时，我们收集相应的高质量输出，建立衡量LLM表现的基本事实。构建黄金数据集需要对每个输入输出对进行细致的注释和验证 ...
算法小白如何用GPT做算法建模，每年为公司省6万？ - 飞书文档
https://docs.feishu.cn/article/wiki/BPE7weipIiILR3kMiNhc9318nwf通过找出历史数据中的销售额与相应时期的指数关系，建立数据模型，就可以测算出指数对应的大概销售额。 ... 模型效果评估. 测算完之后，需要验证这套公式是否可以使用。验证方法 ...
智能评分模型的技术架构与算力支撑 - 飞书文档
https://docs.feishu.cn/v/wiki/Q8idwtfbninMh1kCzPocG917nqb/a9⚡小微金融：通过美团店铺评价预测现金流健康度. 3.2 盈利模式的范式转移🌀. 公司 ... MIT计算金融实验室与建立联合实验室. 对抗性攻击红队创建进行压力测试. 五 ...
RAG系统的评估：方法与指标 - 飞书文档
https://docs.feishu.cn/v/wiki/WiAwwqSfYiT8sKkYU33c7FMpnvh/aa... 建立一套对中文场景 ... 1、更换大模型：从ChatGLM2-6B替换成baichuan2-13b，发现针对我们的场景，后者的性能可以提升一倍左右。 2、更换embedding模型：将embedding模型 ...
AIGC评价指标之IS：从两个角度的理解 - 飞书文档
https://docs.feishu.cn/v/wiki/KmkAwqnXPisrvfkK7RJcK9GqnAf/aa2023年7月8日 ... 首先介绍了生成模型的本质目的，就是为了建模$p(x) $分布。 首先是最朴素的极大似然估计，虽然简单，但是要求 ...
LLM系统评估指标有哪些？ - 飞书文档
https://docs.feishu.cn/v/wiki/QrfuwItgvibYRPku40hcYd4Kn0M/afOpenAI Eval 库是一种具有LLM 模型评估的流行库，它最初专注于模型评估用例。有 ... 正如我们上面所讨论的，第一步是为您的评估建立一个基准。 为此，您必须从 ...