LLM中幻觉检测的检索增强评估 - 飞书文档
https://docs.feishu.cn/v/wiki/Xh3iw414liJqP2k8JnwcqEW6nif/a42024年8月4日 ... ... 测试用例、代码片段和论文标题。 **Tool Querying & Evidence ... 2023 ) 通过对来自黑盒LLM (Black-box LLM，指无法获取模型内部信息的LLM) ...
飞搜侠
热门搜索
如何评估RAG系统？有哪些评估方法和指标？ - 飞书文档
https://docs.feishu.cn/v/wiki/UPBswrXuoigmhSkiALNcwz37nqd/ah所以说在直接将LLMs部署运行到生产环境中时，其就是一个黑盒，鬼知道它会输出什么的结果... ... 基准测试集：为了进行客观的评估，通常会使用基准测试集来进行实验和 ...
Self-RAG: 大模型集检索与生成能力的自主调优方法
https://docs.feishu.cn/v/wiki/VglqwVDvBiKPW2kXTTNc9Zi9nfd/aa检索效果依赖embedding 和检索算法，目前可能检索到无关信息，反而对输出有负面影响；. 大模型如何利用检索到的信息仍是黑盒 ... 评估了在测试时或训练期间增强检索的模型。
CRITIC框架的黑盒LLM是什么？ - 飞书文档
https://docs.feishu.cn/v/wiki/ZFWDwCPL5iVAulk9AATcpm3Wnwg/ac此外，“反思”模式还可以通过给AI模型提供工具来加强，这些工具可以帮助评估模型的输出。例如，可以让模型将其生成的代码运行一些单元测试，以检查代码在测试用例上的正确性， ...
如何评估RAG的性能 - 飞书文档
https://docs.feishu.cn/v/wiki/XdHDwfxxWiOKyNkVyUUc5jvnnfc/a8在将生成的人工智能部署到实际生产环境时，这种局限性会带来挑战，因为盲目地使用黑盒LLM可能无法满足需求。 传统的神经网络通过微调模型以参数化知识来适应特定的领域 ...
Prompt评测：评估质量与鲁棒性 - 飞书文档
https://docs.feishu.cn/v/wiki/Xx8dway4ciKEL1kGK7Uc8G0Vndd/a8【2022-6-5】个人（Disha）发布prompt自动生成框架Repo-Leval Prompt Generator，无需获取模型权重，当黑盒处理。 ... ② Generate additional test cases: 自动生成附加测试用例.
白盒与黑盒攻击：LLM安全的不同挑战 - 飞书文档
https://docs.feishu.cn/v/wiki/TofRwK0ZeiaUnlk7RSGcGMcHnwe/a3**白盒与黑盒**. 白盒攻击（White-box ... 使用目标LLM p (y | x) 为每个测试案例x 生成一个输出y； ... 使用分类器等机制对生成的内容y 进行评估，看其是否安全；.
AI决策的黑盒效应：风险与应对 - 飞书文档
https://docs.feishu.cn/v/wiki/NsagwJzJBiPaPfkLPbMcpSwTnoc/a5某公司在招聘过程中依赖AI 系统筛选简历，尽管目的是提高效率，但AI 模型因训练数据中包含的历史性别歧视问题， **更倾向于选取男性候选人**。在这些案例中，AI 没有能力从道德 ...
AI审计如何确保生成式模型性能和准确性？ - 飞书文档
https://docs.feishu.cn/v/wiki/PDfzwbqrTirstLkuL3hcU7J3nFP/a1AI审计要通过一系列的测试和评估方法来验证模型的准确性，例如使用标准的 ... 对于一些复杂的黑盒模型，通过审计可以尝试揭示其内部的决策过程，使模型更加透明 ...
大语言模型检索增强生成（RAG）综述 - 飞书文档
https://docs.feishu.cn/v/wiki/RnOEwBYzjiPXy9kZVbBcSz0Encg/a1... 黑盒解决方案是不切实际的。减轻这些限制的一种有前途的方法是检索增强生成 ... 本节描述了RAG 模型的评估框架，包括基准测试和自动评估工具。这些工具提供的定量 ...