剪枝前的重要性评估：英伟达的策略 - 飞书文档
https://docs.feishu.cn/v/wiki/WfWWwk8NUiQUYFkfK8scuaivngw/a6需要注意的点是，在对模型剪枝之前，需要先了解模型的哪部分是重要的。英伟达提出了一种基于激活的纯重要性评估策略，该策略可以同时计算所有相关维度（深度、 神经元、头和 ...
飞搜侠
热门搜索
大模型如何在边缘端部署？ - 飞书文档
https://docs.feishu.cn/v/wiki/K2TlwBwYhi1y9DkOBJUcnHPanxf/aa此外，还有一些工作探究将不同的**模型层技术结合**，例如将混合专家技术和低秩分解结合、将模型量化和权重稀疏结合、将模型量化和低秩分解结合、将权重剪枝和低秩分解结合。
LazyLLM的剪枝阈值如何确定？ - 飞书文档
https://docs.feishu.cn/v/wiki/RWGswfk1HiR6Y5kShLEcn71NnTb/ac预填充阶段之后是解码阶段。在这个阶段，模型再次使用缓存的KV 来迭代式地解码下一个token，直到满足停止标准。 在预填充阶段，所有Transformer ...
TableBench：评估语言模型表格数据处理能力 - 飞书文档
https://docs.feishu.cn/v/wiki/Z7JHwQB70iKlEbkPFNLcZv73ndf/ah当前的方法学在处理包含一些模糊或需要与代码库相关的额外上下文的提示时往往无法准确执行。我们介绍了使用检索增强生成（RAG）智能体的方法，将信息注入用户提示，使其更好地 ...
稀疏方法中结构化剪枝如何实现？ - 飞书文档
https://docs.feishu.cn/v/wiki/VzYYwkCDGifRcOk5XbzcFxcSnQf/adSparseGPT ：该方法的工作原理是将剪枝问题简化为大规模的稀疏回归实例。 · LLM-Pruner ：遵循经典的“重要性估计-剪枝-微调”的策略，能够在有限资源下完成大语言模型的压缩， ...
如何评估大语言模型的有效性？ - 飞书文档
https://docs.feishu.cn/v/wiki/WEeVwPQOLiqA5Xks6g5coBw5n3d/aj2024年8月26日 ... 剪枝是一种减少模型大小的技术，它通过移除模型中的一些参数来减少计算 ... 评估LLM 生成的代码质量。 Anthropic 的提示工程互动教程. Anthropic ...
15分钟完成CNN图像分类的Homework3：步骤与代码详解 - 飞书文档
https://docs.feishu.cn/v/wiki/Ckraw5bgYiU5wnkZhCTc9vEHnDc/a2最后的代码构建一个测试数据集和数据加载器，以便高效地读取数据。实例化并加载预训练的分类器模型，并将其设置为评估模式。在不计算梯度的情况下，遍历测试数据 ...
字节团队的ProteinBench能解决蛋白质模型评估难题吗？ - 飞书文档
https://docs.feishu.cn/v/wiki/Gn6DwK74bivEK6kItdJcAPdTnRf/ad最近，人们对研究如何构建更好的代码指令微调数据越来越感兴趣。然而，来自北京邮电大学、美团的研究团队发现，使用这些数据集训练的代码模型在HumanEval 上表现出很高的 ...
XGBoost官方仓库的优化技术对机器学习的影响 - 飞书文档
https://docs.feishu.cn/v/wiki/HSG7wshzJiT4ClkKayDcYwv8n6y/a8对于回归任务，有线性回归、多项式回归等算法的代码。我们可以学习到如何根据数据拟合回归模型，以及如何评估回归模型的性能，如使用均方误差（MSE）等指标。在聚类任务方面，K- ...
ExCP方法在视觉模型检查点压缩方面表现如何？ - 飞书文档
https://docs.feishu.cn/v/wiki/BdiLwCKrPitGu2kNlxwcU3tGn4d/a9方法也很有创新性，文章中提到了两个重要的概念，一个是利用训练中检查点的残差信息，通过时间序列上信息的稀疏性实现更高的剪枝比例；另一个是将优化器和权重联合起来进行压缩 ...