tinygrad中多GPU训练的实现与解析 - 飞书文档
https://docs.feishu.cn/v/wiki/VIwfwas84i0n5PkQM9LckN67nPe/af实验表明，STG指令命中L1时执行Write Through，未命中时先执行Write Allocate ... 通过全栈方法共同设计算法和系统组件，实现了数据并行、流水线并行、张量并行和 ...
飞搜侠
热门搜索
如何增强LLM的推理能力 - 飞书文档
https://docs.feishu.cn/v/wiki/LkjEw2lJficTcakhxxUc1GcknPc/a8... 栈基本收敛到两种技术模式中。关于这两点，我们分头来谈。 影响一：中间任务的 ... 实现了完全的统一。 这说明自然语言生成任务，在表现形式上可以兼容自然语言 ...
奇绩大模型日报：RoboDual框架提升机器人操作灵活性
https://docs.feishu.cn/v/wiki/ElJuwd8h5iCu43kmDwocptACnw7/a32024年11月9日 ... 在实验中，RoboDual在NVIDIA RTX 5000 Ada GPU上实现了15Hz的控制频率 ... 为防止溢出，Inf-CL 使用行最大值作为调整因子，确保数值计算的稳定性 ...
LLM和模拟作为双层优化器推动科学发现 - 飞书文档
https://docs.feishu.cn/v/wiki/OHbOwwWhXiYaV1kLce9cGpeAnyc/aj... 实现聊天对话、内容创作、图像生成等功能的开发和接入。腾讯元器通过提供丰富的预 ... 实验平台，通过可微的连续部分，如物理参数，提供观察反馈并进行优化。我们 ...
《Devices》单帧思路：放大与风格控制 - 飞书文档
https://docs.feishu.cn/v/wiki/VpqmwCaiuiHICfku0njc2Wtin0d/a9这样就可以实现单帧不能实现的线性颜色变化。 对了，颜色什么的可以让GPT帮你写 ... 单帧思路：怎么又潮又好看？ 做动画的一般流程是，固定seed种子开始做可控变量实验。
OpenAI o1模型在数学推理任务中的表现及技术原理 - 飞书文档
https://docs.feishu.cn/v/wiki/Cn2CwOhfDiNkHyk7YaWcl0HJnDd/a8实验验证：论文在四个核心问题上进行实验，包括： ... PPO（Proximal Policy Optimization，近端策略优化）算法由John Schulman于2017年提出，是一种强化学习算法，以其实现简单、在 ...
9月AGI技术月报上篇 - 飞书文档
https://docs.feishu.cn/article/wiki/Y7uKwcJngil85Zkuhuhcyp96nDd实现Huggingface和MCore模型权重的高精度双向转换，确保在继续预训练或微调时的精度对齐。 解决权重转换时的误差问题，主要涉及RMS Norm等六个方面的差异。消融实验表明， ...
大模型结合强化学习，助力机器人领域发展的多种方式 - 飞书文档
https://docs.feishu.cn/v/wiki/AMuUwIB13iOOcxk3YvtcNEjUnPc/a7其AI引擎Direct框架基于Hexagon NPU进行优化，显著提高了计算性能并减少内存溢出。 ... 此外，矢量量化（VQ）技术通过考虑参数的联合分布，实现更高效的压缩和更少的信息丢失。
5月AGI技术月报下篇 - 飞书文档
https://docs.feishu.cn/article/wiki/GI9KwAwZEi6d1PkRA3XcbbB4nfe尽管共享存储堆栈，但由于调度机制限制，无法最大化利用两者。提出通过更细粒度的调度策略，实现并行计算以提高吞吐量。挑战包括调度算法、资源有限性和调度策略。引入 ...
AI能有自己的目标并自主进化吗？
https://docs.feishu.cn/v/wiki/Q679wlqWYi9oKvkBS7Dcuw28ndN/aa这表明模型不仅仅能实现训练数据中领悟到的技能组合，而是能够执行概括和创造性的任务，特别是微软针对GPT-4 这个超大规模语言的测试（ Sparks of AGI - Early experiments ...