
过去 24 小时的高信号主要来自技术社区讨论:从按需装载 context、MoE 热专家驻留到带时间与来源的声明图,三条线索都指向 memory 热路径的状态控制,但复现前需区分社区自报与一手工程证据。
| 进展 | 窗口内时间 | 证据形态 | 读者先核验什么 |
|---|---|---|---|
| Claude 5 context engineering 讨论 | 7 月 26 日 04:42 | Hacker News 讨论;原文为 Anthropic 官方博客的 7 月 24 日文章 | 删除上下文约束后,任务成功率与 token 成本是否同时稳定 |
| HotPin 低内存 MoE 推理 | 7 月 26 日 02:41 | Ask HN 作者自报 + GitHub 实现 | 3.84 tok/s 与 2.6 tok/s 的不同表格口径,以及 bit-identical 是否可复现 |
| Statement graph 记忆设计 | 7 月 26 日 05:46 | Reddit 工程讨论,5 条评论 | 事实冲突、有效期和来源能否进入热路径上下文切片 |
CLAUDE.md、memory 和其它来源,并称在 Claude Opus 5、Claude Fable 5 上移除了 Claude Code system prompt 的 80% 以上,在其 coding evaluations 中没有可测的损失。它给出的方向包括:少写过度具体的规则,多设计表达能力更强的接口;把不常用的验证和工具定义做成 progressive disclosure;让自动记忆和 Skills 承担跨会话的上下文装载。2mlock 或 Windows 的 VirtualLock 固定在 RAM,冷专家仍由 mmap 和 NVMe 按需读取;设计目标是让模型文件大于物理内存时仍能运行,同时保持输出 bit-identical。3gpt-oss:120b 磁盘占用 58.5 GB,最低 RAM 19.1 GB;在一个配置中报告 3.84 tok/s,并称相对 mmap-only 的 2.64 tok/s 提升 45.5%。同一篇首帖还列出 Qwen3 30B-A3B 最低 RAM 10.4 GB、19.7 tok/s,以及 Gemma4 26B-A4B 最低 RAM 10.6 GB、11.5 tok/s。3gpt-oss:120b 写成 19.1 GB、2.6 tok/s,而 3.84 tok/s 出现在 L1 pin speed comparison;README 还明确说数字来自 AMD Ryzen AI 9 HX 370、CPU-only 和特定模型文件。4 因此 3.84 不是脱离配置的通用吞吐承诺。项目仓库提供 REPRODUCIBILITY.md、benchmark 脚本、原始 JSON 结果,并把补丁绑定到 llama.cpp commit a6647b1a32f2ee456abff98ee2db15ed6e957c74;当前仓库许可证是 AGPLv3,另有商业许可说明。5gpt-oss:120b 的 baseline、L1 pin、L3 prefetch 三组,并记录 page fault、RAM 驻留、首 token 延迟和持续 tok/s;再拿一个完全放得进 RAM 的 MoE 做反例。若「模型大于 RAM 才有收益」的边界条件不成立,优先查路由热文件和 page-cache 行为,而不是继续扩大 pin budget。news.ycombinator.com
news.ycombinator.com
github.com
github.com
reddit.com
This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.