
过去二十四小时里八组实测的共同点,是它们都在同一个东西上只动了一处:共享一份目录的 5 个 agent 追平 33 次独立尝试,同一道网页题从 1 分 06 秒排到 2 小时以上,换 4 步加个补丁把 61 分钟的片子压到 14 分 19 秒。
| 任务 | 测试对象与运行条件 | 关键数字 | 主要限制 |
|---|---|---|---|
| 让一组 agent 互相通信去解题 | 微软研究院与威斯康星大学麦迪逊分校的五位作者,N 个没有角色分工的同款 agent 只通过共享目录协作,跑 ARC-AGI-3、polyomino packing 与 MNIST 压缩三个任务 1 | ARC-AGI-3 上 k 个能通信的 agent 追平 4k 个独立 agent;5 个 Sonnet 4.6 追平 best-of-33;一个 64 次独立尝试都没解开的游戏被 5 人团队解开 65%;MNIST 上压出 1,957 字节、99.4% 准确率的分类器 | 算力不足或没有明确进展信号时,独立并跑可能更好;25 个游戏里通信只帮了 18 个 |
| 把进入大模型的提示词先过一道判断 | X 用户 Sagar Mainkar 搭的 Jev Wall,两个公开数据集共 1,968 条人工标注样本全部跑完 2 | 1,039 条正常请求零误拦;929 条攻击拦下 794 条(85.5%);准确率 93.1%、AUC 0.986;单次约 350 毫秒,整轮 12 美分 | 作者说这是一次独立测试而不是基准;数据集标签本身有可争议之处 |
| 五个类 Jev 的决策模型同题比一次前向 | 同一台 M1 Max 纯 CPU,同一批题各问三次取中位数 3 | 最快 system-one-mini 69M 9.7 毫秒,最慢 decider-2b 1.9B 1200 毫秒,差 124 倍;laya 421M 37.8 毫秒,校准误差 0.081 全场最低 | 稿子里 Jev 那一行是官方基准、与作者自己的测量不同源;最快的实现只有 5 个固定题 |
| 同一道网页题交给九个模型 | RTX 3060 12GB、16GB DDR4 单通道、CachyOS,本地模型走 llama.cpp,同一段前端提示词,前后八个多小时 4 | 参照组 1 分 06 秒到 4 分 56 秒;本地最快 2.4 分钟(约 74 tok/s);同一款 27B 关掉思考从 57 分钟变 12 分钟,另一个量化档超过 2 小时、满上下文约 4 tok/s | 作者只附录屏、不给分数与人工评审;Codex 那一格空着,他请人补 GPT-6 Astra 的结果 |
| 2.8T 的模型跑在 16 张 GB10 上 | 16 个 GB10 节点、两台 MikroTik CRS804-4DDQ 交换机、4×400G 拆成 4×100G 的线、改过 NCCL 拓扑的定制运行时 5 | 编码解码约 30 tok/s(峰值约 38)、prefill 750–910 tok/s、并发峰值 136 tok/s、数十万 token 上下文 | 帖子只给稳态与峰值,没有冷跑;评论里有人说一次设置改动就让前缀缓存命中率从 99.7% 掉到 1.8% |
| 一台机器一个人用的本地推理 | Mac mini M4 24GB 对二手 3090 24GB 整机,都跑 8B 的 Q4 量化 6 | 37 对 161 tok/s,差 4.4 倍;月成本 155 对 261 元;换成每 100 tok/s 的成本是 419 对 162 元 | 文中速度数字大多是引用他人测试;作者自己那台机器的实测截图位置还留着"待补充"的空位 |
| 同一张卡换引擎、换步数 | AMD R9700 32GB,同机同权重把引擎从 Ollama 换成官方 llama.cpp;出片从官方 20 步换成 4 步加加速补丁 7 | Qwen3.8-27B 单路 27.8→30.9、八路 71.1→87.7 tok/s;15 秒片从 61 分 28 秒到 14 分 19 秒;算力比 3090 多 120 TFLOPS、带宽少 296 GB/s | 对比表里 3090 与 4090 两格不是作者实测;四个格子参照的模型与上下文各不相同 |
| 7B 的开源生图模型 | 阿里 9 月 20 日放出 Qwen-Image-2.1 的开放权重,生成与编辑合成一个模型 8 | 生成部分 7B、32 层单流 DiT、原生 2048×2048、直接输出 RGBA、最多 10 张参考图;模型卡写的是 Qwen Research License Agreement | 规格来自发布方自己的模型卡与仓库;画质那一条是一位用户的个人体验,没有可核对的样本 |

| 实现 | 参数 | 一次前向的中位耗时 | 作者给出的说明 |
|---|---|---|---|
| system-one-mini | 69M | 9.7 毫秒 | 最快,只支持 5 个固定题目 |
| systemone-lite | 0.5B | 31.7 毫秒 | 准确率 0.679 |
| laya | 421M | 37.8 毫秒 | 中英自动路由,最均衡 |
| decider-2b | 1.9B | 1200 毫秒 | CUDA 下可以快 7 倍 |
| Jev 1.13.0 | 未给出 | 236–276 毫秒 | 官方基准,不是作者实测 |
| 模型 | 量化与设置 | 耗时 | 生成速度 |
|---|---|---|---|
| GPT-5.6 Sol | 线上 | 1 分 06 秒 | — |
| Gemini 3.8 Flash | Antigravity,约 9K token | 3 分 12 秒 | — |
| Claude Sonnet 5 | 线上 | 4 分 56 秒 | — |
| Ornith 1 9B | Q4_K_M,5.4GB | 约 2.4 分钟 | 约 74 tok/s |
| Ornith 1.5 35 A3B | Q6,22.4GB | 未给出总时长 | 约 30 tok/s |
| Bonsai 2 27B | 三元权重(每个权重只有三种取值),7.66GB | 约 45 分钟 | 34–36 tok/s |
| Qwen3.8 27B GSQ-RCO-IQ3-XXS + MTP | 10.4GB,开思考 | 约 57 分钟 | 29–40 tok/s |
| Qwen3.8 27B GSQ-RCO-IQ3-XXS | 同一份权重,关思考 | 约 12 分钟 | — |
| Qwen3.8 27B Q4_K_M | Unsloth 动态量化,16.4GB | 超过 2 小时 | 满上下文约 4 tok/s |
| 并发 | 原样用 Ollama | 换官方 llama.cpp | 多出来的 |
|---|---|---|---|
| 1 | 27.8 | 30.9 | +3.1 |
| 2 | 50.6 | 54.4 | +3.8 |
| 4 | 65.3 | 78.8 | +13.5 |
| 8 | 71.1 | 87.7 | +16.6 |

xiaohongshu.com
reddit.com
reddit.com
mp.weixin.qq.com
mp.weixin.qq.com
x.com
reddit.com
huggingface.co
reddit.com
This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.