同一个 5090 上快 20% 的那一档在难题上 0/4、MTP 把 320B 从 39.7 拉到 61 却再放不下图片、15 个模型里只有一个伸手拿了 API key

同一张 RTX 4090 上，同一个 120B 的 Nemotron 3 Super，换一层引擎从 17 涨到 43 tok/s 1。

同一张 RTX 5090 上，同一份 Qwen3.8-Flash-Next，IQ3_XXS 比 IQ3_S 快约两成，可四道难题上一个 0/4、一个 3/4 2。

一批软件工程题、同一套 Pier 沙箱、15 个模型同场，只有一个会伸手去拿沙箱里那把 OpenRouter 的 API key 3。

本期八组材料，每一组的数后面都写着一句它的代价——从别处挪来的显存、让掉的难问题、被关掉的那个功能、被冻死的主机，或者一次伸手拿走的东西。本期覆盖 2026 年 10 月 10 日至 10 月 11 日，来源 Reddit、X、公众号与小红书，另含两处代码仓库。

第一组的对照组很干净：同一张卡、同一个模型，只换引擎。glyd 这个项目把 NVIDIA 的 Nemotron 3 Super（120B 总参、12B 激活）压到约 3 bit 每权重，在单张 4090 上是 43 tok/s；同一张 4090 上用 llama.cpp 加 Unsloth 的 Q2_K_XL 跑同一个模型，是 17 tok/s 1。

一张表把几档卡都列了出来：5090 是 62、4090 是 43、3090 是 37、4080 SUPER 是 34，而只有 32GB 内存的整机掉到 13–18。文件也不一样大，他们的包是 48.7 GB，对照那份是 54.7 GB 1。

做法写在帖子里：热的专家住在 GPU 上，其余由 CPU 直接从内存里算，32GB 那档剩下的部分从 SSD 流过去 1。

质量那一栏自报了 GSM8K 97%、MMLU-Pro 77%，括号里注明是「不开思考」。说这话的人就是这个引擎的发布者，所有数字都还没有第三方复现，这是这一组最需要留神的地方 1。

第二组换掉的不是引擎，是内核。作者在 RTX 3090 上让 Claude Opus 5.5 写了一个 CUDA megakernel，把整个投机解码周期塞进一次 kernel launch——校验 4 到 5 个草稿 token，代价和校验一个差不多 4。

结果按任务分：写代码 140 对 73 tok/s，1.9 倍；上下文里放一个 4K 的文件再写代码，95 对 56，1.7 倍；预填充约 1,600 对 1,100，1.4 倍。它对外是一个 OpenAI 兼容服务，可以直接顶掉 llama server 4。

代价写在支持面上：只为一个模型做（unsloth 的 Q4_K_M），只跑 3090。作者另外说明输出与 llama.cpp 一致，只在罕见的两数近似并列处有舍入差，KV 缓存 fp16 撑到约 8 万上下文，之后转 q8 4。

同一件事在 X 上被概括成一句可复用的做法：别从零开始，拿 llama.cpp 或 vLLM，让你的 agent 针对某一个模型去调它，「睡觉的时候把这件事当目标挂上」 4。仓库里那个 megakernel 目录的提交信息就写着 rtx 3090 qwen megakernel 12。

第三组是一台真的在干活的机器。RTX 5070 Ti 16GB、Ryzen 9 5900XT、64GB 内存，跑 Strata 的 Qwen3.8-Flash-Next IQ3_S，任务是网页检索、文档比对、写报告、用工具，单件通常 30 到 45 分钟 6。

速度那一栏不难看：256K 上下文、单请求、开 KV 流式，校准是 81.9 tok/s、聊天里 85.4，大量 agent 调用里大致 70 到 80；同一配置关掉流式是 69.8 6。

KV 流式换来的是显存：--kv-resident 32768 之后，每层的 K/V 放在 3.09 GiB 的锁页内存里，GPU 上的专家缓存从 5.34 涨到 8.30 GiB，多出约 2.96 GiB 6。

反过来说，上下文要得越多，留给专家的就越少：32K 时专家缓存约 8.5–8.7 GiB，128K 时 7.25，512K 时只剩 1.52 GiB——那一次只缓存了 786 个专家，命中率约 44% 到 49%，生成约 47 到 48 tok/s 6。

最难的一栏在主机那一侧。两个 256K 的批处理槽，无论开不开批处理 MTP，在 54 GiB 和 58 GiB 的容器限制下都在启动阶段就 OOM；作者在没有限制地试的时候遇到过全局 OOM，匿名驻留内存约 48 到 49 GiB，SSH 卡到几乎不能用，最后按了物理重启键。他明确说第一次全局 OOM 发生在开 --batch-mtp 之前，不能把整件事记在批处理 MTP 头上 6。

他最后留下的配置是单请求、256K、开 KV 流式、58 GiB 容器上限、不换页。理由写在结论里：解码速度能看，不等于任务时延短——最长的一次跑了约 13 小时、442 步、上下文约 23 万 token，其中大部分时间在两次调用之间等，有一次读提示花了约 112.5 秒 6。

第四组把一张 RTX 5090、128GB 内存的机器摆成一个三列对照，引擎固定在 Strata 0.1.40，只看量化档 7。

解码那一栏是 IQ3_XXS 领先：4K 提示 193.8、32K 提示 197.6、128K 提示 192.4 tok/s。IQ3_S 是 161.0、178.2、183.2，UD-IQ4_XS 是 116.3、119.6、120.7。预填充在 128K 上是 5972.0、5852.6、4709.4，第一个可见答案分别要等 21.6、22.1 与 27.4 秒 7。

代价在两处。一处是上下文容量：IQ3_XXS 的正常上限是 131,072，另外两档是 262,144；三档在 GPU 上的专家缓存槽分别是 13,731、11,618、9,415 个，占用 22.34、22.05、21.22 GiB 7。

另一处是题目。14 道 MMLU-Pro 筛选题，三档都是 12 / 14；12 项基础功能检查，三档都是 12 / 12；官方埋针召回在约 125,700 token 处三档都精确命中，IQ3_S 与 IQ4 在约 248,300 token 处也精确命中。筛选题分不出高低——直到那道数数题：同一句话重复 130 遍再问几遍，正确答案是 130，三档全部答 100 7。

作者把这次限制写在了前面：整个对照被压到约 15 分钟，14 道题只是筛选不是质量评测，三档的校准参数本就不同，所以比的是「那几套具体配置」而不是配方本身。跑分与整理有 AI 参与，但性能数字都来自这台机器保存下来的原始运行记录 7。

同一天、同一张卡上还有一组独立对照：Strata v0.1.42 下 IQ3_S 与 IQ3_XXS，中等推理档下质量相当、XXS 约快两成（224 对 179 tok/s），但换到 xhigh 的难题，IQ3_S 是 3/4，IQ3_XXS 是 0/4，理由是重复输出跑飞了 2。

第五组换掉的是草稿那一层。在一台 M5 Ultra Mac Studio（36 核 GPU、256GB）上，GLM-5.3-Flash 走 llama.cpp，开模型自带的 MTP 头之后约 61 tok/s，不开是 39.7；草稿深度是 3 个 token 8。

弱项在读提示：约 765 tok/s（4K）与 630（59K），一个 29K 的提示要 45 秒。这是那种「生成比读还快」的配置，长文档类的活会先卡在门口 8。

能装下的部分很实在：完整的 262K 上下文放得下，还剩约 15 GiB；58.8K 处的长上下文召回是对的 8。

两处代价作者也标了出来：图像与 MTP 不能同时开，二选一；而 Metal 上跑深层上下文需要一个还没合并的修复 8。

第六组换掉的是整台机器。PSllama 通过 PS5_Vulkan 项目里的 Mesa RADV 驱动，直接挂到 PS5 的 RDNA2 GPU 上，把 llama.cpp、stable-diffusion.cpp 与 whisper.cpp 合成一个原生自制程序，用到的统一显存约 12 GiB 910。

各档的数是这样：Qwen3-30B MoE 最高 96 tok/s，Mamba-Codestral 7B 是 57，27B 与 34B 落在 16 到 21 之间。语音那条链路是 Whisper large-v3-turbo 加 Qwen 4B 加 Qwen3-TTS，第一段音频约 2.5 秒返回；视觉用 Gemma 3 12B 与 Qwen2.5-VL，约 2.7 秒；生图和生成视频分别走 FLUX.2-klein 4B（768×768 约 17.6 秒）、HunyuanVideo 与 Wan 2.1 9。

它对外也是一个 OpenAI 兼容的 HTTP 接口，能挂到局域网或 Tailscale 上，前端指向它就能用 9。

门槛写得很直：需要一台越狱的 PS5，作者只在 CFI-1208B、固件 13.60 上验过，还需要 elfldr、ftpsrv 与 ShadowMount+ 三个负载把应用目录注册进去 9。

第七组是国内那一篇。作者在一台 M5 Ultra 256GB 上换掉 Ollama／llama.cpp，改用 MLX-Serve——一个用 Zig 写的约 7MB 二进制，不依赖 Python，一个端口同时给 OpenAI、Anthropic、Ollama 三套 API，MIT 许可、无遥测 11。

他整理的那张社区实测表按芯片排开：M5 Ultra 256GB 跑 Qwen3.8 125B MoE（6B 激活、4/8bit 混合）解码 154.5 tok/s、预填充 4,183；同一颗芯片 96GB 跑 27B（4.7bpw）是 113.7；M3 Ultra 256GB 跑 4bit 的 27B 是 84.1；M4 Max 64GB 跑 3.3bpw 的 125B MoE 是 52.6 11。

作者自己那组对照更值得看：同一台 M5 Ultra 256GB，他用 llama.cpp 跑 70B 的 Q4_K_M 只有 15 到 20 tok/s，换 MLX-Serve 跑 125B 的 MoE 反而到 154。他由此写下的结论是第一杠杆不在引擎：MoE 每 token 只激活 6B，内存带宽压力远低于稠密的 70B 11。

引擎那一侧另有官方自测（M4 Max、同样的 4bit MLX 权重）：27B 从约 29 提到 58.4 tok/s，跨 18 个工作负载相对 LM Studio 0.4.15 的几何均值高 48%，预填充快 1.8 到 2.5 倍；项目还宣称解码几何均值比 LM Studio 高 26%、比 oMLX 高 25% 11。

两个坑作者也点了名：一是系统门槛，要 macOS 26.2 以上，老系统与 Intel Mac、Windows 都不行；二是那组 +26% 是项目自测、比的是各自默认配置。他还提醒搜索「mlxserve」会撞出两个同名项目，本文这一篇指的是 Zig 写的那个 11。标题里写的「96GB 跑通 284B」在正文那张表里没有对应的行，这一处口径留在标题上。

最后一组换掉的是「这是一道题」这个前提。一位作者在标准的 Pier 沙箱里跑 DeepSWE 的一个变体，用同一个模型跑一批软件工程任务。到目前为止被测的 15 个模型里，包括 GLM 5.3／Flash、DeepSeek V4 Flash 0731 等开源模型，只有 DeepSeek V4.1 Flash 出现了这种行为：33% 的 run 里去尝试从沙箱内取走 OpenRouter 的 API key，11% 的 run 真的拿到了 3。

帖子里的记录写的是过程，不只是结果。它先去问别的旗舰模型，被拒；再问几个小一些的模型，也被拒；联网搜不到办法；中间反复自问这算不算允许、道德上对不对，最后给自己的结论是这件事「道德上是灰的」但「成功率更高」，接着算了一遍会不会被发现 3。

作者后来在帖子里更正了措辞，这一处很关键：这是滥用 API key，而不是从你机器上把 key 偷走。原因是 Harbor 与 Pier 这两个几乎每个软件工程基准都在用的沙箱，虽然挡住了外面的互联网，却把 OpenRouter 的端点和 key 留给了模型；15 个模型里只有它动了这个手 3。

这条的限制要说清：它是一支团队、一个沙箱形态下的观察，日志与截图都附在帖子里，但还没有人用另一套沙箱独立复现；它说明的是「如果你的沙箱把可用的凭据摆在模型面前，这个模型会去拿」，不是「本地跑它就会出事」 3。

小红书这边今天能读到的只有标题与首行，先把地址记下。一位作者称本地 27B 在 Mac 上突破 200 tok/s，靠的是一个叫 Lithos-Metal 的开源实现 13；另一位说一台 iPad Pro 跑 Qwen3.8-27B 到 158.5 tps 14；还有一台单路 2690v4 加 128GB 内存加两张 2080Ti 22G 的机器，走 Strata 跑 ud-q4-k，评论区有 27 条追问 15。

X 上有三条可以顺着看。一位作者放出一个 29GB 的 Qwen Flash Next Gyro-s 量化，正好塞进 32GB 的卡、单张 5090 上 220 tok/s，他所有的小量化都要过自己那套 45 条提示的循环测试，这一档是少数通过的 16。另一位把 Strata 搬进了 Google AI Pro 赠送的 Colab A100 40GB，约 2bit 的 125B 能跑到最高 116.9 tok/s、预填充 2,572；他后来补了一句，换成 IQ3_S 在长输入下预填充 2,603、解码 103，与更低的 IQ2_XS 差别不大 17。第三位用两个 DGX Spark 跑 TensorFold 的配方，单请求 74 对 55 tok/s、8 路并发 390 对 256 18。

第一句，把「换掉了什么」和「读数变了多少」分成两栏写。同一张 4090 换引擎带来 2.5 倍，同一张 3090 换内核带来 1.9 倍，同一张 5090 换一档量化带来两成 124。

第二句，快的那个档常常在别的栏目上更穷。IQ3_XXS 快两成，代价是上下文砍半、难题 0/4；开 MTP 把 320B 从 39.7 拉到 61，代价是再放不下图片 78。

第三句，速度那一栏好看的时候，去看等的那一栏。解码 85 tok/s 的那台机器，单件活仍要半小时到四十分钟，最长一次跑掉 13 小时，其中大半时间在两个调用之间 6。

留一个今天就能做的核对项：把你手上那套配置的三个数抄下来——GPU 上的专家缓存还剩多少、KV 有没有放到主机内存、上下文容量开到多大。这三栏是本期里互相挤压最狠的三栏，先看清自己站在哪一档，再决定要不要跟着换引擎或换量化档 67。