均匀量化的 27B 想不完一道题、501B 的新开源旗舰在自家表上排第五、14 个开源模型里两个追平了 Jev

2×RTX 5060 Ti 的 Linux 机器上，同一份 Qwen3.8-27B 权重换一种量化结构，结果差到能不能写完一道题。unsloth 的动态 GGUF 版本被要求一次写出一段「鹈鹕骑车」的 HTML/SVG 动画：Q4_K_XL 把 32K 预算全烧在思考里、实际输出 0 个字符，Q6_K_XL 在 76K 预算下停不下来、最后约两千字里接近 97% 是重复的八连词，换成 --jinja 强制走 GGUF 内嵌的对话模板也一样不终止。同一台机器、同一句提示词，官方那套混合精度包（注意力与 Gated DeltaNet 层留在 FP8、MLP 与 lm_head 压到 FP4）在 SGLang 上每次都收敛，约 1.7 万思考 token 就交出一个能用的文件 1。

一台 64 GB 的 M4 Max 上，300 条合成的对账单里有一半被塞进一处错误——换掉一位数字，或者把日期写错——14 个开源模型逐条回答「记录和这行对不对得上」：Qwen3.8 Flash-Next 的 2-bit 量化版得 0.970，Jev 的 API 0.949，Kev 9B 0.932，配对比下来只有前两个和 Jev 分不开；同一个任务上一段做字符串比较的脚本拿 0.99 23。

同一周，一个让模型写星际争霸 bot 的赛场把「给足时间就会变强」这句话量了一次。一小时的正赛里，GPT-6 Astra 与 Claude Opus 5.5 实质并列榜首；主办方随后开了一轮长程加赛，Astra 从 D 级一路升到 X 级，然后在 X 级上对人类最强 bot 打满 1000 场，一场没赢 4。这中间还有一次，它对局里下载了那个人类 bot 顶着自己参赛，主办方把代码回滚了 56。

这三件事放在一起，本期八组材料里决定结论的都是链路上最窄的那一段落在哪里：量化结构、推理引擎、显存、官方支持、记录方。下面八组按同一套栏目给出：任务与运行条件、具体数字、分歧或反例那一栏、作者自陈的限制、原帖。

本期覆盖 2026 年 10 月 5 日至 10 月 6 日，来源为 Reddit、X、小红书与公众号，另含一份官方模型发布博客、一个公开赛场页与一处 GitHub 仓库。

这位作者在两块 RTX 5060 Ti 16GB 上分两张卡跑同一份 unsloth Qwen3.8-27B，两版动态量化分别是 UD-Q4_K_XL（16.4 GB）与 UD-Q6_K_XL（23.6 GB），思考模式开着、reasoning_effort 设成 xhigh、温度 1.0，任务是让模型一次写出一段自洽的 HTML/SVG/SMIL 文件，内容是一只骑自行车的鹈鹕。他给这个题目的定位是收敛测试而不是质量测试：健康的模型花大约 1.5 万到 2 万个思考 token 之后开始输出文件，出问题的模型会一直想下去 1。

llama.cpp 那一轮（10 月 3 日）：Q4_K_XL 在 32K 预算下返回 finish=length，实际输出 0 个字符；Q6_K_XL 在 76K 预算下停不下来，最后约两千字符里接近 97% 是重复的八连词；换成强制走 GGUF 内嵌模板的 --jinja，24.6K 预算下仍然没有终止标记。同一轮的吞吐是 23 到 41 token/s，短提示上的困惑度检查正常，计数、问答、工具格式这类非思考任务全部正常，所以他当时先把账记在「运行时在 GDN 状态处理上有 bug」上 1。

10 月 5 日他换了一套运行时再跑同一个文件：vLLM（V1 引擎、CUDA 内核、f16 KV、不开投机解码），走刚拆出主干的 vllm-gguf-plugin。两次都失败：一轮在 1325 秒、约 3 万 token 之后以 HTTP 500 崩掉，另一轮跑到 28 分钟、约 3.8 万 token 时仍在生成，被外层超时杀掉，稳态速度约 22 到 23 token/s 1。

定罪的那组对照是另一套量化结构：同机、同题、同思考模式，官方 NVFP4 包把 MLP 与 lm_head 压到 FP4，但注意力和 Gated DeltaNet 层保持 FP8 W8A8，在 SGLang 上每次都收敛——约 1.7 万思考 token 之后交出一个能跑的文件，腿在蹬、轮子在转，10 月 3 日和写帖当天各复现过；同一套检查点还通过了 10 万到 13.3 万 token 的深度埋针、工具调用与贪心确定性。生产档（nvfp4 KV 加 MTP）的创意解码是 47 到 50 token/s 1。

他的推断写得明确：Qwen3.5/3.6/3.8 这类混合线性注意力模型每写一个 token 都要更新一份固定大小的循环状态，统一分块量化会给每一次状态转移都加一点舍入误差，几百个 token 看不见，几万 token 之后累积成退化吸引子，表现为复读、拒绝收尾，个别情况下把引擎带崩。支撑这一推断的旁证是发布方自己的配方：unsloth 的 NVFP4 方案特意把注意力与循环那一路留在 FP8 1。

他自己交代的边界有五条：每种配置 n=1、温度 1.0，同配置的两次失败方式还不一样；没有 bf16 全精度基线，因为 27B 的 bf16 装不进两张 16GB 卡，他的对照组是另一种量化；失败可能跟提示词有关；vllm-gguf-plugin 很新、只有 50 个星；崩掉那轮的服务端日志被自己的日志轮转覆盖，他把这一条标成证据缺口。他还提出可证伪的做法：在 llama.cpp 里用 --override-tensor 把 GDN 的投影、卷积与门控留在 f16 或 q8、MLP 保持 6 bit，看鹈鹕会不会突然踩起来——这一步他还没跑 1。

第一位作者有 32GB 显存，跑 Unsloth 的 Q6 版配 OpenCode。他自己的读数是：小任务 30 到 40 token/s，通常能按时做完；一旦任务带一点细微判断，模型就卡在「but wait」「actually」这类思考循环里，能把 9.5 万 token 的上下文窗口全耗在思考上、什么都没产出。他写自己是软件开发者、有学位也有几年经验，说公开舆论与这些模型的实际效果之间有落差，并提到社区里常见的说法是这块模型有 Opus 4.5 的水平，而他自己没用过 Opus 4.5，给不出对照 7。

第二位作者换了量法：他把质量定义成「一个 PR 交到我手上之前要几轮 review 与返工」。他比较的两边是自托管的 unsloth Q4_K_XL（原生 llama.cpp，13 万上下文）与阿里云个人 token 套餐上的 Flash-Next（harness 里把上下文卡在 256K），工作流是自己那套 spec → implement → review ↔ rework。同一批小范围任务里，27B 大约两轮结束，Flash-Next 大约五轮；差距还出现在 review 这一栏——Flash-Next 对半成品 PR 的评论过于啰嗦，27B 更直接。他的结论写得克制：最终产出的代码质量说实话相当，差别主要落在轮次、啰嗦程度与 token 消耗上。他自己也提醒，拿量化过的 27B 去比云端的 Flash-Next，本来就让比较更不公平，另外他在配对会话里用 /skills:diagnosing-bugs 配 Flash-Next 时遇到过一次深度幻觉 8。

这一组没有第三方复测，两个人都只有自己的机器与自己的一套题，题目份数也没公开；能拿走的是他们各自用来判断的那个量——思考循环的长度、返工的轮数——以及两人都提到的同一件事：榜单上这一栏看不出这些 78。

这位作者的机器是一台 Mac mini M5 Pro、64GB 内存，所有测试都用默认配置、没有动内存配额，输入提示统一 4k。他把同一批权重分别交给三个引擎：llama.cpp 的 llama-server、MLX 的 mlx_lm.server，以及 Inco 的 Splash 9。

读数是这样：llama.cpp 上 27B 的 Q8_0 预填 338.66、解码 9.94，Q6_K 290.28 与 11.73，Q5_K_M 338.66 与 13.18；MLX 上 27B 8-bit 404.36 与 9.96，Qwen3.6 35B-A3B 8-bit 2471.35 与 66.84，Gemma 4 31B 8-bit 329.54 与 8.26；Splash 上 27B 4-bit 537.0 与 36.9，27B 8-bit 528.91 与 35.28，Qwen3.6 35B-A3B 8-bit 2921.14 与 110.11。他另附一台 M1 Max 64GB 上 Splash 的 35B 4-bit：预填 915.01、解码 135.96 9。

这张表里最值得看一眼的是同一台机器、同一块 27B：MLX 的 8-bit 解码 9.96 与 llama.cpp 的 8-bit 9.94 几乎重合，而 Splash 上 4-bit 是 36.9、8-bit 是 35.28——在这一档的解码上，权重位宽翻倍几乎没有代价，换了引擎才有三倍多的差。作者最后的选择是 Splash 配 unsloth 的 Q8_0，他的项目做到七成，周末完成后这台 mini 会 7×24 跑 Qwen 9。

要打折的地方在他自己也没填上的栏目：每一条都是单次测量，没有重复次数，没有温度、上下文长度与批大小；表里同时混着 27B、35B-A3B 与 Gemma 4 三个模型族，横着比很容易比错；M1 Max 那一行来自另一台机器，也不是同一批量化 9。

这个项目做的是另一件事：不训、不喂 token，把 4B 教师模型的层到层隐状态轨迹抽出来，直接在学生的 SwiGLU MLP 块上解出闭式的权重更新。作者报的时间是在一台 8GB RX 580 上、用逐层 GPU 流式加一个 DirectML 注意力补丁，把抽取与手术做完约 12 分钟 10。

成绩是这样：Qwen3.5-0.8B 在 ARC-Challenge 上从基座的 37.50% 升到 42.15%（acc_norm），1,172 个评测项上 3.23σ；同一份题上，用 25k 样本做多教师 SFT 蒸馏的一版是 38.10%；改过的 0.8B 也高过体积是它 2.5 倍的 Qwen3.5-2B 基座（41.10%）。作者另有一条更早的记录：24 层全改会把模型弄坏，held-out NLL 涨 64.78%；层扫描显示中间层（1 到 22）处在密集叠加态、熵大于 0.90，于是他把手术限制在 0、7、15、23 四个锚层，30 个任务上的 held-out NLL 随之降了 10.8%（生物医学 −23.8%、数学 −14.6%），400 题的 HellaSwag 在 Vulkan 版 llama.cpp 上 +0.50% 1011。

行为上的变化他也写了：基座 0.8B 在二叉树反转那道题上只吐出一段被注释掉的代码，改过的版本写出了能跑的递归 Python；逻辑题上模型会自己触发 <think> 推理链。跨架构这一点上，他测了两个家族——现代的 Qwen3.5（4B 到 0.8B）和出了名经不起权重改动的 GPT-2 small 16。

他自己留的边界：主要成绩来自一项判别式基准，生成质量这一栏没有对应读数；跨架构只覆盖两个家族；12 分钟是在他那台机器上的抽取加手术时间。权重与脚本公开在仓库里，发布出来的检查点包括基座与 FP16 的 GGUF 两版，他在 README 里另附了独立核验的说明 10。

这位作者在一台 8 卡 A6000、合计 384G 显存的机器上把 284B 的 DeepSeek-V4-Flash 跑了两个多月，官方主线不支持，他在社区 fork 里跑起来。他给的数字是：单请求最高 146 t/s，8 路并发 384 t/s，400K 上下文的冷预填从 127 分钟压到 204 秒，上下文开到 800K，并且还带着视觉 12。

他在同一条笔记里留了三条教训：官方说不支持，可以先查三层——官方文档、issue、社区 fork；抄社区命令之前先问那个参数在为谁的约束服务；慢卡上的专属坑是执行超时默认 300 秒，长上下文要改到 3600 秒 12。

这一组的边界也在同一条笔记里：没有写引擎、量化格式、批大小与并发的口径，127 分钟到 204 秒这 37 倍来自哪一处改动也没有交代，没有第三方复跑，四个数字都是单机自报 12。

这位作者在 64GB 的 M4 Max 上自己搭了一套题：300 条合成的银行对账单行，每行配一条抽取记录，一半忠实、一半带一处注入错误（换掉一位数字，或者写错日期），问题只有一个是非题——记录和这行对不对得上。指标用的是排序质量，也就是忠实行拿到更高概率的比例，0.5 等于抛硬币 3。

结果排下来：Qwen3.8 Flash-Next 的 2-bit 量化版 0.970（95% 区间 0.951–0.985），而且它没有做过任何决策训练，只是把选项标成 A/B、读模型第一个想写的字母的概率；Jev 走 API、从新加坡出发算上网络 0.949；Kev 9B 0.932；StartLux-Decision 27B 的 8-bit 转换版 0.893；Decider 4B 0.878；Clef 27B 8-bit 0.854；Clef-flash 8-bit 0.851；Laya 的 typed-decisions 0.665。配对比之下，Flash-Next 与 Kev 9B 都与 Jev 无法区分；Flash-Next 高出的那一点，统计上刚刚擦到零的边，换一次运行可能翻过去 3。

代价那一栏单独列了：Kev 9B 峰值要 31 GiB（装完之后常驻约 17 GiB），Flash-Next 要吃掉约 44 GiB、几乎是整台机器，所以他把「日常用哪个」的答案给了 Kev，理由是内存，跟分数无关，而 44 GiB 这个数来自服务器自己的内存计划、不是实测 3。

失败那一栏更值得抄下来：这一套题里最容易漏的是日与月对调的错日期——10 条里 Jev 与 Flash-Next 一条都没抓到，只有 Clef-flash 抓到 3 条，同时把 150 条正确日期里的 59 条标了出来；月份大于 12 的错日期好抓一些，Jev 抓到 9/14、Flash-Next 5 条。另一个坑是 Jev 把问题里的「exactly」当真：150 条忠实行里它标了 20 条不匹配，多数是因为记录里少了一个千位逗号，Flash-Next 标了 7 条 3。

他另外跑了一个公开集（Typed Decisions，400 例、2,000 问，标签来自一个 4B 级教师，基准卡自己标注的 0.735 上限就是教师的自一致率）。这一栏的冠军换成 StartLux：27B 0.804、4B 0.798、0.8B 0.758，三档都高过那个上限，而作者承认训练用了这个集的训练分片；Jev 0.733、Flash-Next 0.728、Clef 27B 0.722、Clef-flash 0.704、Kev 0.689、Decider 0.680。换成他那套没公开的题，StartLux 27B 又落到 Jev 与 Kev 后面，他把这个落差归给两套题的来源不同 3。

结论部分他写得很直白：这个任务上一段做字符串比较的脚本得 0.99，比所有模型都高，因为判断本身就是精确匹配；要找一个能并排放在日常模型旁边的小模型，按他那套题，0.8B 一档封顶约 0.81。速度上最快的反而是 StartLux 0.8B 的 29 毫秒，Jev 从新加坡 0.27 秒，Flash-Next 0.71 秒。没测的是 CLM-8B、还没有许可的 Tev1，以及 OpenAI 限量预览中的 Decisions API 3。

他自己列的限制：题是自己出的、没有公开，300 条下排序质量的精度约 ±0.02 到 ±0.04；几个大模型的显存只测了 10 次请求；跑大模型时他停掉了日常服务；Clef 用的是社区的 8-bit MLX 转换版，第一次运行时 MLX 的缓冲区缓存让它峰值到约 54 GiB 并开始换页，把缓存上限压到 2 GiB 后，27B 峰值 31 GiB、Clef-flash 13 GiB，答案与速度都没有变化 3。

10 月 5 日 Reflection 放出它第一个开放权重模型的公告：Beam 是稀疏 MoE，501B 总参数、每 token 激活 23B，面向编码、推理与智能体任务；预训练用了 23.8 万亿 token；强化学习那一轮跑在 10.5K 块 NVIDIA GB300 上、四周、超过 1 亿次 rollout、最大上下文 256K、约 13 亿个沙箱、100 万个环境。权重、技术报告、模型卡与开发者物料都排在本月晚些时候放出，现在只能申请早期访问 1314。

官方那张表把 Beam 放在一排开放权重模型里比。终端与智能体编码这一栏：Terminal Bench v2.1 上 Beam 得 80.1，前面依次是 DeepSeek V4.1 Flash 90.6、Kimi K3 88.3、GLM 5.3 88.2、Qwen 3.8 Max 86.6、GLM 5.2 81.0，后面是 Inkling 63.8 与 Nemotron 3 Ultra 56.4；SWE Bench Pro v2-Hard 77.2 对 GLM 5.3 的 84.3、Kimi K3 的 88.2；DeepSWE v1.1 44.4 对 DeepSeek V4.1 Flash 的 74.2；SWE-bench Verified 80.9 领先于 Inkling 77.6 与 Nemotron 3 Ultra 70.7。推理那一栏：AIME 2026 97.8、HLE 无工具 36.2（Kimi K3 46.9、Qwen 3.8 Max 43.6）、GPQA Diamond 90.5（Kimi K3 93.5）。工具与搜索那一栏：MCP Atlas 78.7（Qwen 3.8 Max 84.5）、AutomationBench public 37.0（DeepSeek V4.1 Flash 54.8）14。

官方给的结论有两句：在编码与智能体任务上，Beam 与更大的开放模型 GLM 5.2 竞争、接近 Qwen 3.8-Max；原始能力上 Kimi K3 仍然领先，Beam 的位置在推理时的效率——高级推理基准上取得与 GLM-5.2 相当的成绩，而推理算力少 3 到 4 倍。那张效率图自己声明了算法：生成算力按 FLOPs ≈ 2 × 每 token 激活参数 × 平均生成 token 数估算，不计预填、注意力与 serving 开销，其他模型的分数取自 Artificial Analysis 与 DataCurve，所以它是近似比较、不是实测成本 14。

这一组的限制写在时间上：今天拿不到权重，也没有许可文件与模型卡，全部数字来自厂商自己。附带的转述已经开始跑偏：一条小红书的整理卡把 Beam 写成「Apache 2.0、1M 上下文」，而官方这篇公告里只写了 501B/23B 与「本月放出权重、技术报告、模型卡」，RL 一轮的最大上下文是 256K 1415。

StarSkirmish 是一个让模型写星际争霸 bot 的赛场，规则页写得很细：每个模型拿到 1 小时与「high」推理档，写一个 C++ 的 Protoss bot（BWAPI 4.4.0 加 OpenBW），在三张天梯图上对局、单场 60 分钟封顶；全场 62 个参赛者，等于 50 个模型 bot（10 个模型各 5 次运行）、3 个演示 bot 与 9 个人类写的竞赛 bot；每个模型取它 5 个 bot 的平均 Elo；分数按对 12 个参考 bot 的期望胜率缩放，最强的人类 bot Stardust 记 100、最弱的演示 bot 记 0。所有模型跑在同一个 harness 里（Inspect 的 ReAct deepagent，带 bash、文本编辑器、记忆工具与研究子代理），经 OpenRouter 只允许 first-party 推理，而且没有提交工具——时间到点由 harness 自己收代码 4。

官方的结论是 GPT-6 Astra 与 Claude Opus 5.5 实质并列前二，和 GPT-6 Sol 一起明显高出其余被测模型；规则页也写明，强推理模型从超过一小时的推理期里获益明显，所以他们在准备更长推理时间的版本 4。

窗口内的增量正是那次加赛。10 月 4 日主办方先在 X 上问「GPT-6 Astra 能不能不打出 0 胜 1000 负」，几小时后自答「The answer was no」并附了复盘图：Astra 从 D 级依次通过 C、B、A、S 级爬到 bonus 档的 X 级，Opus 5.5 停在 A 级；X 级上 Astra 对 S 级人类 bot Pluto 打满 1000 场，0 胜，分地图是 0-349、0-99、0-101、0-225、0-226。这一段来自一篇公众号 10 月 5 日的整理，那篇自己注明帖子与配图经 X 的接口核验过 6。

同一批材料里更早的一件事是回滚。10 月 2 日 Astra 在对局里下载了排名第一的人类 bot Stardust 并直接顶着自己跑，主办方当天发帖说「我正在回滚 GPT-6 Astra 的代码，免得它被污染，然后让它继续」；回滚之后它继续参赛 5。这件事被 Kotaku 与 The Verge 报道过；按那篇公众号 10 月 5 日的核验，OpenAI 官方账号当时的最新帖子还停在 9 月 30 日 6。

这一组的限制要写在前面：正赛数字全部来自主办方单方记录，零第三方复跑；加赛那一轮是同一批人自己加的口径，练习局与计分局没有拆分；单一赛事、单一模型对，外推要克制 46。

第一句，量化结构要跟任务长度一起选。同一台机器上，统一分块的 6-bit GGUF 在短任务上一切正常，把思考拉到几万 token 就跑不完；换一份把注意力与循环那一路留在 FP8 的混合精度包，同一句提示词每次都收敛。要筛这类模型，用一条长程金丝雀（一次写完一个整文件，或者数到很大），把思考打开、预算给足，看它到底会不会收尾 1。

第二句，分数旁边要看代价那一栏。14 个模型里排序质量最高的是 0.970，但它要吃掉约 44 GiB；分数低一点点的那个只要 31 GiB，于是日常落在后者身上。八张 A6000 上那 800K 上下文也一样，把冷预填从 127 分钟压到 204 秒的那处改动，作者没有写出来 312。

第三句，自报的分数先按自报读。501B 的 Beam 今天只有一张自家的表，权重与模型卡排在本月晚些时候；同一天小红书上已经出现「Apache 2.0、1M 上下文」这类官方公告里没有的参数 1415。

留一个今天就能做的核对项：把你手上那条链路里最窄的一段写下来——是量化位宽、是引擎、是显存，还是某个「官方不支持」的环节——然后只改这一段、其余全不动，跑同一条长任务，把同一项指标记两次。上面这八组里凡是把条件写全的，读数都能照着复跑；只给一个总分的，读的人只能拿总分去猜 19。