
同题 GTA 较量、双卡推测解码翻转与过度思考代价:大模型实测迎来端到端检验
本期实测覆盖同题网页版 GTA 游戏中单 Agent 与 32 Agent 的耗时与交付手感分水岭、本地双卡下 Qwen3.8 推测解码器在代码与散文中的速度翻转、逆向抓包揭示的小米 MiMo 自动化路由与思考过度代价、科研全链路复现与 100k 上下文吞吐陷阱,以及 SWE-2 在新旧评测集间的 65.5 分断崖。
在过去 24 小时里,开源社区与技术平台上的模型讨论,焦点全面转向端到端任务的真实执行表现。当开发者把模型放进实际开发环境、本地双卡服务器以及逆向抓包链路中,评测结果开始呈现极具反差的细节:单智能体架构在突发吞吐支持下能够更快完成原型游戏,推测解码器的加速效果取决于文本类型,云端客户端静默抹平了用户的思考强度设定,而长上下文的生成速率可能出现断崖式下跌。
本期雷达追踪了 2026 年 9 月 11 日至 9 月 12 日期间,在 X、Reddit 与小红书上引发密集复现与技术争议的 5 组一线实测。所有案例均具备具体任务、明确运行条件与可复核的原帖记录。
5 组核心实测总览
| 任务类型 | 对比对象与版本 | 核心结果与优势项 | 成本与速度表现 | 关键局限与分歧 |
|---|---|---|---|---|
| 网页 3D 开放世界小游戏 | GPT-6 Astra(单 Agent)vs Claude Fable 5.1(32 Agent 编排)1 | Astra 交付了可直接操作的 3/4 俯视角小游戏,车流与碰撞逻辑完整 | Astra 耗时约 55 分钟(7.23M tokens);Fable 耗时 6 小时 15 分钟(4.58M tokens) | 单次提示词测试(n=1);Astra 短时间算力脉冲极高;社区对其长期可维护性存疑 |
| 本地推测解码 Drafter 选型 | Qwen3.8-27B 在 SGLang 下对比 DFlash2 与 DSpark 2 | 代码任务中 DFlash2 领跑,散文任务中 DSpark 胜出,工作负载决定最优候选器 | 代码:DFlash2 达到 187 tok/s(提升 39%);散文:DSpark 达到 67 tok/s 且零弱批次 | AWQ-INT4 量化噪声干扰扩散选择器;两类生成器对隐藏层特征依赖机制不同 |
| 客户端思考调度与逆向抓包 | 小米 MiMo 桌面端(OpenCode 二次开发)vs GLM-5.3-Flash 3 | MiMo 简单任务仅需 1.3 秒,完成 14 万 token 检索耗时 5.4 秒 | MiMo 响应速度比 GLM 快 5 到 10 倍;本地 157MB ONNX 模型按难度分流 | 客户端完全静默忽略 9 种思考参数;GLM 深度思考在数学题上思考 4 万字符全错 |
| 端侧科研流水线与长上下文 | Qwen3.8-27B vs 3.5/3.6-35B 系列及 Flash-Next 4 | 27B 在 5 项应用科学任务中展现出极高的细节捕捉力,token 消耗降低 22%~33% | 硬件内存占用更低;相比云端 GLM-5.3 API 质量差距极微 | 总物理墙钟时间拉长 3 到 4 倍;Flash-Next 上下文超过 100k 时吞吐跌至 12~18 TPS |
| 框架换壳分差与基准断崖 | Cognition SWE-2 跨版本评测与 DeepSeek V4.1 框架横评 56 | SWE-2 在旧榜获 92.8%,在新榜仅 27.3%;同模型在 mini-SWE 框架下代码得分最高(74.2%) | SWE-2 步数减少 58%,成本降 81%;框架切换带来 8.7 个百分点分差 | 固定题库存在过拟合;不同测试任务对框架复杂度需求相反 |
1. 同题“制作 GTA 小游戏”:单智能体的高速突击与 32 个智能体的架构阻塞
在 X 平台上,独立技术研究者 Hakimi Eiqbal 公布了一组端到端代码生成对照 1。作者给 GPT-6 Astra 与 Claude Fable 5.1 输入了完全相同的提示词:“build me GTA”,要求系统在零人工干预下,自主构建一个可在浏览器内运行的开放世界小游戏,包含角色行走、劫车、交通车流移动以及车辆碰撞物理机制。
Loading content card…
两个系统在执行编排策略上展现出巨大反差:
- Claude Fable 5.1:启动了完整的企业级多智能体流水线,包含 13 个负责实现的代码智能体和 19 个负责审查的审核智能体,总计 32 个智能体并行工作。整个任务耗时约 6 小时 15 分钟,总计消耗 4.58M tokens 1。
- GPT-6 Astra:采用单智能体直驱模式。从接收指令到输出完整代码,实际工作耗时约 55 分钟,总计消耗 7.23M tokens 1。
交付产物的可玩性对比非常鲜明。Astra 生成了一个类似早期经典 GTA 的 3/4 俯视视角小游戏,场景内包含可正常运转的网格道路、自动寻路的车流以及流畅的角色交互按键。相比之下,Fable 5.1 生成的产物把大量算力花费在类型定义与模块审查上,最终运行演示的游戏手感和动态交互反而明显落后 1。
这组测试在社区内激起了热烈探讨。开发者 SolipsRenatus 指出,单次提示词运行属于典型的孤立样本,需要 50 次以上重复测试才能构成严谨基准 1。评论区多位开发者进一步拆解了背后的算力代价:Astra 在 55 分钟内消耗了 723 万个 token,平均每分钟吞吐量极大,属于高度密集的算力突发;而 Fable 5.1 多达 19 个审查节点互相等待并反复比对代码,导致大部分时间消耗在智能体间的协作开销与通信阻塞上。开发者 CryptosR_Us 总结了两者的分工倾向:Fable 倾向于优先搭建模块化解耦的基础骨架,Astra 则直奔玩法逻辑与视觉渲染,在单次原型开发场景下,后者的收敛速度显著占优 1。
2. 本地双卡推测解码实测:代码选扩散,长文选马尔可夫
在模型推理部署层面,推测解码技术能够利用小型候选生成器(drafter)提升大模型的生成速度。技术开发者 li 在双卡 RTX 3090 服务器上完成了一组严格控制变量的推测解码 A/B 测试 2。
Loading content card…
测试环境固定为:双路 RTX 3090(共 48GB 显存),推理框架为 SGLang 0.5.19,开启张量并行(TP=2)与 FP8 KV Cache。目标模型采用 AWQ-INT4 量化版的 Qwen3.8-27B。在保持所有启动参数完全一致的前提下,测试仅切换推测解码的候选生成器:Inco AI 开发的块扩散候选器 DFlash2,以及 RadixArk 开发的 5 层注意力加马尔可夫头候选器 DSpark 2。
实测数据显示,两款候选生成器的胜负完全取决于任务类型:
- 代码与数学逻辑:DFlash2 跑出了 187 tok/s 的生成速度,DSpark 为 135 tok/s,DFlash2 速度领先 39%。作者分析指出,DFlash2 单步耗时更低(40.3 steps/s 对比 37.6 steps/s),其在代码任务上的优势主要源自更高的预测命中率 2。
- 高熵散文与连续文本:局面发生反转,DSpark 达到 67 tok/s,DFlash2 降至 57 tok/s。在散文测试中,DFlash2 出现了 22% 至 29% 的“弱批次(weak batches)”现象,预测频繁被目标模型拒绝;而 DSpark 依托读取目标模型第 5、19、33、47、61 层的辅助特征并配合置信度头,做到了零弱批次回退 2。
作者在追问回复中披露了关键的工程细节:由于目标模型运行在 AWQ-INT4 低比特量化下,DFlash2 的路径选择器读取融合隐藏状态时,更容易受到量化噪声干扰;而 DSpark 从设计之初就针对量化权重完成了特征校准。这组实测明确证实,推测解码工具的选择必须与具体业务场景绑定,代码环境优先部署块扩散机制,长篇创作与知识整理则更适合多层辅助注意力方案 2。
3. 客户端逆向实测:静默生效的自动路由与过度思考的负收益
在端侧智能体工具链方面,小红书技术创作者“隐士”对小米 MiMo 桌面客户端(基于开源 OpenCode 二次开发)展开了逆向拆解与抓包分析 3。作者通过模拟客户端与云端路由直连,对思考强度的实际调度逻辑进行了全链路对照。
逆向分析揭示了客户端在调度控制上的底层逻辑:
- 思考档位参数被服务端静默忽略:客户端界面并未提供手动调节思考深度的选项,模型目录中也不存在变体配置。测试脚本向服务端发送包含
reasoning_effort、enable_thinking等 9 种常见的思考控制参数时,服务端统一返回 200 状态码,但在模型实际推理行为上呈现零差异。模型思考过程完全交由服务端自适应判定:简单问题仅思考 1 个字符,复杂问题自动扩展至 2 万个字符 3。 - 本地 ONNX 分类器决定模型走向:所谓的
mimo-auto路由在服务端并不存在,而是由客户端内置的一个 157MB ONNX 模型在本地执行前置意图分类。当分类器判定任务简单且置信度大于等于 0.9 时,请求直接流向 Flash 模型,其余请求自动派发至 Pro 模型 3。
在包含 21 个可程序化验证计分点的测试集中,GLM-5.3-Flash 拿下 19 分,mimo-x-flash 取得 16 分,mimo-x-pro 取得 15 分(含 2 分格式失分)。而在执行速度上,MiMo 表现出巨大优势:简单任务耗时仅 1.3 秒,而 GLM 需要 14.2 秒;在 14 万 token 级别的长文本检索中,MiMo 仅耗时 5.4 秒即可返回结果 3。
测试中同时记录到了关于思考深度的典型反例:GLM-5.3-Flash 的最高思考档位在代码题中表现稳定,取得 34 题全对的成绩(对比最低档位的 27/34);但在数学推理题目中,模型在最高档位下耗费 4 万字符的长程思考,结果 2 道题目全部答错,反而低思考档位取得了 3/4 的正确率。该案例表明长程思考链在特定数理任务中可能产生推理发散,工程应用中盲目拉满思考预算存在明确的质量回退风险 3。
4. 端侧科研全链路复现:27B 细节超越 35B,但伴随 4 倍耗时与 100k 吞吐断崖
针对企业私有计算与本地研究环境,Reddit 社区 r/LocalLLaMA 用户 JLeonsarmiento 分享了在笔记本硬件上使用 Qwen3.8-27B 完整复现 5 个真实科研项目的体验 4。复现范围覆盖了应用科学的全生命周期,包括工作流设计、数据清洗流水线搭建、实验结果统计分析、学术报告撰写以及在线数据发布。
Loading content card…
实测对比呈现出明显的质量提升与时间代价:
- 交付质量与 token 效率显著优化:在中等思考强度下,Qwen3.8-27B 完成全部任务消耗的 token 量比上一代 3.5/3.6-35B-A3B 系列减少了 22% 至 33%,显存占用更低,避免了反复触发上下文压缩。其在复杂流程细节上的推导质量全面压制了旧款 35B 模型,且十分接近商业版 GLM-5.3 API 的表现 4。
- 物理墙钟时间大幅拉长:为了维持高精度的长程推断,本地执行的总墙钟时间增加了 3 到 4 倍,严重压低了单台工作站单日能够交付的任务批次 4。
在帖子评论区,多位本地开发者进一步指出了长上下文场景下的物理吞吐瓶颈。开发者 rahulkadukar 在对比测试中指出,Qwen-Flash-Next 在长文本状态下表现出明显的衰减效应:当上下文长度突破 100k tokens 以后,生成速度迅速从初始的 30~40 TPS 跌落至 12~18 TPS;作为对照的 DeepSeek V4-Flash Q8 则能在 1M 上下文区间稳定维持 15 TPS 4。开发者 ChopSticksPlease 补充分享了在双卡 RTX 3090 下运行 llama.cpp 的极限量化配置(131,072 上下文,Q8 KV,层切分参数
-ts 26,10),其实测 Prompt 预填充速度保持在 130~200 TPS,而实际文本解码生成速度同样回落至 14~22 TPS 区间。这为本地硬件运行长程任务划定了真实的吞吐底线。5. 换“壳”的分差与基准断崖:SWE-2 的 65.5 分落差与 DeepSeek 8 框架横评
在编程智能体领域,单一评测榜单的高分与生产环境体验的背离,正促使行业建立更立体的评估视角。小红书创作者“盲恋”分析了 Cognition 公司最新发布的 SWE-2 在多套公开基准上的极端表现 5。该模型以 Kimi K3 为底座强化训练,在官方 FrontierCode 1.1 基准上获得 50.0% 的高分(接近 Claude Fable 5.1),步骤减少 58%,成本降低 81%。
然而在公开终端基准测试中,同一款 SWE-2 在旧版 Terminal-Bench 2.1 上录得高达 92.8% 的解决率,但迁移至更新后的 Terminal-Bench 4.0 时,成绩急剧收缩至 27.3%,产生了 65.5 个百分点的巨大落差 5。这一分差充分展示了模型在长期训练中针对固定测试套件产生的适应性记忆,一旦评测集的工具环境和任务分布更新,脆弱的泛化边界便会显现。
与模型记忆相对应的是外部运行脚手架(Harness)对模型交付能力的影响。小红书创作者“忒思特”跟进了 DeepSeek 官方针对同一个 V4.1 Flash 模型搭配 8 种 Agent 框架的实测矩阵 6。
数据表明,组织模型干活的流程差异能够直接拉开近 9 个百分点的差距:在代码基准 DeepSWE v1.1 中,结构精简的开源框架 mini-SWE 获得了 74.2% 的成功率,而功能更为厚重的 OpenCode 仅为 65.5%,两者分差达 8.7 个百分点;官方的 DeepSeek Harness 中,精简模式 Minimal 为 72.6%,标准模式 Standard 为 70.5%,更复杂的流程反而造成得分下滑 6。但当测试切换到终端命令行运维 Terminal-Bench 2.1 时,Minimal(90.6%)又微弱反超了 mini-SWE(90.3%)。这证明不存在通用的最佳框架,任务链路越长,轻量、低干扰的调度设计反而更有利于模型保持推理专注。
总结:依据工程约束设计模型链路
综合本轮跨平台的实测数据与逆向记录,开发团队在架构选型中可落实以下技术准则:
- 单智能体与多智能体分工:在需要快速交付可玩原型或短程代码的场景下,单智能体模式凭借高突发吞吐能够更快收敛;多智能体流水线适合结构严谨的长期重构,但必须严格防范审核节点带来的通信阻塞与 token 膨胀。
- 推测解码器依据负载类型分流:本地大模型加速需要区分文本特征。高规律性的代码与数学推理优先匹配块扩散机制(如 DFlash2),而在涉及多轮对话与散文生成的场景中,优先采用具备注意力辅助特征的候选器(如 DSpark)消除弱批次回退。
- 警惕思考预算的边际收益递减:推理模型的深度思考在逻辑链条严密的场景中具有价值,但在开放计算与数学题目中,过度思考可能诱发推理过拟合。在生产环境中应尽量保留手动调节权限,避免被黑盒自动策略锁定。
- 本地长上下文任务的吞吐规划:端侧硬件运行复杂科研流程具备更严密的数据控制力,但需提前将 3 到 4 倍的墙钟耗时纳入排期;当单任务上下文突破 100k 时,必须实测文本生成 TPS 的实际衰减幅度,作为集群容量规划的依据。
样本边界与核验说明
本文汇总的实测案例来自 2026 年 9 月 11 日至 9 月 12 日 X、Reddit 与小红书公开讨论区中具备明确提示词输入、硬件配置与日志输出的记录。各测试存在以下环境边界:网页 GTA 制作依赖特定单次提示词运行环境,未做大规模统计回归;双卡推测解码基于特定 AWQ-INT4 量化模型和硬件组合;MiMo 抓包基于特定版本客户端二进制与云端接口行为;科研复现基于单台笔记本硬件环境;SWE-2 与框架横评数据引用自厂商公开报告。各项方案在引入生产业务前,均需基于自有业务数据开展小规模验证。
References
- 1
- 2
- 3
- 4
- 5Cognition SWE-2 Benchmark Discrepancy Analysis
xiaohongshu.com
- 6DeepSeek V4.1 Flash Multi-Agent Framework Benchmark
xiaohongshu.com
This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.
