AI 产品经理面试简报 17：COBOL 迁移、推理栈开源、27 小时通关

先看结论

01 COBOL 迁移：验收写得很死，判分握在一家手里

发生了什么

产品机制：什么叫迁移成功，文章把它写死了

用户价值

产品经理如何落地

可验证指标

• 评测规模：20 种语言；原始 SQLite TCL 测试 5.1 万条，可转换为 2.4 万条用例，仓库实际收 2.29 万个；建议复跑 272 条。7
• 平均通过率：GPT-6 Astra 87.4%，GPT-6.1 Sol 87.04%，GPT-6 Sol 57.66%，GPT-6 Luna 40.31%，GPT-5.6 Terra 37.92%，GPT-5.6 Sol 26.77%，GPT-5.5 25.81%，GPT-5.4 17.42%。2
• 单项分数：COBOL 72.1%、Fortran 83.5%、Visual Basic 89.4%、OCaml 85.8%。2
• 迁移分数：GPT-6.1 Sol 86.6%（低推理强度）与 97.9%（高推理强度），基线 GPT-5.6 Sol 5.4%。2
• 成本：Luna 每样本 0.77 美元，GPT-5.6 Sol 3.48 美元；迁移评测成本为基线的 61%。2
• 许可证：MultiLangBench 为 Apache-2.0，仓库规模 13 个 star、3 个提交（2026-10-21 读取）。7
• 未公开：迁移评测的题量、题目来源、高推理强度档的成本。2

风险边界

面试可直接说

10 月 19 日 OpenAI 发了一篇低资源语言的研究文章，没有新模型，内容是对 GPT-6 家族的补测：自建了 MultiLangBench，让模型用 20 种语言从零写一个兼容 SQLite 3.40.1 的数据库引擎，Astra 平均通过率 87.4%，COBOL 单项 72.1%；另一个评测是把 COBOL 迁到 C++、Java、Kotlin、Python 或 Rust 并保持行为，GPT-6.1 Sol 从 86.6% 到 97.9%。我更看重它把「迁移成功」定义成了可执行判定：可观察输出逐字节一致、全部测试通过。这个定义很好用，因为 COBOL 的定点运算默认截断，重写版改成四舍五入就能无报错地算错钱。边界也要说清：MultiLangBench 开源可复跑，迁移评测用的是外部看不到的隐藏测试，没有任何第三方验证；而且 97.9% 已经接近饱和，区分度在下降。

面试官追问

• 你怎么用一组厂商自评的数字判断模型能力？答题时把能复核的那一半与只能当参考的那一半分开说。
• 遗留系统迁移的验收标准你会怎么写？从可观察输出的对账规则写起，再补影子运行与回滚。
• 如果模型报告 97.9%，你会怎么设计上线门槛？把通过率换成每天的对账差异条数。

02 推理栈：省成本的那一段开源了，另一半留在内部

发生了什么

产品机制：框架被切成了两半

用户价值

产品经理如何落地

可验证指标

• 性能图的条件：解码 EP64DP64、384 加 64 个专家、131,072 上下文、nextn 固定为 3、接受率 75%（τ 等于 3.25）。10
• 解码吞吐：64 张 SM100，每个 DP 副本 256 个请求时约 26,200 tokens/s/GPU，单用户约 103 tokens/s。10
• 预填充吞吐：4 张 SM100，每副本 65,536 token 时约 88,000 tokens/s/GPU，单步约 730 毫秒。10
• 唯一的整栈生产数字：单集群 155 万亿 token/天，每卡每小时 38 美元，官方注明是收入口径、按谷价计算。10
• 仓库状态：12,509 star、1,139 fork、3 个提交、0 个 release、119 个待处理合并请求（2026-10-21 读取）。29
• 许可证：框架 Apache-2.0，编解码 MIT，权重 MIT。293031

风险边界

面试可直接说

10 月 20 日 DeepSeek 开源了 DeepInfer，它在自己生产环境里跑推理用的框架，Apache-2.0，只支持 V4.1-Flash 一个模型，硬件只有 SM100 与昇腾 950。开源的是离线推理核心：零开销调度器、DSpark 投机解码、SWA 有界重放、专家负载均衡、结构化输出。缺的三块官方自己列了：KV cache 系统、预填充与解码的分离部署、数据并行副本的负载均衡，理由是跟内部基础设施耦合太深。所以我不会把它当降本测算，会当参考实现读。它给的百分比都是组件级、带基线的，比如 DSpark 相对固定 5 token 验证快 4% 到 7%，16 条并发时反而慢 1.5%；跟 vLLM 的对照干脆没有，彭博也写明尚无独立复测。自建门槛是 128 张卡起、3FS 一侧约 100 PiB。

面试官追问

• 你要不要用开源推理框架替换现有栈？先算 128 张卡与存储门槛，再估缺的三块自建成本。
• 怎么评估一个「省成本」的技术发布？先分清哪个数字是成本、哪个是收入、基线是什么。
• 自建推理的单位成本怎么算？用官方定价搭算例，再把运维与利用率折进去。

03 通关：一个长任务被压成三个数，缺的是「跑了几次」

发生了什么

产品机制：把操作写成代码

用户价值

产品经理如何落地

可验证指标

• 时间：27 小时 14 分 12 秒，从第一个程序算到末影龙死亡；墙钟时间，其中含 6 次服务器重启、累计停顿约 20 分钟，跨约 81 个游戏日。5
• 成本四档：玩家打到通关，促销价约 520 美元、标准价约 1,040 美元；整场含观察者与赢后一天，约 810 美元与 1,620 美元。5
• token 账：13.5 亿输入 token（其中 91% 命中缓存）、1,600 万输出 token（含 400 万思考 token）、约 24,000 次模型调用。5
• 复算：拿论文的 token 拆分自己算一遍，12.285 亿缓存 token、1.215 亿未缓存输入、1,600 万输出，代入促销价得 525.9 美元，与论文的 520 美元对得上；按标准价翻倍后是 1,051.7 与 1,620 美元，与论文的 1,040 与 1,620 对得上。515
• 今天跑一遍的价格：促销价仍有效到 2026 年 11 月 30 日，现在跑是 520 与 810 美元；标准价 4 美元输入、20 美元输出自 2026 年 12 月 1 日生效，届时是 1,040 与 1,620 美元。15
• 对照：单个 Claude Opus 5 智能体配 37 个现成高层工具、Normal 难度，用时 3 小时 56 分、388 次工具调用、1 次死亡，API 等价成本约 93 美元；它跑得比那四只快、花得比它们少，条件是手里有 37 个游戏专用工具。38
• 公开讨论热度：HN 上以论文链接提交的两个帖子分别拿到 5 分 0 评论与 3 分 1 评论。39

风险边界

面试可直接说

10 月 15 日 DeepMind 三个人挂了一篇 arXiv：四个 Gemini 4 Argon 智能体，加一个只读的观察者，被丢进随机生成、Easy 难度、关了作弊的 Minecraft，27 小时 14 分后击杀末影龙。它们的操作方式是写 JavaScript 程序去驱动角色，不按键鼠；分工是第一个程序跑完 10 分钟后在游戏聊天里自己谈出来的；上下文靠聊天与共享记忆传递，太长就自己压缩。成本按列表价算，打到通关约 520 美元（促销价）或 1,040 美元（标准价），整场含观察者约 810 与 1,620 美元。我关注的是它的报价结构：完成、时长、美元三个数都有，缺的是「跑了几次」——这一跑是第一次尝试，作者自己写明无法据此判断可靠性；种子也没公布。所以做长时程任务，我会在报价单上再加一栏重跑次数，方法是每个任务跑六次，取成功率 50% 处的时长。

面试官追问

• 你怎么给一个长时程 agent 任务定价？完成率、墙钟时长、每任务美元，再加一个重跑次数。
• 一次成功能不能当作能力？先要求重跑，看成功率曲线，同时问清环境限制。
• 这个结果能推到真实工作场景吗？先比对限制清单，代码感知与像素操作是两种难度。

把三条串起来：三份账，各自空着一格