OpenAI 自测：COBOL 迁移正确率从 5.4% 到 86.6%，成本还低 39%；最便宜的 Luna 也越过了上一代
OpenAI 公布两项自建评测：COBOL 迁移正确率从 5.4% 升到 86.6%，成本还低 39%；MultiLangBench 上 Astra 从 26.8% 升到 87.4%，最便宜的 Luna 也全面超过上一代。
北京时间 10 月 19 日 21:00 至 10 月 20 日 21:00，@OpenAI 只发了一条推文。1
推文发布于北京时间 10 月 20 日 06:30，讲的是自家模型在 COBOL、Fortran、Visual Basic 这类「低资源编程语言」上的编码进展，并指向官网一页《Advancing coding in low-resource programming languages》。2
所谓低资源，指这些语言留给模型学的代码与文档，比 Python、JavaScript 少得多，可它们撑着银行、政府与企业的关键系统。2
这页标注 10 月 19 日，本频道第一次写到它。昨天那个窗口里，账号和官网都没有新内容。2
最硬的一组数字在「把老 COBOL 程序迁到别的语言」这个任务上。GPT-6.1 Sol 在低推理档拿到 86.6% 的正确率，同一设定下上一代的 GPT-5.6 Sol 是 5.4%。2
官方说这次比 GPT-5.6 Sol 便宜 39%，也就是只花掉对方 61% 的 API 成本。2
「正确」的判定很严：隐藏测试要求可观测输出逐字节一致，全部测试通过才算迁移成功。2
两个评测，测的是两件事
第一个叫 MultiLangBench：在 20 种编程语言里，从零写一个兼容 SQLite 的数据库引擎。2
不同语言怎么放在一起比？用数据库文件当统一接口。被测程序拿到一个初始数据库和一条 SQL，交出改好的数据库，再拿参考版 SQLite 核对内容。2
测例改自 SQLite 自带的测试集，通过率与 API 成本一起报。2
第二个是 COBOL 迁移评测：把 COBOL 程序迁到 C++、Java、Kotlin、Python 或 Rust，行为保持不变。2
一个考从零新建，一个考保住原有行为。开发者在这类系统上遇到的两类难题，正好对应这两件事。2
成绩，以及它相对谁
| 评测与设定 | 模型 | 成绩 | 对比对象 | 成本口径 |
|---|---|---|---|---|
| MultiLangBench，20 种语言平均，最高推理档 | GPT-6 Astra | 87.4%2 | GPT-5.6 Sol 26.8%，20 种语言全部提高 | 页面未给这一项的逐样本成本 |
| MultiLangBench，同上 | GPT-6 Luna | 40.3%2 | GPT-5.6 Sol 26.8%，每种语言都更高 | 每样本估算 0.77 美元；GPT-5.6 Sol 为 3.48 美元，低约 78% |
| COBOL 迁移，低推理档 | GPT-6.1 Sol | 86.6%2 | GPT-5.6 Sol 5.4%，同设定 | 为 GPT-5.6 Sol 的 61% |
| COBOL 迁移，更高推理档 | GPT-6.1 Sol | 97.9%2 | 官方称已接近评测饱和 | 页面未给 |
逐语言里被点名的四个：COBOL 从 10.9% 到 72.1%，OCaml 从 25.6% 到 85.8%，Fortran 从 21.4% 到 83.5%，Visual Basic 从 27.5% 到 89.4%。2
两个评测的最高分来自不同的模型。87.4% 出自 Astra 的最高推理档，86.6% 出自 6.1 Sol 的低推理档，这两行的分数不能横向比较。2
便宜那一档也越过了上一代
Luna 是 ChatGPT 里免费版与 Go 档的模型。3
三档标准价（每百万 token，输入／输出）：Astra 10 美元与 50 美元，6.1 Sol 2 美元与 10 美元，Luna 0.10 美元与 0.50 美元。4
这次 Luna 在 20 种语言上每一种都高过 GPT-5.6 Sol，平均 40.3%，单样本估算成本 0.77 美元。2
最便宜那一档的成绩，已经越过上一代。对按量付费的团队，这条比榜首分数更实用。2
不过 40.3% 也意味着六成测例过不了。便宜档能上手做初稿，离替人做完迁移还差得远。2
为什么这件事落在银行和电网上
老语言撑着的业务比想象中大。COBOL 那一组占比，官方引的是 IBM 的说法：40% 以上的网上银行系统、80% 的面对面刷卡交易、95% 的 ATM 交易。2
Fortran 用在天气预报和核反应堆安全分析里。2
这类系统难在行为。文档可能不全，最初的开发者早已离职，业务规则只写在代码里。2
官方举了一个例子：COBOL 的定点运算默认截掉多余小数位，只有显式要求时才四舍五入。重写时顺手加上取整，程序照跑，账目对不上。2
所以迁移评测用逐字节一致当标准。官方也写明，真上生产还要专家复核，并按业务规则与依赖逐条测。2
真正让人掏钱的是另一件事：一套真实系统迁出来要多少人月。这页给的是通过率与每样本成本，人力成本一项页面没有提。2
能用到哪，这次又没给什么
推文最后一句是向开发者喊话：团队如果在跟这些系统打交道，请告诉 OpenAI 下一步该攻哪些语言与工作流。1
页面里的说法一致。不少开发者与企业客户反映，编码模型在这些语言上很吃力。2
6.1 Sol 在 API 里叫 gpt-6.1-sol，在 ChatGPT Work 与 Codex 里对 Plus、Pro、Business、Enterprise 与 Edu 开放，Chat 里还没有它。4
MultiLangBench 的评测设置、测试集与逐语言结果已经公开，开发者可以先查自己那门语言的分数。迁移评测的测试集还没跟着发布。2
接下来核验什么
- 第三方复现。 两组数字都是 OpenAI 自己跑的，尚无外部机构做同题复测。2
- 成本口径。 0.77 美元与 3.48 美元是「每样本估算 API 成本」，样本多长、按哪一档价、含不含重试，页面都没写。2
- COBOL 为什么仍然最差。 20 种语言里它垫底，而页面前半段举的银行业例子正是 COBOL。2
- 行为一致的范围。 隐藏测试比对的是可观测输出的字节；这之外的一致性，页面没有承诺。2
- 迁移评测能否被外部复跑。 MultiLangBench 的测试集已公开，迁移评测的测试集还没放开。2
- 生产落地的成本。 官方只说需要专家复核，复核要花多少人力、迁一套真实核心系统要多久，都还没有数字。2
- 此前挂起、本窗口无更新的事项： Ultrafast 在 Codex 与 ChatGPT Work 的单价、ChatGPT 广告的收入与价格、增量测量的设计、澳大利亚事件的后续、Hugging Face 更广审查里 53 例之后的数字。
References
- 1OpenAI 官方 X 账号
x.com
- 2
- 3
- 4Introducing GPT-6.1 Sol
openai.com
This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.