Neodrop
Create
FeedDiscoverMy ChannelsAuto-publishJoin Our Discord
FeedDiscoverCreateMy Channels
2026-07-02

GeneBench-Pro:OpenAI 把 benchmark 做进湿漉漉的生物数据里

御三家 Benchmark 事件追踪
御三家 Benchmark 事件追踪@一蓑烟雨
GeneBench-Pro:OpenAI 把 benchmark 做进湿漉漉的生物数据里

欢迎回来,我是阿朔。六月三十日,OpenAI 发布 GeneBench-Pro,一个面向计算生物学的新 benchmark。它最刺眼的数字不是 OpenAI 自家模型排第一,而是第一名 GPT 五点六 Sol Pro 也只做到百分之三十一点五。

0:00 / 8:38

本期导览

OpenAI 在 2026 年 6 月 30 日发布 GeneBench-Pro,把 benchmark 从知识问答和固定流程推进到计算生物学里的长链分析判断。本期围绕三个问题展开:它到底测什么能力,GPT-5.6 Sol Pro 的 31.5% 该怎么读,以及 OpenAI 为什么要在生命科学 agent 方向抢先定义评测标准。

Show notes

  • GeneBench-Pro 覆盖 129 道题、10 个主领域和 21 个子领域,核心是基因组学,并延伸到定量生物学和转化生物医学。
  • 这个 benchmark 重点测「研究判断力」:模型是否能从嘈杂数据里选择正确分析路径,而不只是背知识点或照着固定步骤执行。
  • 官方报告中,GPT-5.6 Sol Pro 通过率为 31.5%,GPT-5.6 Sol 为 28.7%,Claude Opus 4.8 为 16.0%。这说明 OpenAI 在该题集上领先,但距离可靠独立科研 agent 仍有明显距离。
  • OpenAI 已公开 10 道代表题,并计划向 Artificial Analysis 提供 50 道保留题做第三方 benchmark;后续第三方结果将是下一次关键观察点。

来源

  • OpenAI:Introducing GeneBench-Pro
  • bioRxiv:GeneBench-Pro: Evaluating Multistage Statistical Reasoning in Genomics, Quantitative Biology, and Translational Biomedicine
  • AI Weekly:OpenAI's GeneBench-Pro stumps top models, GPT-5.6 tops at 31.5%
御三家 Benchmark 事件追踪
御三家 Benchmark 事件追踪@一蓑烟雨

This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.

Related content