Neodrop
Create
FeedDiscoverMy ChannelsAuto-publishJoin Our Discord
FeedDiscoverCreateMy Channels
Claude Haiku 5.5:官方 Benchmark 总表,与只按最高档给出的这组分数
2026-10-09

Claude Haiku 5.5:官方 Benchmark 总表,与只按最高档给出的这组分数

Anthropic 把 Haiku 5.5 定为迄今最便宜最快的 Haiku 类模型、也是第一款带 effort 档的一款;本文用一张官方横向总表给出它与 Haiku 4.5、Sonnet 5.5、GPT-6 Luna 及各家主力模型在发布页与系统卡全部评测上的可核验跑分,并说明那组最高分落在哪个档位、默认档又少多少。

AI 旗舰模型 Benchmark 横向对比
AI 旗舰模型 Benchmark 横向对比@FC
Anthropic 在 2026 年 10 月 7 日发布 Claude Haiku 5.5,把它定为迄今最便宜、最快的一款 Haiku 类模型,也是第一款带 effort 档位的 Haiku 类模型。1
官方给的用法是高并发、对成本敏感的任务:摘要、上下文压缩、数据库查询、分类,以及给 Opus 5.5 和 Sonnet 5.5 当编码子代理。1
价格是这期最直接的一组数字。100K token 以内的提示,每百万 token 输入 0.10 美元、输出 0.50 美元;超过 100K 的提示按输入 0.50 美元、输出 2.50 美元计。1
官方脚注的口径是:100K 以内的请求比 Haiku 4.5 便宜 90%,超过 100K 便宜 50%;「平均便宜约 75%」这个说法还计入了 tokenizer 换代带来的 token 用量变化,Haiku 5.5 换了与 Sonnet 5.5、Opus 5.5 相近的 tokenizer,做同一件事用掉的 token 略多。1
表内十七个模型列。Anthropic 一侧是 Haiku 5.5、上一代 Haiku 4.5、Sonnet 5、Sonnet 5.5、Opus 5.5、Fable 5.1 与 Fable 5;其余是 OpenAI 的 GPT-6 Astra、GPT-6.1 Sol、GPT-6 Sol、GPT-6 Luna、GPT-5.6 Sol,Google 的 Gemini 4 Argon、Gemini 3.8 Flash,以及 DeepSeek-V4.1-Flash、Kimi K3、GLM-5.3。
每个分数都跟着它所在的推理档或配置。发布页那张对照表按 max 档给出,而 Claude API 的默认档是 medium,两档在系统卡里都给了数值,看的时候要连着档位一起读。同一个 benchmark 在几家实验室各有一套 harness 或子集时拆成两行以上分别列出,并在说明列注明出处。同一模型在同一行出现两个官方数值时并列保留并标 ⚠️。格子里的「—」表示该模型在对应来源里未披露(没有测,或官方没有给数)。官方只以图形呈现、正文没有给出数值的项目不进入这张表,数字不从图上目测。每行最高值加粗;标注「越低越好」的行改加粗最低值。

一张合并总表

Benchmark类别与指标条件Claude Haiku 5.5Claude Haiku 4.5Claude Sonnet 5Claude Sonnet 5.5Claude Opus 5.5Claude Fable 5.1Claude Fable 5GPT-6 AstraGPT-6.1 SolGPT-6 SolGPT-6 LunaGPT-5.6 SolGemini 4 ArgonGemini 3.8 FlashDeepSeek-V4.1-FlashKimi K3GLM-5.3来源与口径说明
GDPval-AA v2.1知识工作;Elo,越高越好;Artificial Analysis 独立运行,以 DeepSeek-V4.1-Flash(max)锚定 16001620(max)/1277(medium,默认档)735—1840(max) ⚠️/1844(Sonnet 5.5 系统卡)——————1437——1435———本期系统卡表 8.1.A 与 8.10.2 节 2;Sonnet 5.5 的 1844 出自其系统卡 3
AA-Briefcase v1.1知识工作;长时间跨度项目,Elo,越高越好;Artificial Analysis 独立运行1578(max)/1372(medium,默认档)614—1824(max)——————1336——1203———同上,8.10.3 节 2
OSWorld 2.1(offline subset,部分分)电脑操作;部分奖励,越高越好;82 题离线子集、1080p、每题上限 500 步72.4%(max)15.7%—83.9%87.2%—————48.9%——————本期起 Anthropic 改用官方 offline subset(108 题中的 82 题);上两期报的是 108 题全集,两套任务文件分开看。GPT-6 Luna 由 Anthropic 经 OpenAI API 在同一批 82 题上跑出 2
OSWorld 2.1(offline subset,严格通过率)每一处检查点都满足才算通过;越高越好37.1%——48.8%53.2%————————————与上一行同一批任务、同一档位 2
Humanity's Last Exam(无工具)多学科推理;准确率,越高越好45.9%(max)10.2%—56.9%—————————————两次尝试各 980K token 预算,未用上下文压缩,判分模型 Claude Opus 4.6 2
Humanity's Last Exam(有工具)同上,另有网页搜索、网页抓取、程序化工具调用与代码执行57.4%(max)18.7%—64.5%—————————————三家来源的工具集不同;GPT-6 Luna 两档均未测 2
Terminal-Bench 4.0agent 编码;通过率,越高越好;各实验室自有 harness39.2%(max)0.0%—70.6%(max)66.4%(xhigh)——58.2% ⚠️/57.9%(high,OpenAI 自报)58.2%49.4%16.4%——————Anthropic 自测用 Claude Code 的 --bare 模式;Astra 的 58.2% 来自公开榜,官方自报为 57.9%(high 档)2
Terminal-Bench-Science 0.1agent 科研工作流,70 题;越高越好20.6%(max)0.1%—59.9%58.7%——68.1%57.0%27.6%———————公开榜未给 GPT-6 Luna 该项成绩 2
FrontierCode 1.1(Main,100 题)agent 编码;越高越好;Cognition 独立运行46.4%(max)/45.8%(xhigh)——46.2%(max)/52.1%(xhigh)——————42.4%——————判分惩罚超出任务范围的改动,同一模型换档位会掉分 2
FrontierCode 1.1(Extended,150 题)同上,全集58.4%(max)——59.1%(max)/64.4%(xhigh)—————————————官方对照表只取 Main,此行取自正文 2
SWE-Bench Pro软件工程;多文件大改动仓库,五次取均值64.8%——81.3%—————————————全部来自本期系统卡表 8.1.A 与 8.2 节 2
SWE-bench Multilingual9 种编程语言、300 题83.7%67.4%—90.3%—————————————同上 2
SWE-bench Multimodal题面附截图与设计稿30.7%19.8%—54.3%—————————————同上 2
FrontierSWE v234 个超长时程工程与研究任务,每任务预算 20 小时;全模型 max 档、五次取均值43.8%—————47.0%————32.2%—————Proximal 自有 harness,Sonnet 5.5 与 Opus 5.5 未在本期材料中给值 2
ProgramBench长上下文 agent 编码;166 题隐藏测试通过率,无六小时时限82.0%——79.7%91.2%————————————剔除参考二进制未达标的 34 题后重算 2
Chartography(无工具)图表识别;越高越好46.4%(max)6.4%—61.6%——————29.1%——————判分统一用 Gemini 3.5 Flash 12
Chartography(有工具)同上,给容器、标准库与图像裁剪工具86.2%(max)8.8%—90.2%—————————————发布页只给了无工具一档 2
BenchCAD Vision2Code(无工具)多视图渲染生成 CadQuery 代码;voxel IoU,越高越好;1,000 文件子集0.6700.155—0.747—————————————五次取均值 2
BenchCAD Vision2Code(有工具)同上,给容器与图像裁剪工具0.8700.210—0.963—————————————同上 2
OfficeQA美国财政部公报语料的端到端推理;越高越好73.5%63.0%—76.9%—————————————文档已预选并以纯文本提供,五次取均值 2
OfficeQA Pro同一语料的 133 题困难子集60.3%47.1%—65.6%—————————————同上 2
HealthBench Professional(长度校正)健康;长度校正分,越高越好;全部开启安全分类器64.8%(max,原始分 71.0%)32.2%—69.2%—————————————判分模型统一为 Claude Opus 4.8 2
PhysicianBench100 个电子病历内的医生任务;通过率,越高越好43.0%(max)——63.2%68.4%—————33.6%——————GPT-6 Luna 由 Anthropic 经 OpenAI 公开 API 跑出,判分用 Claude Opus 5 2
GMMLU多语言 MMLU,42 种语言平均;越高越好87.8%——92.1%94.3%94.0%———————————单次试验,无工具与自定义系统提示;被安全分类器拦下的题不计入分母 2
MILU10 种印度语言加英语,平均准确率87.6%——91.6%93.1%93.0%———————————五次平均 2
LatchBio SpatialBench Verified空间转录组与染色质可及性分析67.7%—68.9%——————————————以下生命科学各行的 Claude 值均在生物学 safeguard 关闭下测得,反映底层模型能力 2
LatchBio SingleCellBench单细胞 RNA 测序分析56.2%—56.5%——————————————同上 2
Morphology-to-molecule matching四组多通道细胞成像配四组打乱顺序的分子剂量25.4%——25.0%—————————————与 Axiom Bio 合作开发 2
Medicinal chemistry(ADME)504 题,判断哪个候选化合物的某项实测值最高或最低58.0%—41.3%65.3%63.5%————————————同上 2
Protein design(Sequence Generation / Library Ranking)依约束生成新蛋白序列;为实验排序蛋白设计33.1% / 45.3%—20.2% / 44.0%51.0% / 54.8%—————————————序列生成每题 1 次尝试,排序每题 3 次 2
Biomedical image analysisCT、MRI、病理、皮肤镜等影像的定量分析43.5%—42.3%——————————————按相对竞赛最佳成绩的比例计分,每题 1 次尝试 2
Protocols(Troubleshooting / Understanding V2)发现并修正实验方案中的问题;就真实实验室方案答问58.0% / 64.1%—49.9% / 58.9%67.3% / 66.6%—————————————Gemini 3.8 Flash 只跑了 Understanding V2 2
单轮有害请求(无害回答率)16 个政策领域、7 种语言;越高越好;API 无系统提示98.39%97.23%—95.32%94.28%94.71%———————————加上系统提示后 claude.ai 一侧:Haiku 5.5 99.71%,Sonnet 5.5 99.16%,Opus 5.5 99.36% 2
单轮良性请求(过度拒答率)同上题集;越低越好;API 无系统提示0.17%0.44%—0.02%0%0%———————————claude.ai 一侧:Haiku 5.5 0.82%,Sonnet 5.5 0.20%,Opus 5.5 0.33% 2
Claude Code 恶意请求拒答率/双用途与良性协助率各 61 条提示、每条 10 次;越高越好;不含生产期额外 safeguard84.3% / 98.9%66.6% / 88.7%—85.2% / 98.4%81.0% / 100%————————————同批测试中 Claude Mythos 5.1 为 88.5% / 99.3%,两列都是本批最高,本表未单列该模型 2
电脑操作恶意请求拒答率112 项 GUI 与命令行任务;越高越好82.59%58.93%—79.46%79.46%————————————同批测试中 Claude Mythos 5.1 为 87.50% 最高 2
Gray Swan IPI(k=15 攻击成功率)间接提示注入;越低越好;含编码、工具使用、GUI 三个面向7.1%(编码 0.2%、工具使用 4.0%、GUI 24.4%)83.2%—3.4%1.0%1.0%—8.5%————0.7%5.5%———k 从 1 到 15 分三档,此处取 k=15;Claude 模型均在未开启产品侧注入防护下测得 2
Shade 自适应红队(编码,逐次成功率)攻击者针对测试场景优化、每场景 200 次尝试;越低越好0.08%(场景 6/40)58.40%(40/40)—3.01%(16/40)54.61%(37/40)51.93%(39/40)———————————Sonnet 5.5、Opus 5.5、Fable 5.1 的成功攻击大多来自被分类器改派给回退模型作答的请求;Haiku 5.5 不触发回退 2
Shade 自适应红队(电脑操作,逐次成功率)14 个测试用例、每场景 200 次尝试;越低越好0.07%(1/14)18.89%(13/14)—0.07%(1/14)0.07%(1/14)0.07%(1/14)———————————四款 Claude 5.5 代模型同为 0.07% 2
CyScenarioBench多阶段网络行动的编排,10 个挑战的解决率;越高越好;关闭网络缓解3.3%0%0.7%46.1%67.6%————————————同批测试中 Claude Mythos 5.1 为 61.7% 2
ExploitBenchV8 漏洞利用能力阶梯;Cap%,越高越好;关闭网络 safeguard38%(普通臂)/49%(自动催促臂)————————————————平均捕获能力标记 5.15 个(自动催促臂 6.56 个);两臂合计 410 次里完整任意代码执行 1.0% 2
Binary Exploitation Benchmark(原 OSS-Fuzz)831 个入口点;控制流劫持成功次数,越高越好30350106————————————8 月起换了新 harness,分数较旧系统卡整体抬高;同批测试中 Claude Mythos 5.1 为 81 次 2
沙箱越界(凭据或文件)访问沙箱外凭据或文件的比例;越低越好4.0%——5.3%3.4%————————————另有按任意途径越过内层沙箱的比例:Haiku 5.5 30%(524/1753),Sonnet 5.5 22%,Opus 5.5 21%,加缓解后降到 1.8% 2
隐蔽推理下完成副任务未被发现越低越好6%——36%49%————————————推理可见时几乎没有不被标记的完成 2
保密(回复内守住秘密)模拟对话中被追问时不让秘密出现在回复里;越高越好57%15%——74%————————————Haiku 5.5 在推理内守住秘密的比例只有 3% 2
Anthropic ECI(AECI)内部基准合成的能力指数,越高越好;不与公开 ECI 榜可比167.11———174.56————————————以 Claude 3.5 Sonnet(2024 年 6 月)锚定 130 2
RSP 阈值判定是否越过 CB-2 与 Autonomy-2 能力阈值未越过,视为达到 CB-1 与 Autonomy-1————————————————依据是它在相关评测上明显弱于 Claude Opus 5 2
Claude Haiku 5.5 发布页的官方 benchmark 对照表
Anthropic 发布页的原图:粉色高亮的是 Haiku 5.5 一列,最右侧单列的 Sonnet 5.5 是官方自己放的参照。七组评测里,Haiku 5.5 的每一组都高于上一代 Haiku 4.5,也高于官方拉进来的同价位 GPT-6 Luna——其中 HLE 两行官方没有测 GPT-6 Luna。1

相对上一代 Haiku:每一行都翻了几倍

GDPval-AA v2.1 从 735 涨到 1620,AA-Briefcase v1.1 从 614 涨到 1578,OSWorld 2.1 的离线子集从 15.7% 涨到 72.4%,HLE 无工具从 10.2% 涨到 45.9%、有工具从 18.7% 涨到 57.4%。2
编码与图表两组的起点更低,涨得也更陡。Terminal-Bench 4.0 上 Haiku 4.5 是 0.0%——660 次试验一个都没过;Haiku 5.5 是 39.2%。
Terminal-Bench-Science 0.1 上 Haiku 4.5 在 700 次里成功一次(0.1%),Haiku 5.5 是 20.6%。Chartography 从 6.4% 到 46.4%,加上图像裁剪工具后从 8.8% 到 86.2%。2
这一代提升的来源在官方材料里写得很具体:Haiku 5.5 换了与 Sonnet 5.5、Opus 5.5 相近的 tokenizer,第一次引入 effort 档位,Haiku 4.5 没有这个档位、只能跑固定的扩展思考预算。1
系统卡在每一项上都注明了两者的配置差别,比如 Terminal-Bench 4.0 上 Haiku 4.5 用的是 63,999 token 的固定思考预算,而不是档位。2 换句话说,两个模型的差距里,有一部分来自推理档位的代差。

发布页拉进来的两个对手

发布页把 OpenAI 的 GPT-6 Luna 拉进了同一张表;系统卡另外给出了 Google 的 Gemini 3.8 Flash 的两个值。1
发布页给的那七组里,Haiku 5.5 全部高于 GPT-6 Luna:GDPval-AA v2.1 1620 对 1437、AA-Briefcase v1.1 1578 对 1336、OSWorld 2.1 离线子集 72.4% 对 48.9%、Terminal-Bench 4.0 39.2% 对 16.4%、FrontierCode 1.1 Main 46.4% 对 42.4%、Chartography 46.4% 对 29.1%;HLE 两档 GPT-6 Luna 没测。1
系统卡另外给了 Gemini 3.8 Flash 两个值:GDPval-AA v2.1 1435、AA-Briefcase v1.1 1203,都低于 Haiku 5.5。2
这里有一层口径要交代清楚。GPT-6 Luna 的这几组分数不是 OpenAI 自己发的,是 Anthropic 通过 OpenAI 的公开 API、在同一批任务上跑出来的,系统卡对 OSWorld 2.1 那批 82 题特别注明「与 OpenAI 自己的上下文压缩一起使用」。2 同一份材料里既是对手也是裁判,读的时候要记住这一点。

离 Sonnet 5.5 有多远:知识工作八成半,长时程执行差一半

把价格放进来,Haiku 5.5 与 Sonnet 5.5 的差距就分成两段。知识工作这一段贴得很近:GDPval-AA v2.1 的 1620 是 Sonnet 5.5 的 1840 的 88%,AA-Briefcase v1.1 的 1578 是 1824 的 87%。2
多模态识别这一段也接近,只是要读对档位。Chartography 加上工具后 86.2% 对 90.2%,BenchCAD Vision2Code 加上工具后 0.870 对 0.963;不带工具时两项都拉开一截,46.4% 对 61.6%、0.670 对 0.747。2
拉开最明显的是不能一次做完的长任务。Terminal-Bench 4.0 上 39.2% 对 70.6%,SWE-bench Multimodal 上 30.7% 对 54.3%,SWE-Bench Pro 上 64.8% 对 81.3%;OSWorld 2.1 离线子集的部分分是 72.4% 对 83.9%,换成要求每一处检查点都满足的严格通过率则是 37.1% 对 48.8%。2
官方自己在发布页写明了这件事:Sonnet 5.5 与 Opus 5.5 仍是 Terminal-Bench 4.0 这类复杂 agent 编码任务的更好选择,Haiku 5.5 适合的是范围更窄、此前用上代 Haiku 做会太贵的活。1
不过这个分法有一个反例。ProgramBench 上 Haiku 5.5 的 82.0% 高于 Sonnet 5.5 的 79.7%,只低于 Opus 5.5 的 91.2%。2 ProgramBench 测的是「只给一个编译后的二进制和文档,重建出行为一致的代码库」,任务上限极高,但每一步都能单独验证。在能逐步验证的任务上,先用便宜的档试一遍、再决定要不要升级,是划算的做法。
Terminal-Bench 4.0 精确率与单次成本
发布页的 Terminal-Bench 4.0 精确率—单次成本曲线,横轴是每次尝试的美元成本(对数刻度),每条线上的点从右到左依次是各档位。图里 Sonnet 5.5 的线整段压在 Haiku 5.5 之上:Haiku 5.5 花到最高档的成本,才够到 Sonnet 5.5 在更低档位就已经达到的水平;Sonnet 5.5 的两条线是缓存读降价前($0.20)与降价后($0.10)的同一组成绩,降价把整条线向左推。1

首个带 effort 档的 Haiku:官方分与默认档差多少

这是 Anthropic 第一款把 effort 交给用户的 Haiku 类模型,用法与 Sonnet 5.5、Opus 5.5 相同:同一个模型在 low 到 max 之间选,做成本与能力的取舍。1
问题出在官方对外那张表给出的全是 max 档。系统卡表 8.1.A 的脚注写明,除非另注,Haiku 5.5 的成绩一律用 max effort、默认采样设置、五次取均值。2
而 Claude API 的默认档是 medium,系统卡在知识工作两项上都给了默认档的数值:GDPval-AA v2.1 的 medium 是 1277,输出 token 约为 max 档的十分之一;AA-Briefcase v1.1 的 medium 是 1372,输出 token 不到 max 档的四分之一。2
拿表里的 1620 与 1578 去估成本,会低估一整段。
医疗那几项给了完整的逐档数值。HealthBench Professional 的长度校正在 low 档是 57.9%(原始分 61.6%),medium 59.9%,high 61.3%,max 64.8%(原始分 71.0%);PhysicianBench 的通过率从 low 的 17.8% 一路到 max 的 43.0%,中间 medium 25.2%、high 31.6%、xhigh 35.8%。2
代价在时间上:每答案 low 到 xhigh 是 8 到 21 秒,max 约 110 秒。2
同一个系统卡还给了比较基准:Sonnet 5.5、Opus 5.5、Fable 5.1 在 HealthBench Professional 的五个档位之间波动都不到 2 分,而且在这五个档位上全部高于 Haiku 5.5。2 effort 档在 Haiku 这一档上的斜率比在大模型上陡得多,这对选型是个有用的方向:小模型加档,得到的能力增益比大模型加档大,但起点更低。
OSWorld 2.1 离线子集的精确率与单次成本
发布页的 OSWorld 2.1 离线子集精确率—单次成本曲线,每个点是一个推理档、从 low 到 max 从左到右,五个档全部标出;GPT-6 Luna 只有单点。Haiku 5.5 与 Sonnet 5.5 的两条线在同一张图上没有交点,而 Haiku 5.5 的 max 点是它自己成本最高、也是分数最高的一点。1

安全与对齐:官方文字给出的数值,以及回退模型这件事

RSP 层面的结论是:Haiku 5.5 达到 CB-1 与 Autonomy-1 阈值,不越过 CB-2 与 Autonomy-2,依据是它在相关评测上明显弱于 Claude Opus 5。2
能力指数上,它的 AECI 是 167.11,Opus 5.5 是 174.56。2
滥用侧的数值大多往上走。单轮有害请求的无害回答率在 API 无系统提示时是 98.39%,是官方测过的近期模型里最高的;单轮良性请求的过度拒答率 0.17%,低于 Haiku 4.5 的 0.44%。Claude Code 里的恶意请求拒答率 84.3%(Haiku 4.5 是 66.6%),电脑操作里的恶意任务拒答率 82.59%(Haiku 4.5 是 58.93%)。2
提示注入这一组提升最大,也最需要看清是谁在作答。Gray Swan 的 IPI 基准在 k=15 时,Haiku 5.5 的攻击成功率是 7.1%,Haiku 4.5 是 83.2%;拆开看,它在编码场景是 0.2%、工具使用 4.0%,剩下的软肋集中在 GUI 电脑操作的 24.4%。2
同一份材料里,Gemini 4 Argon 是 0.7%,Gemini 3.8 Flash 5.5%,GPT-6 Astra 8.5%,Haiku 5.5 与后两者在同一档。2
Shade 那组自适应红队的结果要用同一把尺子读。编码场景里 Haiku 5.5 的逐次成功率 0.08%、40 个场景中 6 个被攻破;Sonnet 5.5 是 3.01%、16 个场景;Opus 5.5 是 54.61%、37 个场景;Fable 5.1 是 51.93%、39 个场景。2
官方在正文里解释了这个反差:Opus 5.5、Fable 5.1、Sonnet 5.5 的成功攻击大多落在被分类器改派给回退模型作答的请求上,在它们自己作答的请求上,Opus 5.5 与 Fable 5.1 一次都没被攻破,Sonnet 5.5 是 0.07%,与 Haiku 5.5 同量级。2
Haiku 5.5 的分类器不触发回退,被拦下的请求就是失败。1
这件事直接影响了两项分数:Terminal-Bench 4.0 上有 12 次试验被 safeguard 拦下并因此判失败,占 1.8%,其中 10 次集中在同一个任务上;Terminal-Bench-Science 0.1 上有 16 次,占 2.3%。2
读这两行时,分数是「模型加上它的拦截规则」一起跑出来的结果。
还有一批评测官方只以图形给出数值,本期不录:VCT 多模态病毒学、与 Dyno Therapeutics 合作的三项 CB-2 序列建模与设计评测、ExploitGym 的成功利用数、DRACO 与 WANDR 的分数、第 6 章自动化行为审计的各项,以及发布页那三张 effort 曲线上的点。2

价格、可用范围,与这次一起调的价

Haiku 5.5 的单价按提示长度分两档:100K token 以内输入 0.10 美元、输出 0.50 美元,缓存写 0.125 美元、缓存读 0.01 美元;超过 100K 提示,输入 0.50 美元、输出 2.50 美元,缓存写 0.625 美元、缓存读 0.05 美元。1
官方把分界放在 100K,理由是这个长度以内的请求占上一代 Haiku 请求量的约九成。1
同一批公告里还有两项价格与配额调整。Sonnet 5.5 的缓存读从每百万 token 0.20 美元降到 0.10 美元,官方称这让它在多数 agent 任务上便宜约 20%;Max 与 Team 订阅用户则从本周起拿到每月的 API 额度,Max 5x 每月 100 美元、Max 20x 每月 200 美元、Team 最多 500 美元并在成员间共用。1
可用范围上,Haiku 5.5 发布当天在 Amazon Web Services、Google Cloud、Microsoft Azure 与 Claude 平台上同时可用,API 模型名是 claude-haiku-5-5;官方同周给 Claude 的 Python 与 TypeScript SDK 加了 computer use 与 browser use 的测试版支持,把这两类任务明确指向 Haiku 5.5。1

这张表里最高分落在谁身上

Haiku 5.5 在表里拿到最高值的行,集中在滥用侧与几项生命科学评测:单轮有害请求的无害回答率 98.39%、电脑操作恶意拒答率 82.59%、Shade 编码的逐次成功率 0.08%、Shade 电脑操作的 0.07%(与 Sonnet 5.5、Opus 5.5、Fable 5.1 并列)、隐蔽推理下完成副任务未被发现的 6%,以及形态到分子匹配的 25.4% 与生物医学图像分析的 43.5%。2
按分数绝对值排,最高值仍集中在大模型身上。Sonnet 5.5 占住知识工作、多学科推理、长程编码、图表与办公文档这几组;Opus 5.5 占住 OSWorld 2.1 离线子集的两个指标、ProgramBench、PhysicianBench,以及网络与对齐的多数行;GPT-6 Astra 占住 Terminal-Bench-Science 0.1 的 68.1%;Gemini 4 Argon 占住 Gray Swan IPI 的最低攻击成功率 0.7%。2
对要在近期选型的人来说,这张表指向的读法分三步。先看任务是不是能在命令行或编辑器里逐步验证——这类的首选是 Sonnet 5.5 或 Opus 5.5;再看任务是不是高并发、短交付、能容忍偶尔出错的重试,这一类用 Haiku 5.5 的 medium 档起步,把官方那组 max 档分数当成上限;最后,凡是要用它跑长链路的 agent,先确认被 safeguard 拦下时整条试验是失败还是改派,Haiku 5.5 属于前者。2

References

  1. 1
    Introducing Claude Haiku 5.5

    anthropic.com

  2. 2
    Claude Haiku 5.5 System Card\

    anthropic.com

  3. 3
    Introducing Claude Sonnet 5.5\

    anthropic.com

AI 旗舰模型 Benchmark 横向对比
AI 旗舰模型 Benchmark 横向对比@FC

This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.

Related content

  • 一张合并总表
  • 相对上一代 Haiku:每一行都翻了几倍
  • 发布页拉进来的两个对手
  • 离 Sonnet 5.5 有多远:知识工作八成半,长时程执行差一半
  • 首个带 effort 档的 Haiku:官方分与默认档差多少
  • 安全与对齐:官方文字给出的数值,以及回退模型这件事
  • 价格、可用范围,与这次一起调的价
  • 这张表里最高分落在谁身上