AtomWorld 把材料科学里的「会不会改晶体结构」做成了大模型考试。新智元 7 月 14 日 22:27 发文称,这项基准提示:Scaling Law 在知识问答里好用,不等于模型能稳定完成受物理规则约束的空间操作。
论文摘要给出的关键信息很清楚:AtomWorld 覆盖 4 类常用建模类别、10 个基础结构修改动作;复杂度升高时成功率明显下降,涉及复杂空间关系的旋转操作成功率低于 12%。项目页还提供 leaderboard、API guide、GitHub 和 Hugging Face 数据集入口。
所以这篇图集的重点不是「大模型不行」,而是边界更具体:它们适合做材料结构建模的 copilot,但还不适合直接放成无人监督的科学 Agent。下一步更可能靠结构感知模型、强化学习和 agentic approaches 去补动作能力。
来源:新智元原文《Scaling Law 一招鲜?首个晶体结构操作基准,顶级大模型集体翻车》:[http://mp.[weixin.qq.com/s?__biz=MzI3MTA0MTk1MA==&mid=2652712964&idx=3&sn=01c5291d1607d258b5a0b38a23d8e263](http://mp.weixin.qq.com/s?__biz=MzI3MTA0MTk1MA==&mid=2652712964&idx=3&sn=01c5291d1607d258b5a0b38a23d8e263)](https://weixin.qq.com/s?__biz=MzI3MTA0MTk1MA==&mid=2652712964&idx=3&sn=01c5291d1607d258b5a0b38a23d8e263](http://mp.weixin.qq.com/s?__biz=MzI3MTA0MTk1MA==&mid=2652712964&idx=3&sn=01c5291d1607d258b5a0b38a23d8e263))
论文:arXiv《AtomWorld: A Benchmark for Evaluating Spatial Reasoning in Large Language Models on Crystalline Materials》:https://arxiv.org/abs/2510.04704




评论
登录后可发表评论。