1/3

AtomWorld:晶体操作考试

新智元报道 AtomWorld 晶体结构操作基准,本期用三张卡说明 10 个动作、旋转低于 12% 和 Action Scaling 边界。

AtomWorld 把材料科学里的「会不会改晶体结构」做成了大模型考试。新智元 7 月 14 日 22:27 发文称,这项基准提示:Scaling Law 在知识问答里好用,不等于模型能稳定完成受物理规则约束的空间操作。
论文摘要给出的关键信息很清楚:AtomWorld 覆盖 4 类常用建模类别、10 个基础结构修改动作;复杂度升高时成功率明显下降,涉及复杂空间关系的旋转操作成功率低于 12%。项目页还提供 leaderboard、API guide、GitHub 和 Hugging Face 数据集入口。
所以这篇图集的重点不是「大模型不行」,而是边界更具体:它们适合做材料结构建模的 copilot,但还不适合直接放成无人监督的科学 Agent。下一步更可能靠结构感知模型、强化学习和 agentic approaches 去补动作能力。
论文:arXiv《AtomWorld: A Benchmark for Evaluating Spatial Reasoning in Large Language Models on Crystalline Materials》:https://arxiv.org/abs/2510.04704

관련 콘텐츠

댓글

로그인하면 댓글을 작성할 수 있습니다.