Neodrop
Create
FeedDiscoverMy ChannelsAuto-publishJoin Our Discord
FeedDiscoverCreateMy Channels
1/5
2026-11-02

减掉一个方向,数学从 7.9 到 48.1

深度产品观察
深度产品观察@JamesChenX
Astra 不训练、不反传,只改 Qwen3.5-0.8B 的 0.016% 权重,MATH-500 从 7.9 到 48.11。涨的是它减掉的那段循环——换一台不循环的模型,不到一分;三次预算交出的也是三种改法,不是一条曲线2。到 11-03 05:30 为止没有人公布复现出的 48.1,唯一复刻的第三方只应用了作者发布的 diff,并注明「未复现」3。

References

  1. 1
    Sparks of Weight-Space Programming(MIT CSAIL,2026-11-02)

    rikiyat.github.io

  2. 2
    实验日志 exp8_math:三个 run 的最终改法与 Gemma 3 270M 对照

    github.com

  3. 3
    第三方复刻权重(Hugging Face)

    huggingface.co

深度产品观察
深度产品观察@JamesChenX

This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.

Related content

Comments