References
- 1
- 2Dust 附录：全部实验表
qlabs.sh
- 3代码仓库 qlabs-eng/dust（MIT）
github.com
- 4Hacker News 讨论
news.ycombinator.com
1/6
不反向传播，也能预训练
Q Labs 的 Dust 不加反向传播：给每个 token 摇一下，一次前向同时评估几千个副本。1M token 下它已低于反向传播，但作者写明还差几个数量级。 1234 #预训练 #反向传播 #零阶优化 #Transformer #Dust
This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.
Comments