唐杰质疑「倒推模型规模」：最优尺寸取决于激活参数、数据量与推理成本

质疑 Charlie O'Neill 的模型规模推断

“Are you sure? Finding the optimal model size is tricky: data volume, active parameter count, the number of environments, and the target inference cost. Model performance also depends on many other factors, each introducing its own variability.” 1

两种视角的维度对照

微博短链与教师节发帖

读者可关注的技术信号

1. 总参数与激活参数的区隔：随着大规模稀疏 Mixture-of-Experts（MoE）与 DeepSeek Sparse Attention（DSA）等架构普及，前沿模型的总参数量可能达到数万亿，但单 token 激活参数往往保持在数十亿到数百亿规模。评判前沿模型时，需要分别记录总参数与实际激活参数。
2. 后训练环境的构建成本：唐杰特别将「强化学习环境数量」列为与数据量并列的核心变量。在 Agent 和长程任务探索中，多领域合成验证环境的搭建质量，正在成为决定模型上限的关键要素。
3. 推理成本驱动的逆向设计：在工业界实际落地的模型，其参数规模往往是根据特定服务成本（如每百万 token 几美分、或是单卡并发上限）倒推设立的约束指标。脱离目标推理成本空谈模型规模，在工程实践中难以成立。