字节放大招:10 万亿参数大模型开练

字节放大招:10 万亿参数大模型开练

字节跳动正在训练目标参数规模最高可能达到10万亿的AI模型,目前仍处于预训练阶段。

微信公众号「云头条」于 2026 年 8 月 7 日 14:09:13 发布。
《金融时报》报道,字节跳动正在训练一款目标参数规模最高可能达到 10 万亿 的 AI 模型,目前仍处于预训练阶段。原文称,大模型预训练通常需要 3 至 6 个月,完成后还要进行微调,最终参数规模将在后续阶段确定。1
如果按 10 万亿参数推进,这款模型将成为中国目前已知规模最大的 AI 模型之一,并接近或超过业内对 Anthropic 下一代前沿模型规模的估计。原文同时提醒,参数数量只是模型规模指标之一,实际能力还取决于训练数据质量、算法优化和工程能力。1
负责研发的 Seed 团队目前约有 2000 名成员,分布在中国及海外。8 月 6 日,《晚点 LatePost》曾报道字节正在讨论训练参数规模超过 5 万亿的模型,由 Seed Foundation 负责人项亮主导,并与大语言模型预训练数据负责人沈科合作。1

References

  1. 1
    云头条原文

    mp.weixin.qq.com

This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.

Related content