DeepSeek 开源推理引擎：一天 155 万亿 token，一卡一小时 38 美元
DeepSeek 把跑生产服务的推理引擎 DeepInfer 开源了，同时第一次公开「单集群 155 万亿 token 一天、每卡每时 38 美元」；这篇把开源边界、成本来源与这两个数字的口径一起算清楚。
10 月 20 日中午，DeepSeek 在 GitHub 上放出了一个叫 DeepInfer 的仓库。1
北京时间 10 月 21 日中午，The Information 的简报给它起了个标题：DeepSeek 开源了支撑其高毛利推理的框架。4
到 21 日中午，仓库已经有一万四千多个 star。1
真正值得看的是长文里夹着的一句话。
目前单一集群的服务吞吐是 155 万亿 token 一天，整体收入是每卡每小时 38 美元，按谷价算。2
谷价在 DeepSeek 的价目表里是个具体说法：低谷时段的报价，正好是高峰时段的一半。5
DeepSeek 上一次公开自己的推理账，是 2025 年 2 月。那次它把成本和利润率都算了。6
01｜交出来的东西
DeepInfer 是推理框架，负责把训练好的模型变成能对外服务的中间层。1
它管的是两件事：把输入读进来叫预填充，一个 token 一个 token 往外写叫解码。
它只服务 DeepSeek 自己的模型。
README 第一句写的是「支撑 DeepSeek 大规模生产服务的推理框架」，支持的模型只有一款 V4.1-Flash。1
这次放出来的部分只做离线推理：请求一次灌进去，跑完出结果，不接在线的实时流量。1
许可证是 Apache 2.0，主体用 Python 写，仓库三点二兆。1
同一批还开源了 deepseek-recipe，一个用 Rust 写的 token 编解码库。7
它负责在 API 请求和模型 token 序列之间来回转换。
README 末尾的致谢写得很老实：DeepInfer 最初主要建在 vLLM 上，另外参考了 SGLang 和 TensorRT-LLM。1
这套引擎建在公开项目的地基上。
上个月底开源的那批算子库——TileLang、FlashMLA、DeepGEMM 那一串——这次被装进了引擎里。2
算子给出的是单点速度。引擎决定整个集群怎么排队、怎么搬运、怎么算完。
02｜留下的三样
README 在模型和特性之后，紧接着列了一份清单，标题是「完整推理服务还需要、本次未包含」。1
清单上有三项：一套 KV cache 系统；把视觉编码器、预填充、解码拆成三段分别部署；以及数据并行副本之间的负载均衡。1
数据并行是同一份模型在几张卡上各跑一份，副本之间谁接哪个请求，要靠负载均衡来分。1
知乎文给了理由，说缓存管理和负载均衡这两块与内部基础设施耦合太深。2
这三样恰好是花钱的地方。
以缓存为例。3FS 是 DeepSeek 自研、也已经开源的分布式文件系统，它给 KV cache 提供的 SSD 容量约 100 PiB。2
100 PiB 大约是十万块 1 TB 硬盘的容量。
峰值聚合读带宽 10 TiB/s，写带宽约 850 GiB/s，读取以约 112 KiB 的块为单位。2
缓存有保留期：chatbot 流量 7 天，agent 流量 3 天。3
保留期从 7 天减到 3 天，chatbot 的命中率会下降 0.5 到 1 个百分点。3
SWA 是滑动窗口注意力，它的缓存不落盘，只留在产生它的那台机器内存里，跨机器命中时经一条 400G 的网拉回来。3
每条序列要保存的 SWA 缓存是 1,415,040 字节，由 20 层、每层 134 个 token、每 token 528 字节构成。3
这些数字决定了能同时接多少请求，也决定了缓存能命中多少。
开源交出来的是引擎，留下来的是机房和存储。
03｜钱省在哪
省下来的钱分成两半，一半在模型里，一半在工程上。
模型那一半：V4.1-Flash 是 552B 的 MoE，读输入只用 8B 激活参数，写输出用 16B。8
同一代里，它的 KV cache 只要上一代四分之一的 HBM、八分之一的 SSD。8
工程那一半是四件事。
第一件是重算。V4.1 的解码层要精确重建缓存，原本得把最后 2,560 个 token 跑过 20 个解码层。3
改成只重算最近 128 个 token 之后，总预填充计算量近乎减半。3
第二件是投机解码。草稿模型一次生成 5 个 token，系统按每个 token 的接受概率排序，只验证期望收益最高的那一段。3
每步验证的草稿 token 从 5 个降到 3.2 到 4.4 个，被接受的长度基本不变。3
第三件是解码的并行方式。预填充用 EP2 到 EP8，解码用 EP64 到 EP128，用尽可能大的专家并行把每步的显存访问摊薄。3
第四件是调度。CPU 在 GPU 跑前向的同时做下一步的排队，GPU 全程没有空转。3
这四件事叠起来，才是「每卡每小时 38 美元」背后那台机器。
它们全部写在公开代码里。
负载均衡是例外，它只能做到「完美均衡的离线基准」的八成。3
公开代码负责把每张卡跑满，未公开的部分负责让几千张卡不互相等。
04｜只差 5%
开源版是不是缩水版，部署问答自己回答了。
内部版本与公开版本的算子库大体相同，FlashMLA 少一个手工调的 SASS 优化，解码算子慢 5% 到 10%，端到端最多差 5%。3
投机解码用的 draft 模型，内部版本稍新，性能差距很小。3
5% 这个差距，小到可以放进测量误差里。
DeepSeek 给的部分可以直接跑，缺的部分一跑就露馅。
性能和保密之间没有多少关系：能公开的都公开了，剩下的不是性能。
05｜两个数字
155 万亿 token 一天，等于每小时 6.46 万亿，每秒 17.9 亿。
每卡每小时 38 美元，按谷价算。
V4.1-Flash 的谷价是这样：命中缓存的输入每百万 token 0.003 美元，未命中的输入 0.15 美元，输出 0.60 美元。5
38 美元能换多少 token？
全部按输出价卖，是 6,300 万 token；全部按未命中的输入价卖，是 2.53 亿 token。
再看它自己的实测：解码阶段每卡每秒 13,730 到 18,660 个 token，折成每小时是 4,900 万到 6,700 万。3
把 0.60 美元乘回去，每小时 4,900 万 token 对应 29.7 美元，6,700 万对应 40.3 美元。
38 美元夹在中间，靠近高的那一端。
麻烦在这里：两个数算的不是同一批 token。
如果 155 万亿全是解码出来的输出 token，按每张卡每小时 6,700 万算，光这一项就要约 9.6 万张卡。
这还要求它们以 benchmark 的最高速度同时解码，并且没算负责预填充的卡。
而按最贵的输出价反推，38 美元一卡一小时意味着卡数不超过约 10.2 万张。
9.6 万是算力的下限，10.2 万是营收的上限，两者只差 6%。
一边要求每张卡跑满，一边要求每一枚 token 都按最贵的输出价卖出。
按 DeepSeek 自己的说法，预填充和解码的卡数比例大致是一比一，还有大量命中缓存的输入 token 只卖 0.003 美元。3
所以 155 万亿里装的，一定远不止输出 token。
一个是处理量，一个是牌价收入，写在同一行里，读起来像同一件事。
2025 年 2 月那次，算法是这样。
按每卡每小时 2 美元的租价，平均 226.75 个节点、每节点 8 张 H800，一天成本 87,072 美元。6
如果所有 token 都按 R1 的牌价卖出，一天收入 562,027 美元，成本利润率 545%。6
同一套折算下来，每卡每小时 12.9 美元。
这次是 38 美元，接近三倍。
两个价格都降到 27%。
单价降到三成，单卡收入涨到三倍，中间是每卡每小时卖出的 token 涨了一个数量级。
这个推算成立的前提，是两次口径一致。DeepSeek 没有说这次是怎么算的。
2025 年那次，它连成本都给了，还在文末加了一句「我们实际上没有这么多收入」。6
2026 年这次，收入给了，成本那一栏空着。
The Information 标题里的「高毛利」，是记者的措辞；DeepSeek 给的是一个收入数字。
毛利可以自己算：如果成本还是 2025 年那个每卡每小时 2 美元，38 美元的收入对应的毛利空间接近 95%。
但那个 2 美元是 2025 年的假设，当时用的是 H800。
还有更省事的检查办法：把「万亿 token」放到别处比一比。
国家数据局今年 3 月的口径是，全国日均词元调用量超过 140 万亿，比 2025 年底的 100 万亿又涨了四成多。9
谷歌 5 月在 I/O 上说的是每月处理超过 3,200 万亿 token，折下来一天约 107 万亿。10
155 万亿、140 万亿、107 万亿，如果按同一个单位读，DeepSeek 一个集群就超过了谷歌全球。
没人会这么读。
看到「万亿 token」，先问三件事：含不含缓存命中，含不含预填充，按牌价还是按实收。
06｜昇腾那一行
README 的支持硬件只有两行：英伟达 SM100，和华为昇腾 950。1
构建脚本里有一个开关，
DEEPINFER_ACCELERATOR=ascend。1昇腾侧依赖 torch-npu 2.13 和 CANN 9.2。1
在此之前，国产卡是中国模型公司推理系统里的一条内部路径；这一次，它被写成了公开的构建选项。
昇腾 950 是华为路线图上最新的一代，能不能拿到货，是另一件事。
代码先到，货后到。
07｜第三方拿到什么
The Information 说，这次公开对托管 DeepSeek 模型的第三方平台有用。4
它点名了两家：Fireworks 和 Baseten。
用处最直接的一处落在接口上。
deepseek-recipe 的处理逻辑与官方 API 完全对齐。
第三方在自己的服务前面接上它，就能给出同样的流式响应、思考内容和工具调用格式。7
接口这一层，就此变成公共品。
在线服务那一层还差着：请求怎么排队、超时怎么办、实例怎么扩缩容，第三方得自己搭。1
托管的价格没跟着动。
Fireworks 对同款模型报的价是每百万 token 输入 0.30 美元、缓存输入 0.006 美元、输出 1.20 美元。11
峰价是谷价的两倍：0.30 / 0.006 / 1.20，Fireworks 报的正是这一档。5
它另有一个跑在美国容量上的版本，0.45 / 0.009 / 1.80，是 DeepSeek 谷价的三倍。11
开源能帮第三方把引擎这一项成本压下去。
压不动的是机房、存储，还有一项更硬的：DeepSeek 自己的报价。
这次开源的真正作用，是把 DeepSeek 的成本结构变成同行的及格线。
一个把推理效率当核心资产的公司，为什么愿意把引擎送出去？
一种读法是标准之争：让 DeepInfer 成为跑 DeepSeek 模型的事实引擎，就像 CUDA 之于英伟达。
另一种读法是它在赌下一个瓶颈不在推理。
两种读法都指向同一件事：它要的不是这一层的租金。
08｜判断
第一，它把发布节奏交了出去。
问答里写得很直白：未来 DeepSeek 新模型的推理代码，以及后续的性能优化，都会继续在 DeepInfer 里开源。3
以后每出一个模型，就多一个能跑的引擎，同行不必再等适配。
第二，它开始用算力出租商的单位说话。
每卡每小时是机房的账，模型公司通常算的是每百万 token。
第三，留下的三块——缓存、三段分离、负载均衡——在资产负债表上，不在代码里。
引擎公开、接口对齐、权重本来就挂在 Hugging Face 上，剩下的生意会越来越像一件事：把电和芯片变成 token，卖得比别人便宜。8
下一个该公布的数字，是成本。
References
- 1DeepSeek-AI/DeepInfer
github.com
- 2DeepSeek V4.1 Flash 大规模推理部署实践
zhuanlan.zhihu.com
- 3
- 4DeepSeek Open-Sources Framework Behind Its High-Margin AI Inference
theinformation.com
- 5Models & Pricing
api-docs.deepseek.com
- 6DeepSeek-V3 / R1 推理系统概览
zhuanlan.zhihu.com
- 7deepseek-ai/deepseek-recipe
github.com
- 8DeepSeek-V4.1-Flash: Smarter, Faster, More Efficient
api-docs.deepseek.com
- 9我国日均词元调用量超140万亿
news.cn
- 10
- 11Serverless Pricing
docs.fireworks.ai
This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.