一度电能换多少 token

10 月 20 日下午，DeepSeek 把内部推理框架 DeepInfer 开源了，Apache 2.0 协议。同步放出的还有一个叫 deepseek-recipe 的编解码组件，MIT 协议，负责把各家 API 格式的请求统一成 DeepSeek 的对话格式，再切成 token。

两个仓库的第一个 commit 都打在今天。

官方自己的说法是，大模型的能力边界由模型本身划定，但怎么以合理成本提供超大规模的服务，取决于一个「长期未被公众了解的中间层」。

这层东西以前没人看，因为它不产生新闻。

中间层

我们用 AI 的时候只看得到两头。一头是模型，回答得好不好。另一头是价格，一次调用几分钱。

中间那一层没人看。它负责把几千张卡调度起来，决定一个请求排队多久、走哪块卡、算完了怎么拼回去。

同一张卡，框架写得好和写得烂，吞吐能差好几倍。这个差别最后会落到账单上，但你在账单上看不出原因。

所以推理框架一直是各家的黑箱。你知道单价，不知道单价是怎么算出来的。

今天这层黑箱被打开了一条缝。

拆开看

仓库 README 里列了一串能力，挑几个普通人能感知的说。

推测解码那块他们叫 DSpark。原理是先让模型一口气猜几个 token，再一次性验证。猜对了省时间，猜错了退回去。官方给的数字是单 token 接受率 75%，一次猜 3 个，平均能过 3.25 个。性能图上标的就是这个配置，nextn=3，acceptance 75%，τ=3.25，对得上。

长上下文那块是 SWA bounded replay。上下文几万 token 的时候，模型每次都要把前面的内容重算一遍，很浪费。它们的做法是只重放最近一小段，V4.1 的默认值保留 140 个 token，这个数写在环境变量的名字里。

还有两个词，做产品的人会关心。batch-invariant inference，一句话不管跟多少人一起排队，出来的结果完全一致。deterministic sampling，固定种子之后，同样的输入永远同样的输出。听着像技术细节，实际是能不能拿来做生意的分界线。答案每次都不一样的 API，没人敢接进客服系统。

性能数据挂在仓库的 doc/images 底下，两张图，横轴纵轴标得很清楚。

prefill 那张，4 张 SM100，MoE 专家配置 384+32，上下文 131072。batch 开到 65536，单卡吞吐 88500 token 每秒，延迟 735 毫秒。一天 86400 秒，这个配置下单卡一天能过 76 亿 token。

decode 那张，单卡吞吐 26000 token 每秒，这时候每个用户拿到 110 token 每秒。想更快就少放点人进来，单用户能到 330，单卡还剩 2300 的吞吐。

330 token 每秒是什么概念。一篇三千字的公众号大概四千五百 token，生成完要十四秒。人说话是每秒五到八个 token，这个速度快了四十倍不止。

硬件支持英伟达 SM100 和华为昇腾 950。仓库里英伟达和昇腾的依赖文件是分开写的两套，昇腾那边要 CANN 9.2。这是真做了适配。

有三样东西没放出来

README 写得很实在。

完整的推理服务还需要一个 KV cache 系统、VE 跟 Prefill/Decode 的分离部署、数据并行副本之间的负载均衡。这三样都在「not included in this release」底下。

所以这次给的是引擎和骨架。要真跑一个对外服务，缓存、拆分解耦、调度这些配套的活得自己干。

另外两个限制写在括号里。batch-invariant 和确定性采样后面各跟着一个小括号，NVIDIA only。昇腾那边暂时没有这两项。

支持的模型只有一款，DeepSeek-V4.1-Flash。拿它去跑别的开源模型不行。

硬件门槛也得说清楚。SM100 和昇腾 950 都是新卡，手上只有 A100 或者 H100 的人，这次用不上。

所以这次开源解决的是算法层面怎么省。你手上有没有那张卡，是另一件事。

账本摊开之后

那它算不算普惠。

我的判断是算，理由跟宣传里讲的不太一样。

宣传的逻辑是效率高了成本低，成本低了更多人用得起。这个链条没错。不过它讲的是结果。

已经发生的事实是，DeepSeek V4.1 Flash 的 API 定价每百万 token 输入 0.30 美元、输出 1.20 美元，上周在 OpenRouter 的调用量榜上排第一，32.8 万亿 token。便宜这件事不需要谁去论证，榜单摆在那儿。

真正被动摇的是另一样东西。

以前你买 API，只知道单价。这个单价背后有多少是浪费，你不知道，也没法自己省。框架是黑箱，黑箱里的账算不清，价格战就只能对着喊。

现在账本摊开了。推测解码接受率 75%、SWA 只保留 140 个 token、异步调度让 CPU 和卡重叠、专家并行的负载怎么摊平，这些是省钱的具体位置。位置公开，别人也能照着做一遍。

普惠的机制在这儿。它不靠谁让利。省钱的路径被写进了公开代码里，谁都能走。

致谢里还有一行，我看了两遍。

README 的致谢写着，DeepInfer 最初主要是基于 vLLM 搭起来的，另外受了 SGLang 和 TensorRT-LLM 的影响。vLLM 是伯克利出来的开源项目，这几年整个行业的推理服务底下垫的都是它。

DeepSeek 在这个地基上改到能跑 64 卡 decode、单卡两万六的水平，然后用 Apache 2.0 还回去。

这个来回就是普惠的样子。接力跑。

至于这条缝能开多大，接下来几个月能看出来。它们说新模型的推理代码和后续优化会一直在这个仓库更新。真能做到，开源的就从一个静态快照变成了持续交付的东西，那是另一个量级。

现在能确定的只有一件。曾经只有少数几家公司算得清的那笔账，今天挂到 GitHub 上了。