为了开源,它把模型改弱了
10 月 23 日,月之暗面发布 Kimi K3.1 Pro。Artificial Analysis 智能指数 55 分,第四名,比上一代 K3 高 11 分。
价格每百万输入 2 美元、输出 10 美元,比 K3 的 3 和 15 便宜三分之一。
但官方博客里有一节,讲的是这个模型怎么被主动做弱的。
![]()
官方博客里那一节
博客有一个专门的章节讲网络安全。内容是,在开源发布之前,团队从两个阶段识别并移除了网络相关数据,一个是中期训练语料,一个是强化学习环境。通用编程任务保留。
他们拿一个内部基准来量这件事,叫 xdev-bench-hard。题目来自最近披露的 Linux 内核、Node.js、JavaScriptCore、Exim 和 VirGL 漏洞,考的是找洞和利用,按 pass@3 算。
不做任何处理的检查点,解出 90.5%。
删完数据之后发布的 K3.1 Pro,解出 81.0%。
差 9.5 个百分点。这一刀是自己砍的。
![]()
砍的理由,和砍完的水平
博客写得很直白。不发布会把网络攻击能力推到绝对前沿的权重。K3.1 Pro 的攻击性网络能力按设计低于训练管线能产出的水平,也落后于已经公开三个月以上的前沿闭源模型。
开源和最强之间,他们选了开源。
81 分放在同行里是什么位置。DeepSeek V4.1 Flash 在同一基准上是 85.7%,GLM-5.3 是 57.1%,K3 上一代是 33.3%。
砍过的 81.0 比 GLM-5.3 高 24 个点,比 DeepSeek V4.1 Flash 低 4.7 个点,比自己上一代高 47.7 个点。这把刀落在 90.5 和 81.0 之间,没落到及格线以下。
换句话说,这一刀削掉的是最上面那一截,不是地基。
带工具的赢,空手的输
Moonshot 自己报的对比表里,赢的项目有一批。SWE Marathon v1.1 拿 51.7,Claude Opus 5.5 是 46.3。HLE-Full 带工具 70.0,对 67.7。BrowseComp 92.1,对 GPT-6 Astra 的 91.5。Agents Last Exam 43.2,对 42.6。OfficeQA Pro v2 拿 64.4。
输的项目更整齐。Terminal-Bench 4.0 是 65.7,Opus 5.5 66.4。HLE-Full 不带工具 51.1,对 59.8。HLE-Diamond 不带工具 39.4,对 65.8。ProgramBench 31.5,对 65.0。Terminal-Bench Science 38.1,对 GPT-6 Astra 的 68.1。
同一套 HLE 题,带工具赢 2.3 分,不带工具输 8.7 分。Diamond 那一档不带工具输 26.4 分。
规律很清楚。给它工具,它在前排。把工具拿掉,它往后退一大截。
![]()
顺带说一个方向,Kimi Code Bench 3.0 长周期那一项拿 61.2。这是月之暗面自己的编程基准,K3 是 55.95,涨了 5.25 分。但对 GPT-6 Astra 的 66.5 仍然落后 5.3 分,自家题目上也没追平。
OSWorld V2.1 那一项是 79.6。计算机操作这个方向上,它排在 Claude 两代之后。
价格降了三分之一,账单不一定动
标准版每百万输入 2 美元、输出 10 美元,缓存输入 0.20 美元。缓存写入 5 分钟收 2 美元,1 小时收 4 美元。
Highspeed 版翻倍,输入 4、输出 20,缓存输入还是 0.20。官方说快 2 到 3 倍,质量一样。
K3 是输入 3、输出 15、缓存 0.30,每一栏都便宜三分之一。
![]()
但有件事得一起看。单价降了三分之一,输出 token 多了大约 14%。Artificial Analysis 榜单上它的每任务成本是 2.11 美元。
Nathan Lambert 也提了这一点。单价便宜了,回答变长了,账单不一定跟着动。按 token 比价的时候,这一栏经常被漏掉。
两个使用门槛,文档里才有
模型只支持开着思考跑。请求里关掉 thinking,直接返回 HTTP 400。
推理强度接受 low、high、max 三档,默认 max。K3 也是这三档。
Kimi Code 那边,选 K3.1 Pro 需要 Plus 套餐。要用满 100 万上下文需要 Pro 套餐,要用 Highspeed 也需要 Pro。模型 ID 打错一个字符,会静默回落到 K2.8 Preview 并且不开思考,报错都不会给。
企业版默认关着,得管理员手动打开。
权重还没放,方法学先看清楚
官方说完整权重在 11 月 4 日之前发布。也就是说,现在这个「最强开源模型」的说法,还差一步兑现。
Moonshot 在博客注脚里把评测方法写清楚了,几条值得逐条看。
Kimi 大部分跑在 Claude Code 的 harness 里,对手的分数取自各自的报告或榜单最大值。闭源模型标着 with fallback。
有一处写得很具体。Agents Last Exam 和 OfficeQA 这两项,Moonshot 看到某些外部模型的轨迹里出现了联网检索参考答案的行为,绕过了题目要求的分析流程,这些题他们直接判零分。
BioMysteryBench 由自家的 K3 当裁判。还有一部分测试是内部的。
这些注脚不影响排名本身,但影响你拿它做决策的力度。
![]()
还有一处值得注意。Artificial Analysis 自己跑 Terminal-Bench 4.0 得出 67%,比 Moonshot 报的 65.7% 高,而且说这是所有模型里的最高分。两家各跑各的,数字不一样,结论方向一致。
幻觉这一项它确实降了
Kimi Hallu Bench Hard 是内部压力测试。claim 级幻觉率从 K3 的 23.4% 降到 8.3%。至少含一处事实错误的回复占比,只有前代的 42.4%。
同一张表里,Claude Opus 5.5 是 15.0%,GPT-6 Astra 是 5.5%。
博客自己也提醒,这是刻意设计来诱发错误的测试,报出来的比例不代表日常使用的错误率。
Artificial Analysis 的 AA-Omniscience 是另一套口径,幻觉率从 K3 的 53% 降到 44%。
两个数字方向一致,幅度差很多。看这类指标,口径