Fireworks 实测 DeepSeek-V4.1-Flash:DeepSWE 达 GPT-6 Astra 水平、单任务成本仅 1/15
DeepSeek-V4.1-Flash on Fireworks: Astra-level DeepSWE at 1/15th the cost
Fireworks 对上周发布的 DeepSeek-V4.1-Flash 进行全套基准评测,在 DeepSWE 上以 74.34% pass@1 达到 GPT-6 Astra 级编码准确率,每任务 $0.43、约为 Astra 的 1/15。
原文给出 DeepSeek-V4.1-Flash 与多款前沿模型的实测成本与准确率数据,可帮助读者按任务匹配合适模型。
上周,Fireworks 发布了最新的 DeepSeek-V4.1-Flash。在对其进行全套基准测试后,结果显示它在质量、速度和成本等关键权衡上树立了新的帕累托前沿。在 DeepSWE 上,它以每任务 1/15 的价格达到了 GPT-6 Astra 级别的编码准确率。
开发者经常问我们如何选择合适的模型。现实情况是,模型只是地图上的一个点,而你的应用是一个完整的系统。AI 能力参差不齐,这意味着一个模型可能出色地处理某项任务,却在另一项任务上表现不佳。由于没有单一模型能在所有场景中胜出,工作负载设计归根结底在于将合适的模型匹配到合适的任务,无论你需要低延迟处理,还是为复杂推理进行深度计算。
以下是 DeepSeek-V4.1-Flash 在不同工作负载下的实际表现,以及它可能适合你技术栈中的哪个位置。
我们评估了 DeepSWE 基准,以了解各模型如何在准确率与每任务成本之间取得平衡。
| 模型 | 努力程度 | Pass@1 | 成本/任务 |
|---|---|---|---|
DeepSeek V4.1-Flash | max | 74.34% | $0.430 |
GPT-6-Astra | xhigh | 74.12% | $6.524 |
Gemini 3.8 Flash | high | 73.83% | $2.362 |
Claude Opus 5 | max | 73.65% | $11.838 |
在质量方面,这四个模型属于同一级别。在 DeepSWE 上,四者的 pass@1 差距都在 0.7 分以内,而我们多次运行的波动为 1.4 到 3.2 分,因此这一组中没有哪个模型在质量上明显领先。差异完全体现在成本上:在 Fireworks 上运行的 DeepSeek-V4.1-Flash 以每任务 $0.43 的成本提供相同的准确率区间,比 Gemini 3.8 Flash 低 5.5 倍,比 GPT-6 Astra 低 15 倍,比 Claude Opus 5 低 28 倍。
新的 DeepSeek-V4.1-Flash 模型从根本上改变了自主软件工程任务的单位经济性。在 GPT-6 Astra 和 Opus 5 等昂贵的闭源模型上运行高迭代的智能体工作流、多轮缺陷排查或大规模测试生成,会迅速耗尽工程预算。以每任务 $0.43 的成本,前沿级 SWE 智能体可以作为持续运行的后台基础设施变得可行。借助 DeepSeek V4.1 Flash,你现在可以用一次 Astra 调用的价格运行 15 次自主编码尝试。
DeepSeek-V4.1-Flash 是 DeepSeek 新架构家族中最小的模型,并带来了一些新的架构增强。
它由 552B 参数的 MoE 组成,采用新的编码器–解码器分离架构。在这种架构中,模型不再为整个前向传播设置一个激活预算,而是将其拆分为输入 8B 激活参数和输出 16B 激活参数。这带来了更高效的设计,从而实现更经济的 token 开销。
这种不对称性与编码智能体的运作方式相吻合。典型的智能体轨迹非常偏重输入。编码智能体经常重读文件、重读自己的暂存区、重读工具输出,并输出相对较小的补丁。在我们的 DeepSWE 运行中,模型每任务消耗 36.9M 输入 token,而输出 token 为 211K,比例为 174:1。这种架构使开发者能够在输入侧花费一半的计算量,而输入侧通常占据更大比例的 token。
与上一代 DeepSeek V4 相比,DeepSeek 提升了 DeepSeek-V4.1-Flash 上的 KV Cache 利用率,仅消耗 ¼ 的 HBM 和 ⅛ 的 SSD 存储。

这一新的 KV Cache 优化为你的编码智能体带来了更好的经济性。从 DeepSWE 运行中,我们得到以下经济性数据:
| 成本构成 | Token/任务 | 费率 | 成本/任务 | 占比 |
|---|---|---|---|---|
未缓存输入 | 148,741 | $0.22/M | $0.0327 | 7.6% |
缓存输入 | 36,744,586 | $0.007/M | $0.2572 | 59.9% |
输出 | 211,513 | $0.66/M | $0.1396 | 32.5% |
总计 | $0.4295 |
本次运行中 99.6% 的输入 token 是缓存命中,而缓存命中的费用占账单的 60%。
大多数人以为 agent 的经济账意味着你主要在为模型生成的内容付费。然而在长时间运行的 agent 循环中,大部分开销来自反复重读相同的上下文。这种由重复任务带来的开销循环,使得 KV 缓存内存减少 4 倍对你的 token 支出产生更大影响。它直接针对你 agent 设计中最大的成本驱动因素,将 74% 级别的 DeepSWE 分数成本降低 15 倍。SSD 开销减少 8 倍与 HBM 优化形成互补,使长轨迹中的缓存命中率保持在接近 99%。
在另一项任务上,我们看到了类似的情况:DeepSeek-V4.1-Flash 正以极低的成本逼近前沿水平。
| 模型 | 准确率 |
|---|---|
GPT-6-Astra | 87.5% |
DeepSeek-V4.1-Flash | 86.5% |
在 Terminal-Bench 2.1 上,两者的质量仅相差一个百分点,但经济性差异显著。DeepSeek-V4.1-Flash 平均使用的输出 token 约为 Astra 的 4 倍,意味着它思考更久、写得更多。仅从输出定价来看,结果就是成本优化了 20 倍。把一切因素——包括未缓存输入、缓存命中和输出——综合起来,DeepSeek-v4.1-Flash 在几乎相同的质量下,每任务成本低 12 倍。
HLE 与 oracle 路由评测
我们运行了第三项基准任务——Humanity's Last Exam,也称为 HLE。这是一个多模态基准,用于衡量 LLM 在研究生水平学术科目上的极限。在这次测试中,我们还用 oracle 路由做了一些基准测试,类似于我们在 Kimi K3 和 DeepSeek V4 Pro 上所做的。快速回顾一下:oracle 路由是一种衡量最佳理论性能的方法,它让任务分别经过每个模型运行,然后挑选成本最优的正确选项,以确立成本和性能的上限。
| 配置 | HLE 分数 |
|---|---|
DeepSeek-V4.1-Flash | 34.52% |
GPT-6-Astra | 50.40% |
Oracle 路由(GPT-6-Astra + DeepSeek-V4.1-Flash 最优组合) | 54.80% |
在 HLE 上,DeepSeek-V4.1-Flash 单独运行时落后于 Astra。这表明 DeepSeek 单独更适合 DeepSWE 这类 agentic 编码任务,而非 HLE 这类推理任务。如果你的工作负载只是高难度科学推理,这可能不是合适的选择。
oracle 路由是这里有趣的结果,它显示了路由和多模型系统的重要性。Astra 加 DeepSeek V4.1 的 oracle 路由表现优于单独的 GPT-6 Astra。这 4.4% 的差距只有在 V4.1-Flash 正确回答了一组 Astra 答错的有意义问题时才能实现。34.52% 并不是 50.40% 的子集;两个模型在不同的问题上失败。需要考虑的是,oracle 路由是你的应用可能达到的上限。真实的路由器可能无法完全捕捉这 4.4 个百分点的差距,但 oracle 路由展示了多模型系统超越单独 Astra 模型的可能性。
Fireworks 的 DeepSeek-V4.1-Flash 树立了新的性价比基准:在编程准确率上可与 GPT-6 Astra 等顶级模型匹敌,而每任务成本仅为后者的 1/15。其 552B MoE 设计采用分离的输入/输出激活预算,并配合升级的 KV 缓存以降低 HBM 占用,从而为你的编程智能体带来更好的经济性。它在复杂的学术推理上落后(HLE 为 34.52%,而 Astra 为 50.40%),但由于它解决的问题与 Astra 不同,将两者组合在路由系统中,能以远低于单独使用 Astra 的预算取得更优表现。
- 无服务器与专用 API:直接在 Fireworks 无服务器上开始使用 DeepSeek-V4.1-Flash,或为你的生产工作负载使用专用容量。
- 敬请期待,面向受监管行业的美国托管端点即将推出
- 如果你有兴趣,联系我们的团队以获取即将推出的训练支持。
想在你的工作负载上试用?我们很乐意了解你的体验,请在 X(@FireworksAI_HQ)上标记我们,并告诉我们你正在构建什么!
来源:Fireworks AI · fireworks.ai