蚂蚁百灵开源 Ling-3.0-flash：124B 总参数 MoE 混合推理模型

更快的服务与推理，更灵活的部署，让智能进入真实业务

Open intelligence for the real-world.

百灵新一代原生混合推理模型 Ling-3.0-flash 现已正式开源。

我们同步提供基础版本以及 FP8、FP4、INT4 等多个版本，方便开发者根据模型精度、硬件条件、推理成本和数据安全要求，选择适合自己的部署方式。

Ling-3.0-flash 采用 124B 总参数、5.1B 激活参数的 MoE 架构。它保留了千亿参数模型的知识与能力容量，但在生成每个 Token 时，只激活其中约 5.1B 参数，从而降低单次推理的计算开销。

这让 Ling-3.0-flash 不只是一款“跑得快”的模型，也能够真正进入不同规模的业务系统，提供三种不同的落地选择：

API 调用，让 Agent 应用快速上线： 面向希望快速接入、无需自建推理服务的开发者，Ling-3.0-flash 可通过云端 API 直接调用；
单机私有化，让数据留在本地： 面向数据不能出域的企业和团队，MXFP4 与 INT4 版本可在单台 NVIDIA DGX Spark 上完成端到端推理；
高性能部署，释放极致单请求速度： 面向单请求时延敏感的高性能服务，在指定 GPU 测试配置下，平均输出速率突破 1100 tokens/s。

开发者既可以直接调用模型，也可以自由验证、部署和定制模型能力，将 Ling-3.0-flash 接入自己的业务系统、开发工具链和 Agent 工作流。

从云端 API 到单台 DGX Spark、AMD 395 及国产推理硬件，再到高性能推理集群，Ling-3.0-flash 希望让更多团队拥有可部署、可持续、可掌控的智能。

对于希望快速验证产品、上线 Agent 应用的开发者和产品团队，API 是门槛最低的接入方式。无需先搭建和维护推理基础设施，即可将 Ling-3.0-flash 接入代码开发、搜索研究和工具调用等工作流。

在 Artificial Analysis 榜单中，Ling-3.0-flash 输出速度达到 353 tokens/s。较高的持续输出速度，可以直接缩短代码生成、长文本处理和 Agent 执行过程中的等待时间。

这种价值在多轮 Agent 工作流中尤其明显。

一个 Agent 任务完成任务，通常需要经历多次“理解任务—生成计划—调用工具—读取结果—修正行动”。当每一轮生成都更快、完成任务使用的 Token 更少，累积等待时间和调用成本都会随之下降。

因此，Ling-3.0-flash 尤其适合：Coding Agent 和代码生成工具；搜索、调研与信息整合 Agent；API、MCP 和终端工具调用；网页、游戏及轻量应用开发；办公文档与数据处理；多智能体协作中的执行节点。

在 AA Intelligence Index 榜单中，Ling-3.0-flash 每项任务的加权平均调用成本约为 0.04 美元，加权平均解码时间约为 1.4 分钟，同时进入“智能水平—任务成本”和“智能水平—任务耗时”的优势区域。

这说明 353 tokens/s 的意义不只是“字出来得更快”，而是能够以更低成本和更短时间推进一项完整任务。

从开放权重到单机部署：把数据与技术路径留在自己的环境中

近期，Sebastian Raschka 在讨论开放权重模型对 AI 生态的意义时指出，open-weight 不仅让外部研究者能够验证模型、检验厂商的技术主张，也让开发者和企业可以在自己的硬件环境中运行 AI，减少个人数据、业务信息与知识产权进入外部模型服务链路的需要。在同一条推文中，他还特别提到，技术社区正在等待 Kimi K3 和 Ling 3.0 权重上线模型平台。

社区正在等待一套真正可获得、可运行、可验证的开放模型，这也是 Ling-3.0-flash 本次开源多个精度版本，并持续完善本地部署能力的重要原因。对于更关注数据安全和部署自主性的团队，本地运行提供了更加可控的选择。Ling-3.0-flash 通过 MXFP4 与 INT4 量化版本，模型已经在单台配备 128GB LPDDR5x 内存的 NVIDIA DGX Spark 上完成端到端推理验证。

在本地测试中，Ling-3.0-flash MXFP4 版本的生成速度约为 80 tokens/s；在长文本输入场景下，Prefill 速度可达到约2500–3500 tokens/s。在测试条件下，单台 Spark 可以支持约3–4人使用。

🎬 视频演示（见公众号原文）

这意味着，一些过去通常需要多卡服务器才能运行的千亿参数模型能力，现在可以在一台桌面级 AI 设备上完成验证和使用。

单机部署让用户不依赖大型数据中心，也能搭建可运行、可验证并可持续使用的本地智能系统。它的价值主要体现在三个方面：

数据留在本地，敏感业务更可控。 模型、业务数据和推理过程可以在本地闭环运行，减少敏感信息对外传输和交由第三方处理的风险。适合企业内部文档与代码、医疗研究资料、金融数据及法务材料等场景。
减少外部依赖，长期任务更稳定。 当模型、推理框架和业务工具都部署在本地后，系统可以在内网或离线环境运行，降低网络波动、API 额度和第三方服务变化带来的影响。适合 7×24 小时后台 Agent、批量文档分析、自动生成和固定流程自动化。
接入内部系统，小团队也能真正用起来。 本地模型可以连接企业自身的权限体系、知识库、业务系统和操作流程，而不只是作为外部对话工具。在实测条件下，单台 DGX Spark 可支持约 3–4 人使用，适合部门级知识助手、研发团队 Coding Agent、研究资料分析和办公自动化。

单台 Spark 上的医疗研究数据处理：敏感数据本地闭环

我们在单台 NVIDIA DGX Spark 上部署 Ling-3.0-flash，构建了一套面向医疗研究数据处理的本地 Agentic Pipeline。模型和数据均在本地环境中运行，减少患者信息进入外部链路的风险，并可辅助完成：

敏感信息处理：对身份信息进行脱敏，并为研究样本分配动态 ID，降低后续处理过程中关联真实身份的风险。
医疗信息结构化：从原始资料中提取生命体征、血液生化指标和彩超报告等信息，将分散数据整理为可用于研究分析的结构化结果。
研究流程辅助：按照研究规则完成样本初步分组；对于异常、复杂或证据不足的样本，统一标记为“Unclassified”，交由专业人员进一步复核。

🎬 视频演示（见公众号原文）

这一案例体现了 Ling-3.0-flash 单机部署的实际价值：在降低敏感医疗数据外传风险的同时，将重复的信息提取、整理和初步分类转化为可持续运行的本地流程，让研究人员把更多时间用于真正需要专业经验和责任判断的工作。

模型用于医疗研究与数据处理辅助，不替代专业人员判断或临床诊断。实际应用仍需满足相关法规、伦理审查，以及组织内部的权限管理、日志审计和数据治理要求。

Ling-3.0-flash 通过单机部署降低了私有化应用的起步门槛；而对于单请求时延更加敏感的实时业务，Ling-3.0-flash 通过高性能 GPU 与推理栈的深度协同，进一步压缩生成等待，为实时 Agent、多轮工具调用和连续任务执行提供更低延迟的运行体验。

在 TP4、Batch Size 为 1、输入长度 8192、输出长度 1024 的测试环境中，通过推理系统优化和 DSpark 投机解码，Ling-3.0-flash 平均输出速率突破 1100 tokens/s，平均 TPOT 低至约0.8ms。

这项能力主要面向的不是普通批量服务，而是对单次响应速度极度敏感的实时交互场景。

例如：IDE 中的实时代码补全与代码修改；需要连续观察、决策和操作的 Agent；浏览器与 UI 自动化；多轮终端操作和故障修复；需要频繁调用搜索、数据库和业务 API 的工作流；对响应等待敏感的专业研究助手。

对于这类应用，模型往往不是一次生成答案，而是在很短时间内进行多轮推理和工具调用。单请求延迟越低，Agent 在单位时间内能够完成的观察和修正次数越多，整个任务流程也会更加连贯。

为了降低 Batch-1 场景中的等待和 GPU 空泡，我们主要进行了两类优化。

第一类是推理工程优化。通过 CPU/GPU Overlap、算子级 Overlap、KDA 算子优化与算子融合，减少 CPU 同步和算子之间的等待，使 GPU 在单并发场景下保持更高的有效利用率。
第二类是投机解码。针对 Ling-3.0-flash 训练的 DSpark Draft Model，可以一次生成一组候选 Token，再由目标模型集中验证。面向通用场景，可以选择更稳健的 Block Size；面向模式相对稳定的垂直业务，还可以结合业务数据提高 Draft Model 的预测准确率，进一步优化速度。

需要说明的是，1100+ tokens/s 是特定软硬件配置下的 Batch-1 平均输出速率，主要体现模型架构与推理系统的低延迟潜力，并不等同于高并发服务器的总吞吐量。网络时间、首 Token 时间及外部工具执行时间也不包含在这一数字中。

对业务来说，这组数据真正说明的是：Ling-3.0-flash 可以成为实时 Agent 工作流中的高速执行引擎。

如果你的目标是快速接入模型、验证产品或应对弹性用量，建议优先使用 API。

如果数据不能出域、使用人数相对有限，或者需要在内网持续运行，可以选择 MXFP4 或 INT4 版本，在 DGX Spark 等设备上完成本地部署。

如果你的业务需要极低的单请求时延，例如实时代码助手、高频 Agent 和连续工具调用，可以采用高性能硬件进行专属部署，并结合 DSpark 等推理优化能力。

同一个 Ling-3.0-flash，可以根据业务阶段采用不同方式：

产品验证阶段使用 API；
敏感数据和内部工作流转向本地私有化；
业务增长后建设高性能专属服务。

开发者不需要一开始就承担完整的基础设施成本，也不必被固定在单一调用方式中。

在 Ling-3.0-flash API 开放体验期间，社区开发者在代码生成、网页与游戏开发、Web3 调研、多智能体协作、API/MCP 工具调用和 UI 自动化等任务中进行了大量探索。

反馈中出现频率最高的评价，是“高效、可靠的执行者”。

Ling-3.0-flash 能够根据上下文拆解并推进任务，处理工具调用错误和重试，在长程流程中维持任务状态，并减少循环卡顿和重复执行。

相比从模糊需求出发一次性包办整个项目，Ling-3.0-flash 更适合作为 Agent 工作流中的执行节点：当目标、边界和流程足够清晰时，它可以兼顾输出质量、Token 效率和执行速度，为“规划—执行”之间提供稳定而轻量的连接。

在模型生态适配过程中，我们也与 OpenCode、Kilo Code、nanobot 等 Agent 与开发工具伙伴，Novita AI、Fireworks AI、DeepInfra 等推理服务商，以及 SGLang 等开源推理框架进行了协同测试与适配。

从 API 到推理框架，从开发工具到本地设备，Ling-3.0-flash 正在形成一套更加完整的应用与部署生态。

百灵真实世界智能共创计划——以 100 亿 Token,让开放智能进入真实业务

开放智能的价值，不只体现在模型榜单上，更应该在真实需求、真实流程和真实用户中得到验证。

「百灵真实世界智能共创计划」现面向开发者、AI 创业者、企业实践者与开源贡献者限时开放。我们将招募 100 位共创者，为每人免费提供 1 亿 Token，总计 100 亿 Token，支持大家将 Ling-3.0-flash 应用于真实业务与实际工作流。

无论你正在构建 Agent、开发 AI 产品、维护开源项目，还是希望用大模型改造代码开发、知识管理、办公协作、研究分析等具体流程，都欢迎提交申请。我们期待看到的不只是一个想法，而是一个明确的问题、一套可以落地的方案，以及能够被真实用户使用和验证的成果。

每份申请都将经过认真评估。有限的资源将优先提供给拥有真实需求、明确应用场景和持续执行计划的项目。我们也希望与入选共创者一起，探索开放模型如何从技术能力走向业务价值，将模型转化为可运行的产品、可复用的工作流和可验证的实践成果。

立即报名，和我们一起让开放智能进入真实世界：

进入百灵官网申请

https://ant-ling.app.weavefox.cn/

限时折扣，开放体验持续

随着为期两周的限时免费体验结束，为进一步降低开发者的持续使用成本，Ling Studio 推出 Ling-3.0-flash 限时 2.5 折优惠。 开发者也可继续通过百灵官方平台及 OpenRouter 等第三方平台便捷接入模型，深入探索其在复杂任务执行、工具调用、代码生成及长上下文理解等场景中的能力。

注：2026 年 8 月 7 日 00:00 至 8 月 31 日 24:00，Ling-3.0-flash 在 Ling Studio 限时享受 2.5 折优惠；自 9 月 1 日 00:00 起恢复原价。

开源权重和本地部署

欢迎大家试用、反馈和交流

🤗 Hugging Face

https://huggingface.co/inclusionAI/Ling-3.0-flash

https://huggingface.co/inclusionAI/Ling-3.0-flash-fp8

https://huggingface.co/inclusionAI/Ling-3.0-flash-fp4

https://huggingface.co/inclusionAI/Ling-3.0-flash-int4

🤖 ModelScope

https://modelscope.cn/models/inclusionAI/Ling-3.0-flash

https://modelscope.cn/models/inclusionAI/Ling-3.0-flash-fp8

https://modelscope.cn/models/inclusionAI/Ling-3.0-flash-fp4

https://modelscope.cn/models/inclusionAI/Ling-3.0-flash-int4