蚂蚁百灵开源 Ling-3.0-tiny：7.9B 总参数、每 Token 激活 1.3B

今天，我们正式开源 Ling-3.0-tiny。

Ling-3.0-tiny 是一款总参数量为 7.9B、推理时激活参数量仅为 1.3B 的原生混合推理模型。本次开源同步提供 BF16、FP8 和 INT4 三个版本，让开发者能够根据硬件环境、能力需求和部署成本灵活选择。

我们推出 Ling-3.0-tiny，并不是为了加入一场单纯的参数规模竞赛。

我们真正关心的，是在计算资源更加有限的条件下，模型的能力、效率与可部署性，能否同时成立：

每个 Token 仅激活 1.3B 参数，能否依然具备覆盖真实任务的综合能力？
轻量模型，能否兼顾复杂任务思考、Agent 执行与快速响应？
更高效的架构，能否真正转化为更低的推理成本和部署门槛？
中小团队和个人开发者，能否在自己的设备上，将模型接入本地数据、工具与业务流程？

这些问题，共同定义了 Ling-3.0-tiny：以更少的激活参数承载更完整的任务能力，以更灵活的精度与设备选择，让开放智能真正进入现实环境。

对于一款 Tiny 模型而言，参数更少只是起点。真正重要的是，在大幅降低推理计算量之后，模型能否依然保留解决真实任务所需要的综合能力。

在 Artificial Analysis Intelligence Index 的评价体系中，Ling-3.0-tiny 获得 25 分。该指数综合考察模型在真实任务、工具使用、代码、科学推理、知识可靠性和长上下文等九个方向的表现，反映的是模型跨任务的综合能力。

如下图所示，Ling-3.0-tiny 的综合指数：仅落后于 Gemma-4-26B-A4B 的 26 分，接近 4B 激活规模的更大 MoE 模型；高于 gpt-oss-120B（high）、Qwen3.5-9B、Gemma-4-12B 以及 Gemma-4-E4B。

Ling-3.0-tiny 拥有 7.9B 总参数，但每个 Token 仅激活 1.3B 参数。以更低的激活规模，它不仅进入了主流 4B–12B 级模型的综合能力区间，也展现出与更大规模模型竞争的潜力。

这并不意味着一个分数可以概括模型的全部能力，也不意味着 Tiny 模型能够替代所有大型模型。它所证明的是：Ling-3.0-tiny 不是一款单纯为了“装得下”而缩小的模型，而是在保持轻量计算特征的同时，具备进入代码辅助、知识工作流、工具调用与本地 Agent 应用的能力基础。

Ling-3.0-tiny 最突出的能力方向是真实任务与 Agent 执行。其 Artificial Analysis Agentic Index 达到 16 分，甚至超出 Gemma 4 31B 的能力分数；其中 GDPval-AA v2 达到 772 Elo，τ³-Banking 达到 20.80，体现出模型在任务理解、工具调用和流程推进方面的能力。

在本次列入比较的模型范围内，Ling-3.0-tiny 在 IMO-AnswerBench 和非幻觉率指标上取得领先结果，并在数学、科学推理、代码 Agent、指令遵循和长上下文任务中展现出相对均衡的能力。

在保持 25 分综合智能指数的同时，Ling-3.0-tiny 输出速度超过 160 tokens/s，输出 500 tokens 的端到端时间约 18 秒，且已包含模型思考时间。更小的激活规模，由此进一步转化为更低的任务等待和更快的 Agent 执行。

Ling-3.0-tiny 延续 Ling-3.0 series 的原生混合线性注意力路线，并进一步面向轻量化与低门槛场景优化，将总参数量控制在 7.9B，单 Token 激活参数仅 1.3B。

Ling-3.0-tiny 的架构设计并不是为了追求单一技术指标，而是希望把效率落实到真实任务中。

3:1 KDA–MLA 架构（每 4 层包含 3 层 KDA 和 1 层 MLA），让模型能够更高效地处理长上下文；
128 专家稀疏 MoE，每个 Token 激活 8 个路由专家和 1 个共享专家，让模型以 1.3B 激活参数承载更完整的能力；
原生混合推理，让常规任务的快速响应和复杂任务的多步思考在同一模型中完成；
Multi-Token Prediction 训练目标，则为更高效的 Token 预测与后续推理加速提供基础。

这些设计最终共同指向三个目标：

降低推理所需的计算资源；
降低本地部署与二次开发门槛；
让轻量模型具备进入真实 Agent 工作流的能力。

为降低模型部署与应用门槛，Ling-3.0-tiny 本次同步开源 BF16、FP8 和 INT4 三个版本，让开发者能够根据硬件条件、性能要求和业务成本选择更合适的部署方式。其中：

BF16 适合追求完整精度的研究评测与生产应用；
FP8 在模型效果、运行速度和资源占用之间取得平衡；
INT4 则进一步降低部署门槛，让更多资源受限的本地环境也能使用模型能力。

开源的价值，不只在于提供更多模型版本，更在于让模型真正进入开发者自己的设备、数据环境和业务流程。

DGX Spark：一台设备，支撑小规模稳定服务

Ling-3.0-tiny 可以在单台 NVIDIA DGX Spark 上完成 FP8 推理，模型权重文件约为 7.85GB。在 2K 输入测试中，单请求稳态解码速度约为 100–105 tokens/s；双请求并发时，聚合解码吞吐约为 161 tokens/s。

这意味着开发者和中小团队无需搭建大规模算力集群，仅通过一台 DGX Spark，即可构建独立运行的本地模型服务，为小规模用户提供稳定的推理能力。

从企业内部知识助手、研发团队代码助手，到面向特定业务流程的任务智能体，团队可以在控制数据边界与部署成本的同时，更快完成模型应用验证和服务上线。

实测 Demo：基于 DGX Spark 的移动设备自动化

我们在 Spark 上部署 Ling-3.0-tiny 驱动移动设备，展示模型理解任务、调用工具并完成自动化操作与验证的能力。针对开发测试中常见的大批量试跑和回归验证场景，本地推理能够兼顾运行成本、数据可控性与执行可靠性，为移动端自动化测试提供轻量、可复用的实践方案。

🎬 视频演示（见公众号原文）

MacBook：把本地智能带进日常工作

目前，Ling-3.0-tiny 已经完成 Macbook（Apple Silicon）的本地运行适配，BF16 与 FP8 版本均可在 MacBook 上运行。

在 MacBook 上，Ling-3.0-tiny 可以成为随身运行的个人生产力助手，用于代码辅助、文档处理、本地知识问答和工作流自动化。模型与数据均可保留在本地，既减少对云端服务的依赖，也为隐私敏感的信息处理提供更加可控的选择。

其中，FP8 版本进一步降低了本地运行所需的资源，并将持续生成速度提升约 30%，让开发者能够以更低的资源成本获得更加流畅的多轮交互与 Agent 体验。

实测 Demo：在 MacBook Pro（36GB 内存）上复刻 Infinite Wiki

为了进一步验证 Ling-3.0-tiny 在本地高频交互场景中的表现，我们在 MacBook Pro 上复刻了 Infinite Wiki（无限百科）的核心体验：阅读过程中点击任意词语，模型会结合当前上下文生成一张简明解释卡片；卡片中的词语还可以继续点击，让知识探索不断向下延伸。

🎬 视频演示（见公众号原文）

整个 Demo 均由 Ling-3.0-tiny 在 macOS 本地完成推理，无需调用云端模型服务。实测首 Token 响应低于 100 毫秒，连续点击和多层下钻时依然保持连贯流畅；阅读路径、查询记录与生成内容也可以留在设备端，无需产生云端 API 的按次调用费用。

Infinite Wiki 展示了 Ling-3.0-tiny 在端侧高频交互场景中的实际价值：它不只是能够在 Mac 上运行，还能够以接近原生应用的响应体验，成为随时可用的本地知识引擎。

Mac mini：让本地智能持续在线

同一套 Apple Silicon 部署路径也可以延伸至 Mac mini。

与侧重移动办公的 MacBook 不同，Mac mini 更适合作为低功耗、常驻式的本地智能节点，为个人或小型团队持续提供知识库检索、文档分析、自动化任务和本地模型 API 服务。

它可以被放置在办公室、工作室或家庭环境中，让 Ling-3.0-tiny 从一个需要临时启动的模型，进一步成为持续在线、随时可调用的本地智能能力。

实测 Demo：基于 Mac mini 的本地阅读与写作助手

我们在 Mac mini 上部署 Ling-3.0-tiny，展示划词翻译、语法纠错和文本改写等日常辅助能力。模型无需将数据上传云端，即可提供即选即答的低延迟体验，在保护内容隐私的同时支持离线使用，为个人及企业提供轻量、低成本的本地阅读与写作方案。

🎬 视频演示（见公众号原文）

从专业级本地 AI 工作站到个人电脑，不同精度版本与设备形态共同拓展了 Ling-3.0-tiny 的应用空间。开发者可以结合硬件条件、数据边界和业务需求，将模型接入本地知识库、代码助手、UI 自动化、企业任务智能体及更多真实工作流。

接下来，我们将继续围绕以下方向推进 Ling-3.0-tiny：

进一步增强长尾知识覆盖和事实准确性；
提升复杂工具调用和长程 Agent 任务的稳定性；
继续优化代码、科学推理和长上下文能力；
改善推理能力、响应时间和任务成本之间的平衡；
完善 FP8 和 INT4 版本的硬件适配、推理框架支持与部署文档；
与硬件厂商、高校和开发者社区共同建设轻量模型生态。

Ling-3.0-tiny 的开源，不只是一次模型权重的公开，更是我们对智能如何走进真实世界的一次回答。

我们希望，Ling-3.0-tiny 所代表的智能，具备三个特征：

Open（开放可用）：让更多团队能够使用、部署模型，并在此基础上持续创新。
Efficient（高效可持续）：让高质量的推理、工具调用和 Agent 任务以更少资源、更低成本持续运行。
Professional（专业可信）：尊重真实业务流程、数据边界与专业知识，并始终保留人的判断与责任。

更少的激活参数，并不意味着只能完成更简单的任务。相反，它让推理、工具调用和 Agent 能力有机会进入更多设备、服务更多团队，并在更多真实场景中发挥作用。

Open intelligence for the real world.

让智能开放，让效率普惠，让更多团队拥有可部署、可持续、可掌控的智能。

开源权重和本地部署

欢迎大家试用、反馈和交流

🤗 Hugging Face

https://huggingface.co/inclusionAI/Ling-3.0-tiny

https://huggingface.co/inclusionAI/Ling-3.0-tiny-fp8

https://huggingface.co/inclusionAI/Ling-3.0-tiny-int4

🤖 ModelScope https://modelscope.cn/models/inclusionAI/Ling-3.0-tiny

https://modelscope.cn/models/inclusionAI/Ling-3.0-tiny-fp8

https://modelscope.cn/models/inclusionAI/Ling-3.0-tiny-int4