跳到正文
北京时间
原文
IT之家·人工智能·· 3 小时前精选AI 评分77

月之暗面开放 2.8 万亿参数 Kimi K3.1 Pro 权重,登顶 Agent Arena 开源模型榜

月之暗面 2.8 万亿参数 Kimi K3.1 Pro 开放权重,登顶 Agent Arena 开源模型榜

AI 导读

月之暗面按 10 月 24 日发布时的承诺,在 Hugging Face 开放 Kimi K3.1 Pro 权重。

推荐理由

原文汇总了权重开放入口、Agent Arena 排名细节和基准成绩,并指出 5.6TB 权重在消费级硬件上难以本地部署的现实情况。

正文

IT之家 11 月 5 日消息,按照 10 月 24 日发布时给出的承诺,月之暗面(Moonshot AI)今日在 Hugging Face 平台开放了 Kimi K3.1 Pro 的模型权重。

在 Arena 运营的 Agent Arena 智能体排行榜中,Kimi K3.1 Pro(Max)位列开放权重模型第一、全部参评模型第 13 位,并在工作、编程与聊天三个类别中均居开放模型首位。

Agent Arena 的评测方式与传统的成对盲测不同。它不要求用户对两个回答投票,而是从真实用户的智能体会话中提取信号,包括用户对任务的明确确认、表扬与投诉、纠正指令以及 Shell 命令执行错误等,再通过 Arena 称为“因果追踪”的随机化推断方法估算各模型相对于平均水平的净改进率。

Kimi K3.1 Pro 此次排名基于全球用户超过 1.75 万次真实长周期智能体任务会话,净改进率为 +5.1%,较上一代 K3(Max)的 +0.9% 提升 4.2 个百分点。

分项指标呈现出更具体的改善幅度。衡量 Shell 命令执行可靠性的 Bash Reliability 从 K3 的-4.5%(第 13 名)升至 +7.9%,在开放模型中排名第一;反映用户满意度的 Praise vs Complaint 指标从 +1.3% 升至 +7.7%;衡量模型根据用户反馈调整执行方向的 Steerability 指标达到 +6.5%,同样居开放模型首位。用户明确确认任务完成的 Confirmed Success 为 +3.9%,开放模型第四。

Kimi K3.1 Pro 采用混合专家架构,总参数量 2.8 万亿,单次推理激活约 1040 亿参数,支持约 100 万 Token 上下文窗口。

与 K3 相比,K3.1 Pro 以 K3 为基座进行了大规模联合强化学习后训练,覆盖数百个下游领域,并将部分全注意力层替换为门控稀疏注意力层,以降低长上下文建模的开销。

值得一提的是,开源权重的“可下载”与“可本地运行”之间存在显著距离。2.8 万亿参数以 BF16 精度存储的权重文件约 5.6TB,即使采用 INT4 量化也仍需约 1.4TB,单机消费级显卡基本不具备部署可能。

在终端智能体基准 Terminal-Bench 4.0 上,K3.1 Pro 得分 65.7%,高于 GPT-6 Astra 的 58.2%,与 Claude Opus 5.5 的 66.4% 相差不到 1 个百分点。

BenchmarkKimi K3.1 Pro
(max)
Claude Fable 5.1
(max, w/ fallback)
GPT-6 Astra
(max, w/ fallback)
Claude Opus 5.5
(max, w/ fallback)
DeepSeek-V4.1-Flash-1017
(max)
GLM-5.3
(max)
Coding
Terminal-Bench 4.065.757.958.266.442.341.8
Terminal-Bench-Science 0.138.140.068.163.315.78.1
SWE Marathon v1.151.745.642.546.340.042.5
BenchCAD w/o tools72.860.6—73.041.2—
BenchCAD w/ tools92.792.695.996.281.6—
Program Bench31.553.550.065.029.119.0
DeepSWE v1.175.567.474.174.277.066.9
PostTrain Bench v1.236.544.641.943.830.534.5
Kimi Code Bench 2.0 (Internal)77.1———76.161.7
Kimi Code Bench 3.0 Long-horizon (Internal)61.258.866.558.551.545.5
Agentic
HLE-Full w/ tools70.065.657.267.758.862.5
BrowseComp92.1—91.590.8——
BioMysteryBench80.681.678.981.980.079.6
CharXiv (RQ) w/ python93.492.792.893.885.6—
MMMU-Pro w/ python90.088.487.889.882.5—
GDP.pdf w/ python85.783.885.583.973.0—
ChartoGraphy w/ python90.288.491.089.083.0—
BabyVision w/ python95.495.196.697.792.5—
ZeroBench_main w/ python (pass@5)63.059.058.061.051.0—
Agents' Last Exam (ALL)43.2—41.842.637.726.2
Agents' Last Exam (CLI)44.2—44.240.736.029.4
Automation Bench-AA73.359.468.569.566.662.2
GDPval-AA v2.1 (Elo-score)184617541573186617461650
AA-Briefcase v1.1 (Elo-score)167816721569180315701507
APEX-Agents69.468.664.773.569.856.6
OfficeQA Pro v264.454.554.462.240.431.1
OfficeQA Pro67.468.666.2—62.458.6
Frontier Finance58.660.845.056.754.557.5
Harvey Legal Agent23.719.1——21.0—
HANDBOOK.md44.638.8—41.528.920.8
OSWorld V2.179.680.775.881.869.3—
Business Operation (Internal)37.830.732.3—8.918.6
DECK-Arena (Internal, Elo-score)1456—1423125312311119
Design Bench (Internal, Elo-score)957—1076927863718
Kimi Hallu Bench Hard w/ tools (Internal, lower is better)8.323.35.515.023.322.6
Reasoning & Knowledge & Multimodal
GDP.pdf34.627.634.230.617.211.2
HLE-Full51.157.653.659.842.643.0*
HLE-Diamond39.455.165.860.921.625.1*
GPQA-Diamond94.293.796.193.992.291.7
CharXiv (RQ)89.088.890.092.177.0—
MMMU-Pro84.186.386.987.780.6—
ZeroBench_main (avg@5 / pass@5)29.8 / 39.023.0 / 35.043.2 / 52.035.0 / 43.011.8 / 23.0—
PerceptionBench68.363.077.672.147.7—
Kimi Hallu Bench w/o tools (Internal, lower is better)5.411.44.26.813.114.8
Cyber Security
ExploitBench74.783.010091.0—54.4
ExploitGym20.730.442.434.5—15.0
xdev-bench-hard (Internal)81.0———85.757.1

相关阅读:

来源:IT之家·人工智能 · ithome.com