OpenRouter 推出由市场智慧驱动的新版 Auto 路由器

Model Routing Powered by Wisdom of the Market

市场的魅力在于，大量多元化的独立个体汇聚在一起，能够做出比任何单一专家都更优的判断和决策。OpenRouter 每天处理数万亿 token，我们一直在探索一种新方式，来分享这数百万人在模型选择中所凝聚的集体智慧。

今天，我们为 Auto router（openrouter/auto）推出了一次重大更新，其依据来自 OpenRouter 上每周超过 55T 的 token 支出。我们发现，由市场支出驱动的模型选择在广泛的任务类型和成本水平上都优于我们旧版 Auto router 的选择。通过参考过去 7 天的 OpenRouter 使用数据，它始终能跟上新模型发布的节奏。

过去几周，我们与数千人一起以 beta 形式测试了这一方案，今天我们已将其部署给所有使用 Auto router 的用户。现在就可以试试，向我们的任意推理端点发送 "model": "openrouter/auto"，或阅读文档了解详情。

为了驱动这个路由器，我们将对代表性提示词采样所运行的任务分类，转化为一条帕累托最优的路由曲线。这与我们按任务支出排列的模型排行榜所展示的底层数据相同。你可以通过发送 cost_tier 参数来指定所需的成本水平，在选择模型时它会遵循你账户中的任何护栏/隐私设置。

我们使用跨领域的基准测试来验证新版 Auto router 的性能

我们为通用性设计了这款路由器，因此我们特意用一组多样化的基准测试对它进行了评估：MMLU Pro（知识）、τ³-bench Banking（智能体）、WideSearch（搜索）、DSQA（研究）以及 SWE-Atlas QnA（编程）。

为了确信新路由器在默认成本档位下的选择，我们需要看到它在降低成本的同时达到与旧路由器相同的性能水平。我们在大多数领域都看到了这一点，只有少数例外，即旧 Auto 路由器表现不如现代经济型模型。在最高成本档位，我们的标准是前沿性能，即使最终成本高于旧路由器。

Two-row comparison of the new router's Default and Max results against corresponding old router settings across MMLU Pro, τ³-bench Banking, WideSearch, DSQA, and SWE-Atlas QnA.

新路由器的默认档位是 cost_tier=low，旧路由器是 cost_quality_tradeoff=7。最高档位则比较 cost_tier=max 与 cost_quality_tradeoff=0。

基准测试	新默认	旧默认	新最高	旧最高
MMLU Pro（知识）	85.2% ±0.3	86.6% ±0.1	91.4% ±0.3	88.8% ±0.3
τ³-bench Banking（智能体）	20.6% ±1.0	21.0% ±1.0	31.6% ±1.6	7.2% ±2.7
WideSearch（搜索）	61.6% ±2.6	53.1% ±2.6	61.9% ±2.4	54.8% ±2.6
DSQA（研究）	62.9% ±1.6	43.2% ±1.7	63.0% ±1.6	42.3% ±1.7
SWE-Atlas 问答（编程）	30.4% ±2.0	30.4% ±2.3	60.7% ±1.7	2.4% ±0.0

这些结果反映的是某一时刻的情况，随着社区偏好的变化，它们也会随之改变。我们通过基准测试来理解不同路由策略之间的相对表现，从而确信群体智慧确实能为你带来更好的结果。我们的假设是，随着越来越多的人采用 OpenRouter，高效的模型选择会随时间不断改进。

成本对比

新路由器的默认成本档位将在各类工作负载下都保持成本高效，而 max 档位则允许使用更广泛的高成本模型，适用于性能比花费更重要的场景。

基准测试	新默认	旧默认	新 Max	旧 Max
MMLU Pro（知识）	$140.93	$393.34	$255.71	$449.61
τ³-bench Banking（智能体）	$155.89	$320.04	$168.41	$99.36
WideSearch（搜索）	$30.75	$31.83	$36.89	$31.60
DSQA（研究）	$276.00	$147.11	$248.83	$144.18
SWE-Atlas QnA（编程）	$297.23	$463.73	$1,325.08	$205.52

任何在多个模型之间切换的路由策略，在重建输入缓存时都会带来一定的成本增加。通常，为了切换到更适合新任务的模型，这一成本是值得的，但如果模型切换过于频繁，则可能造成浪费。Auto 路由器实现了“粘性”行为，让多轮对话保持在同一个模型上，直到正在使用的模型不再是你的任务的首选为止。

新的 Auto 路由器如何工作

新的 Auto 路由器会根据 OpenRouter 的用户群体总体上针对你的提示词所代表的那类任务正在使用什么来做出决策。可以把它想象成一个始终保持最新、并且随着使用 OpenRouter 的人越多而变得越高效的市场指数。

下方的模型混合图展示了新的 Auto 路由器的路由曲线如何将每种任务类型映射到 cost_tier 设置：low、medium、high、xhigh 和 max。这是一个时间点快照：随着新模型发布以及 OpenRouter 社区使用模式的变化，路由曲线也会随之变化。

New Auto router routing grid showing model selections for code, agents, data, and writing and chat task types across low (cheapest fifth), medium, high, xhigh, and max (priciest fifth) cost tiers, with a provider color legend along the bottom 此快照截至 8 月 10 日。最新信息请参见排行榜页面。

它使用的排名是根据聚合的匿名支出统计数据计算得出的，从而保护我们所有客户的隐私和数据政策。你的提示词在传输过程中即被分类，无需留存。其工作方式如下：

对任务进行分类。一个快速、轻量的分类器会将每个提示词归入约 30 种细粒度任务类型之一，例如代码调试、多步智能体规划、知识问答、数学、客户支持或研究报告。
按真实世界支出份额排名。对于该任务类型，新的 Auto 路由器会查询 OpenRouter 社区在过去 7 天内实际支出在哪些模型上，类似于我们排行榜页面中的“支出份额”视图。这是一个实时信号：当人们将某个工作负载迁移到新模型时，路由器会在几天内跟进。
应用你的成本档位。 cost_tier 设置（low、medium、high、xhigh 或 max）决定你愿意花多少钱，并选择与之匹配的成本区间候选模型。在 low 档，路由会为每个任务保留成本最低的可用模型；在 max 档，它会从能力最强、价格最高的模型中选择。
带备用模型的路由。 被选中的模型会成为首选，外加备用模型，按各自的使用份额排序。路由会遵守你请求和账户上的模型与提供商限制，例如允许的模型、护栏和 ZDR 政策。如果分类或排名不可用，路由器会回退到一组默认模型，因此请求绝不会因为路由问题而失败。

在多轮对话中，路由器会记住某段对话最终落在哪个模型上，并在后续轮次中优先使用它。它会通过显式提供的 session_id 来识别一段对话，否则就通过消息的指纹来识别。每一轮的候选模型仍会从头排名，而被记住的模型只有在仍处于排名靠前的候选之列时才会被复用，因此当任务发生变化时，更合适的模型可以接手。

立即试用全新的 Auto 路由器

Auto 路由器可用在你通常会填写模型字符串的任何地方：

{
  "model": "openrouter/auto",
  "messages": [
    { "role": "user", "content": "Explain quantum entanglement in simple terms" }
  ]
}

或者设置你的成本档位并限制候选模型集合：

{
  "model": "openrouter/auto",
  "messages": [{ "role": "user", "content": "..." }],
  "plugins": [{
    "id": "auto-router",
    "cost_tier": "max",
    "allowed_models": ["anthropic/*", "openai/*"]
  }]
}

cost_tier 参数接受 low、medium、high、xhigh 或 max，用于设定你愿意花费的程度：low 会路由到最便宜且够用的模型，max 则始终从能力最强的模型中选择。旧的 Auto 路由器暴露一个数值型 cost_quality_tradeoff 设置，其中 0 代表高质量设置，数值越高则越注重成本，默认为 7。cost_quality_tradeoff 参数出于向后兼容仍被接受，并保留其原有的成本上限行为；如果你同时发送两者，它以优先。

响应中的 model 字段会告诉你选中了哪个模型，并且没有额外费用；无论运行哪个模型，你都按标准费率付费。详情请参阅新的 Auto 路由器文档，其中包括多轮对话的会话粘性。

使用 `openrouter/auto-beta` 抢先获得新改进

我们将持续改进此路由器，以随时间优化模型选择和缓存性能。任何想率先尝试最新路由行为的人都可以使用 openrouter/auto-beta，这些变更会先在那里落地，然后才到达 openrouter/auto。新路由器已在此运行了数周，有数千人将其用于真实工作负载。欢迎在我们的 Discord 中或通过你的客户代表告诉我们你的发现。