在LLM中选择最佳图像输入细节级别

如果你为了降低成本而在图像输入上设置了 detail: low，你可能并没有获得预期的改进。我们对 OpenAI 和 Google 最新模型的图像细节参数进行了基准测试，发现细节级别、推理与成本之间存在一些令人意外的关系。

例如，当我们对 gpt-5.5 的low与auto图像细节进行基准测试时，在MMMU-Pro Vision上，低细节得分差了 13.8 分（65.2% 对 79.0%），且每道题的成本更高（5.1¢ 对 4.5¢）。模型通过对降采样图像进行 1.6 倍的更深度思考来补偿。这些推理 token 的成本超过了在输入上节省的图像 token。

我们找到了一条在推理模型中节省图像处理成本的更有效路径：发送更清晰的图像（auto 或 high），并改为调整推理强度。

自动细节（Auto detail）在每一个模型上都能产生更好的结果，而且有时成本更低

我们在 low 和 auto 两种设置下，以 temperature 0、一个 epoch 运行了来自 OpenAI 和 Google 的五个模型。每个模型在 auto 下的得分都更高。

低细节模式让 gpt-5.5 思考得更费力

根据 OpenAI 的视觉文档，detail: low 会向模型提供图像的 512x512 低分辨率版本，无论原始尺寸如何，并按一个很小的固定 token 成本计费。虽然这节省了输入 token，但也意味着有用的精细细节可能在降采样中丢失。

在 gpt-5.5 上，低细节模式每次请求产生 1,180 个推理 token，而 auto 模式为 730 个，跃升 1.6 倍，另外完成 token 多出 39%（489 对 351）。模型把额外的精力花在了眯着眼辨认那些它已无法清晰阅读的小字和图表上。

输出 token 的计费高于图像 token，因此更便宜的输入成本被抵消了。同一模型在低细节模式下问同样的问题，每个问题比 auto 模式多花 0.6¢。你花了更多钱，得分却更差。

在推广这一结论之前，有一点需要注意：token 模式因模型而异。gemini-3.5-flash 在 low 设置下也使用了更多推理 token（2,876 对 2,602），但 gemini-3.1-pro 使用的略少（6,344 对 6,964），而且它的 low 运行成本更低。

gpt-5.4-mini 和 gpt-4.1 不进行推理，因此在两种设置下它们的思考 token 均为 0。由于没有输出侧的增长，输入侧的节省得以保留（详见下文）。

更清晰的图像能带来多少准确率提升？

从 low 切换到 auto 带来了 2 到 17 个百分点的准确率提升，具体取决于模型。

OpenAI 的模型获益最大，因为其低设置会把每张图像下采样到 512x512，并只带来很小的固定 token 成本（在 gpt-4.1 上为 85 个 token）。Gemini 的低分辨率则对每个部分保留大约 273 个 token，因此它从更清晰的基线出发，可损失的也更少。

这些增益按图像类型集中体现。该数据集中 76% 是文本和 OCR，另有 19% 是截图，因此大多数问题本就已接近模型的上限，几乎不会因细节而改变。最明显的跃升出现在图表和图形上：gemini-3.1-pro 在这些内容上使用自动细节后从 78.6% 升至 91.7%。无论哪种方式，示意图始终是最难的类别，正确率约为三分之一（基于 21 道题的小样本）。

下面是其中一道题，一张 2239×1279 的机械工程图，要求你从四个几乎相同的正交投影中选出正确的主视图：

四个候选视图的区别仅在于阴影线和隐藏线所在的位置。在 auto 细节级别下，gpt-5.5 选择了 B，即正确答案。在 low 级别下，同一张图被压缩成 512px 的缩略图，那些细线模糊成一团，模型经过更长的思维链后落在了 C 上。更长的推理并不能很好地替代一张清晰可辨的图像。

推理级别对成本的影响最为显著

细节级别和推理投入看起来在做类似的事情，但在我们的运行中，它们落在了截然不同的位置。改变细节级别使准确率波动了 2 到 17 个百分点，而几乎不影响账单。改变推理投入使账单波动了 50% 到 75%，而准确率仅在 1 到 2 个百分点之间游走，处于噪声范围内。

将 gpt-5.5 限制到 reasoning=low 后，低细节级别的成本从每道题 5.1¢ 降至 1.7¢，削减了 67%，而准确率变动了 1.3 个百分点（从 65.2% 到 63.9%）。在 gemini-3.1-pro 上，auto 运行从 11.1¢ 降至 2.7¢，准确率上升了 1.5 个百分点。所以，如果你想要更便宜的图像处理流程，就限制推理投入，同时保持图像清晰。

低细节级别在非推理模型上依然划算

在非推理模型上，低细节级别的表现符合预期。gpt-5.4-mini 在 low 级别下每道题花费 0.08¢，而 auto 级别下为 0.14¢，便宜了约 40%，因为没有推理循环来推高账单。代价是准确率，从 55.8% 降至 46.1%。

延迟的变化方向也是如此。gpt-4.1 在 low 下平均每请求 960ms，而 auto 下为 1,148ms；gpt-5.4-mini 则为 1,348ms 对 1,776ms。low 细节会将图像限制在一个很小的固定提示词 token 成本内（gpt-4.1 上为 85 tokens），因此在模型开始生成之前需要读入的内容要少得多。由于没有推理循环拖长尾部，这种更短的预填充就体现为更快的响应。

为你的工作负载选择合适的细节级别

选择取决于你的模型是否进行推理：

• 推理模型（gpt-5.5 及类似模型）：保留 auto 或 high，并使用推理力度来控制成本。在我们的测试中，low 细节在每一个推理模型上都表现更差，并且在三个模型中的两个上成本更高。
• 非推理模型（gpt-5.4-mini 及类似模型）：low 细节可降低成本并减少延迟，但在文本密集的图像上准确率有所下降。

无论哪种情况，与更昂贵的输出 token 相比，细节设置对最终成本的影响都要小得多。在大多数情况下，最好将图像细节保留为 auto，并调整推理设置。

OpenRouter 的 图像输入 API 在各模型间是统一的，而像细节级别这样的模型专属参数会通过提供商选项传递，因此你无需更改集成即可调整这些设置。

我们如何测试

• 基准：MMMU-Pro Vision（MMMU/MMMU_Pro，vision 配置，test split），1,730 道十选一视觉推理题。
• 模型：gpt-5.5、gpt-5.4-mini、gpt-4.1、gemini-3.5-flash、gemini-3.1-pro，每个模型均使用 low 和 auto 细节级别，temperature 0，一个 epoch。
• 细节：OpenAI image_url.detail low/auto；Gemini 按部分 mediaResolution。无 max-token 上限。
• 图像类型：由 gpt-5.4-mini vision 分类（文本/OCR、截图、示意图、图表、插画、照片）。按类型准确率仅针对 Gemini 模型计算；本次运行中 OpenAI 的按类型单元格未评分。
• 指标：准确率来自 eval 日志；token 数和延迟来自 OpenRouter 生成记录。
• 成本：以每题成本表示，即该次运行的总成本除以该次运行中评分的题目数量。以这种方式归一化，可在规模略有差异的多次运行之间保持公平比较。