Senior SWE-Bench：评估AI智能体作为高级工程师的基准测试

我们把智能体当作资深工程师来对待，那为什么还要像评估初级工程师那样评估它们？

资深工程师能在需求不过度明确的情况下构建功能

Senior SWE-Bench 的功能任务带有贴近真实的指令，读起来像自然语言消息，而不是过度明确的需求。为了可靠地评估这些任务，我们引入了一个验证智能体，它使用专家设计的配方来编写能够适应所提交解决方案的行为测试。

资深工程师能解决那些需要根据行为报告进行运行时调查的 bug

Senior SWE-Bench 的 bug 任务反映了棘手的用户报告，并聚焦于调查过程，从启动服务到调试微妙的运行时问题。这些任务来源于那些需要大量运行时调查才能解决的 PR（例如日志、性能分析数据、复现步骤）。

资深工程师无需被吩咐就能交付正确的代码

Senior SWE-Bench 通过将运行时正确性测试与若干基于所观察到的代码库实践的质量指标相结合，来为有品味的解决方案评分。此外，验证器和验证流程还可以针对指令中未明说但至关重要的代码库实践进行测试。

关于我们技术贡献的更多内容，包括验证智能体、品味评分和质量控制流程，

请阅读博客文章

过度指定

6,008 字符 · 约 39 个代码符号

swe-bench-pro/instruction.md

### 为 BookWorm 添加 Google Books 作为元数据来源，用于回退/暂存导入

### 问题 / 机会

BookWorm 目前依赖 Amazon 和 ISBNdb 作为其元数据的主要来源。当元数据缺失、格式错误或不完整时——尤其是对于仅有 ISBN-13 的书籍——这就会带来问题。因此，通过 promise items 或

`/api/import`

提交的不完整记录可能无法被丰富，从而在 Open Library 中留下质量较差的条目。这一限制影响了数据质量以及用户导入的成功率，对于较为冷门或国际性的书籍尤其如此。

### 论证：我们为什么应该做这件事，可衡量的影响是什么？

将 Google Books 作为后备元数据源集成，可增强 Open Library 补充和暂存更丰富版本数据的能力。这提升了导入图书的完整性，减少了因元数据稀疏而导致的导入失败，并增强了用户在导入体验中的信任。其影响可通过导入成功率的提升以及诸如“Book 978...”这类占位条目的出现频率降低来衡量。

### 定义成功：我们如何知道问题已解决？

- BookWorm 能够使用 ISBN-13 从 Google Books 获取并暂存元数据。

- 自动化测试确认能够准确解析各种 Google Books 响应，包括：

- 正确映射可用字段（标题、副标题、作者、出版商、页数、描述、出版日期）。

- 妥善处理缺失或不完整的字段（例如，无作者、无 ISBN-13）。

- 当 Google Books 返回零个或多个匹配结果时，返回无结果。

### 提案

在 BookWorm 中引入对 Google Books 作为后备元数据提供者的支持。当 Amazon 查询失败或仅有 ISBN-13 可用时，BookWorm 应尝试从 Google Books API 获取元数据并将其暂存以供导入。这包括更新来源逻辑、元数据解析，并确保来自

`google_books`

被正确处理。

要求：

- 元组

`STAGED_SOURCES`

在

`openlibrary/core/imports.py`

中必须包含

`"google_books"`

作为有效来源，以便来自 Google Books 的暂存元数据能被导入流水线识别和处理。

- 用于暂存 bookworm 元数据的 URL 是 "http://{affiliate_server_url}/isbn/{identifier}?high_priority=true&stage_import=true"，其中 affiliate_server_url 来自 openlibrary/core/vendors.py，参数 identifier 可以是 ISBN 10、ISBN 13 或 B*ASIN。

- 当在

`openlibrary/plugins/importapi/code.py`

中使用

`supplement_rec_with_import_item_metadata`

补充记录时，如果

`source_records`

字段已存在，则必须新增（扩展）标识符，而不是替换现有值。

- 在

`scripts/affiliate_server.py`

中，一个名为

`stage_from_google_books`

的函数必须尝试使用 Google Books API 获取并暂存给定 ISBN 的元数据，如果成功，则通过将其添加到对应批次来持久化该元数据，使用

`Batch.add_items`

。

- 在

`scripts/affiliate_server.py`

中的 affiliate server 处理器必须对从 Amazon 返回无结果的 ISBN-13 标识符回退到 Google Books，但仅当请求中同时设置了查询参数

`high_priority=true`

和

`stage_import=true`

时。

- 如果 Google Books 对单个 ISBN 查询返回多个结果，逻辑必须记录一条警告消息，并跳过该元数据的暂存，以避免引入不可靠的数据。

- 从 Google Books 响应中解析并暂存的元数据字段必须至少包括：

`isbn_10`

，

`isbn_13`

，

`title`

，

`subtitle`

，

`authors`

，

`source_records`

，

`publishers`

，

`publish_date`

，

`number_of_pages`

，以及

`description`

，并且必须匹配 Open Library 导入系统所期望的数据结构。

- 在

`scripts/promise_batch_imports.py`

中，必须更新暂存逻辑，以便在补全不完整记录时，

`stage_bookworm_metadata`

会被使用，而不是此前任何仅针对 Amazon 的直接逻辑。

引入的新接口：

以下是新的公开接口，已移除来自无关文件的条目。

函数：fetch_google_book