跳到正文
北京时间
原文
Claude:Blog·· 22 小时前精选AI 评分69

Claude Platform 推出 message threads 公测,降低长会话智能体延迟

Make long-running agents faster with message threads

AI 导读

Anthropic 在 Claude Platform 推出 message threads 公测,智能体每轮只需发送新增消息而无需重发全部对话历史,从而缩短首 token 时间。

推荐理由

原文给出了 500k 至 1M token 请求下 TTFT 中位数下降约 35% 的数据,以及线程生命周期和接入方式,便于评估长会话智能体的延迟收益。

正文 · AI 翻译

消息线程功能现已在 Claude 平台开启公开测试。借助消息线程,智能体不必在每一轮都重新发送完整的对话历史,从而降低长时间会话的延迟。

消息线程的工作原理

一个编程智能体在一次会话中可能发出数百个请求,而每个请求都会重新发送此前所有的消息和工具结果。当对话达到数十万 token 时,重发全部内容会让 Claude 开始响应前的等待时间变长。使用消息线程后,智能体只发送自上一轮以来的新增内容,从而缩短首 token 延迟(TTFT)。

大多数 Claude Code 用户默认开启消息线程后,50 万至 100 万 token 的请求首 token 延迟中位数下降约 35%。

要使用消息线程,请在 Messages API 请求中添加 thread 参数。第一个请求包含完整对话并开启一个线程,此后每个请求只包含新消息和上一条响应的 ID。在两轮之间,我们会把每个线程保存在内存中,加密存储且不写入磁盘。线程在最后一次请求后 5 分钟过期,之后客户端会重新发送完整对话以开启新线程。虽然使用消息线程后每个请求更小,但 Claude 在每一轮仍会读取完整对话,因此 token 用量保持不变。

消息线程最适合对延迟敏感的活跃会话,包括:

  • 长时间运行的编程智能体,每个工具结果或文件编辑都会增加对话内容。
  • 计算机使用智能体,截图保留在线程中,无需每轮重新上传。
  • 文档和图片密集型工作流,请求体积得以减小。

智能体携带的上下文越多,消息线程能缩短的首 token 延迟就越多。

开始使用

消息线程现已在原生 Claude 平台开启公开测试,同时也已在 AWS 上的 Claude 平台、Microsoft Foundry 中的 Claude,以及 Google Cloud 上的 Claude 模型(Anthropic 托管)上线。适用标准 Claude token 费率和现有速率限制。请参阅文档开始使用。

来源:Claude:Blog · claude.com