LangSmith 发布 Engine v2、Managed Deep Agents v0.8、Trajectories、Fine-Tuning 及 Custom Apps
New in LangSmith: Engine v2, Managed Deep Agents, Fine-Tuning, and more
LangChain 在 Interrupt NYC 上发布多项 LangSmith 更新：Engine v2 新增 Red Teaming 主动排查、检测性能趋势与低效工具调用，并可自动验证修复后一键开 PR，自 5 月上线以来已分析超过 60M 条 traces。
官方一次性发布覆盖开发闭环的多个功能，读者可据此评估自家 agent 生产流程哪些环节能用得上。
本周，数百名 AI 工程师齐聚 Interrupt NYC，聆听各团队如何将特定领域的智能体投入生产，并了解 LangSmith 的最新发布。
我们的最新版本聚焦于 智能体开发生命周期 的两大支柱，帮助团队以可控且灵活的方式构建、复利提升智能体的智能，并确保强有力的治理：运行时与可观测性 + 评估。
运行时为智能体提供在生产环境中运行所需的能力（如记忆、通道、工具和安全执行环境）。可观测性与评估帮助团队理解智能体行为、衡量质量，并随着使用增多不断改进智能体。
位于其上的则是智能层，它作用于业务逻辑、追踪、评估和生产数据之上，加速这一智能体开发循环。
以下是我们本次发布的内容。
LangSmith Engine v2：主动检测智能体问题，更快交付修复
改进智能体是一个多步骤过程；典型工作流要求工程师发现问题、确定根因、提出修复方案、测试、部署并监控回归。
我们将 LangSmith Engine 构建为平台内智能体，可在智能体开发生命周期的每一步自动完成工作。自 5 月推出以来，Engine 已帮助工程师分析超过 6000 万条追踪，诊断数万个问题。
Engine v2 在问题检测、测试和验证方面带来了重大进步。
通过红队测试主动排查问题
新的红队测试能力有助于在生产环境中暴露问题之前就检测到它们。利用生产追踪和代码仓库，Engine 可以生成关于尚未在生产中出现的问题的假设，测试这些假设，并将确认的故障呈现出来以供审查。
检测更难以发现的问题
Engine 现在可以检测更多问题类型。除了错误和未满足的用户请求外，它还能识别错误率、延迟和成本方面的性能趋势，以及低效的智能体行为，例如重复的工具调用或不必要地过长的轨迹。
自动测试提议的修复方案
对于在 LangSmith Deployment 上运行的智能体，Engine 现在可以在人工审查和部署之前验证提议的修复方案。Engine v2 会针对你的智能体运行有问题的输入以确认问题。然后，它会在更广泛的评估集上测试候选修复方案，直到找到能解决该问题的方案。一旦 Engine 找到令人满意的修复方案，就会将其呈现给最终用户，用户只需点击一下即可打开 PR 以快速部署。
自托管版 LangSmith 的下一个版本将为 Engine 支持 BYOK。
Managed Deep Agents v0.8：新的认证、记忆和通道
Managed Deep Agents 将 Deep Agents 框架与托管基础设施相结合，打造出从业务逻辑到生产环境智能体的最便捷路径。
我们的最新版本解决了团队在生产环境中运行智能体时面临的四大挑战：智能体记忆、认证、通道和工具管理。
按身份隔离的认证与记忆
Managed Deep Agents 此前已支持持久化的智能体记忆，我们很高兴推出新的用户级记忆，使智能体能够存储按每个已认证用户隔离的上下文。这一新层提供了一个存储调用方特定上下文的位置，使其与共享的智能体级记忆保持分离。
运行时不会在层之间复制内容，并且可以在每一层定义访问策略，以确保用户级信息不会泄露到对话中。
Managed Deep Agents 现在还支持代理和用户拥有的凭据，用于外部连接（例如 GitHub 和 Notion）。
新增和扩展的渠道
当代理在用户已经所在的地方运行时，效果最佳。我们扩展了 Slack 支持以包含文件传输，因此用户可以直接将日志、电子表格、合同、截图和其他文件发送给代理。
新的 HTTP 渠道支持让团队可以将代理连接到任何能够发送 JSON webhook 的服务。这对于存在于多个渠道上面向客户的代理尤其有用。
内置网页搜索
网页搜索是最常见的代理工具之一，因此我们决定将其直接构建到 Managed Deep Agents 中。
Managed Deep Agents 0.8 将网页搜索作为预构建工具引入。由 Parallel 提供支持，内置网页搜索让代理能够访问最新信息，而无需团队设置单独的供应商账户、API 密钥或自定义工具。
详细了解 Managed Deep Agents v0.8。
LangSmith Trajectories：轻松浏览代理会话和追踪数据
长时间运行的代理可能难以调试，因为一个会话可能包含许多轮次、工具调用、重试和子代理交接。完整追踪可能会变得冗长且嵌套，而且通常包含比你理解所发生情况所需更多的信息。
这就是我们推出 LangSmith Trajectories 的原因，它提供代理会话的对话式视图。轨迹会聚合来自主代理和任何子代理中人类、AI 和工具的消息，然后按时间顺序显示它们。结果是更快的调试，因为团队可以快速看到行为在哪里发生了变化或中断。
轨迹还让审查工作流更加容易。SME 审查对于代理准确性至关重要，但这些审查者往往不是构建代理的人。轨迹为他们提供了可读的会话视图，他们可以对其进行评分、标记和注释，而无需解析执行元数据和其他细节。
轨迹是改进循环的关键部分。LangSmith 在线评估器可以对轨迹进行评分，为判断代理在整个会话中的行为提供更好的输入。
LangSmith Fine-Tuning：面向专门任务的开放模型后训练
我们构建 LangSmith Fine-Tuning 是为了帮助团队获得微调开源模型的好处，而无需手工构建微调流水线。一个用你自己的数据和智能训练的模型，在指定任务上往往可以表现得与通用前沿模型一样好甚至更好，而且成本和延迟要低得多。
LangSmith Fine-Tuning 使团队能够进行监督微调（SFT），以高质量的任务示例训练开放模型。smithtune，即 LangSmith Fine-Tuning CLI，帮助将轨迹转化为有用的训练数据，处理整个微调过程：
- 从轨迹构建和准备数据集
- 使用 Baseten 或 Fireworks 训练模型
- 使用 LangSmith 评估结果
- 提供微调模型服务并将其连接到应用程序
我们在内部对 SmithTune 进行了基准测试，以自行评估工作流的质量，并对结果感到非常兴奋。
自定义应用：围绕你的代理数据构建自定义界面
每个团队审查 agent 数据的方式各不相同。LangSmith 为 trace 审查、实验对比、标注和评估分析等常见工作流提供了默认界面。但我们从客户那里了解到，他们希望有更多定制化的方式来与自己的数据交互，以契合自身的工作流和质量标准。
Custom Apps 让团队能够在 LangSmith 数据之上构建、发布和运行自定义界面。
团队无需导出数据或维护单独的内部工具，而是可以使用模板、应用内聊天或编码 agent 指导，基于 LangSmith API 进行构建，并将应用发布到自己的 LangSmith 工作区。一旦发布，该应用便成为重复性工作流的共享界面。
这对于以下场景很有用：标注工作流中审查者需要专注的 UI；实验审查中团队希望跨版本或切片比较输出；以及 trace 审查工作流中最佳视图取决于具体应用。
在此了解有关 LangSmith 中 Custom Apps 的更多信息。
拥有你的智能
归根结底，我们的最新更新支持我们的使命：让每家公司都能拥有自己的智能。在实践中，这意味着团队可以构建定制化、领域特定的 agent 和应用，以针对他们想要解决的具体问题。
观看由我们的 CEO Harrison Chase 主讲的 Interrupt NYC 主题演讲，深入了解这些发布内容。
来源：LangChain：Blog · langchain.com