跳到正文
北京时间
原文
OpenAI:官网动态·· 3 小时前精选AI 评分67

OpenAI 正式发布 Decisions API,面向低延迟低成本小决策

Build more responsive apps with the Decisions API

AI 导读

OpenAI 宣布基于 GPT-6 Luna 的 Decisions API 正式可用,用于分类、路由、评分等有界答案问题,速度最高比通过 Responses API 使用 GPT-6 Luna 快 10x。

推荐理由

官方宣布 Decisions API 正式可用,给出与 GPT-6 Luna 的速度对比、定价和 GPT-Live 集成,便于评估路由分类类场景的收益。

正文 · AI 翻译

使用 Decisions API 构建响应更快的应用

为任何应用提供快速、专注、低成本决策。

分享

隆重推出 Decisions API

视频 1

Image 1: Decisions API — Video poster

00:00 05:25

应用和智能体在整个工作流中会做出许多小决策:如何对输入进行分类、将请求路由到哪里,或接下来采取哪个操作。单独来看,它们都很简单。但在规模化场景下,它们的延迟和成本会不断累积。

今天,我们正式全面推出 Decisions API。Decisions API 基于 GPT‑6 Luna 构建,将 Luna 的智能聚焦于答案有界的问题,帮助应用和智能体基于文本、图像和结构化输入做出近乎实时的决策,通过 Responses API 比 GPT‑6 Luna 快最多 10 倍。

自公开测试版以来,我们新增了原生 GPT‑Live 集成、针对重复使用上下文的提示缓存,以及美国和欧盟的推理驻留。开发者还可以传入原生 JSON 输入、在问题指令中包含图像,并且每个请求最多可提出 400 个问题,是此前上限的两倍。我们还持续改进延迟,包括在亚洲多个地区增加容量。

团队如何使用 Decisions API

Decisions 的早期采用情况表明,它适用于多种用例。

在 OpenAI 内部,各团队正在将 Decisions API 应用于产品和业务工作流。dots 团队用它来缩短响应时间并提升交互性。我们的个人财务团队用它来对交易描述进行分类,而我们的传播团队则用 Decisions 按主题对报道进行分类并评分,判断其是强化还是挑战关键叙事——帮助识别哪些内容值得进一步审查。

这些早期示例表明,快速、结构化的决策如何将传入信息转化为广泛用例中的有用行动。客户对 Decisions API 的应用同样广泛,从准确归因 AI 成本到让语言学习体验更具互动性。

第 1 张,共 5 张

“_借助 Box Extract 和__Decisions API,我们对业务文档进行分类,并将其路由到正确的下一步。在我们的评估中,_Decisions API 在 30 个保险证书案例上实现了约 5 倍更快的路由选择,准确率与__Responses API 相同——自动化常规工作,并将置信度较低的案例发送给审核人员。”

——Biswaroop Palit,Box 产品管理与集成平台副总裁

“Decisions API 帮助我们在执行智能体生成的 [ rshell 命令⁠(在新窗口中打开)] 之前对其风险进行评分,从而自主修复问题。与可用的前沿模型相比,它以相当的准确率实现了快 40 倍的 p95——使 Decisions 能够置于修复操作的热路径中。”

——AJ Stuyvenberg,Datadog 资深工程师

“与 GPT‑6 Luna 相比,Decisions API 将我们的 AI 成本归因到实际工作的速度提升了 4 倍,成本降低了 30%,且不牺牲准确率。”

——René Sultan,Ramp 研究工程师

“在 Sierra,我们在实时客户对话中编排的部分环节使用 Decisions API 来选择正确的下一步操作。它以低于 280 毫秒的 p95 运行,比我们之前的方法快约 3 倍,每次调用成本降低 90%,且客户结果没有下降。”

——Ajeet Grewal,Sierra 工程师

“对于语言学习者来说,时机至关重要。在我们的测试中,GPT‑Live 中的 Decisions API 集成能够将下一步行动的时间缩短 90% 以上,从 1.4 秒降至 0.13 秒,从而创造出更具互动性的学习体验。”

—Andrew Hsu,Speak 首席技术官

  • Box

  • Datadog

  • Ramp

  • Sierra

  • Speak

  • Box

  • Datadog

  • Ramp

  • Sierra

  • Speak

选择你的应用所需的决策类型

使用 Decisions API 非常简单:开发者定义一个问题和其允许的答案,然后以文本、图像或原生 JSON 形式提供上下文。该 API 会返回三种受支持的答案类型之一——概率、选择或评分——应用可据此决定接下来发生什么。多样的答案类型使 Decisions 能够适用于广泛的使用场景。

Decisions API 支持三种答案类型:

类型 用途 主要结果
predicate 估计某个条件为真的概率,例如产品是否有可见损坏。 probability:条件为真的估计值,范围从 0 到 1。
choice 从你预定义的选项中选择一个,例如智能体应当继续、重试还是请求澄清。 choice:你所提供的值之一。响应中还包含概率和置信度。
score 按照评分标准中的有序等级对输入进行评级,例如损坏的严重程度。 score:各等级索引的概率加权平均值。

使用 Decisions API 和 GPT‑Live 构建实时语音体验

借助 GPT‑Live,你可以为语音应用带来自然、富有表现力的对话,并具备流畅的打断处理能力,让对话保持连贯。Decisions API 现已与 GPT‑Live 原生集成⁠(在新窗口中打开),帮助应用在实时对话中做出快速、聚焦的决策。客服智能体可以决定是否提出澄清问题、转接请求或升级问题。虚拟形象可以在用户对其说话时调整面部表情,并根据用户的话语以眨眼或微笑回应,从而创造更具互动性的体验。

下面的示例使用转录更新来选择虚拟形象的表情。将此配置添加到现有 GPT‑Live 会话中的 session.triggers。

JSON

1{2 "type": "decisions",3 "event_type": "session.input_transcript.delta",4 "decisions": {5 "questions": [{6 "type": "choice",7 "name": "reaction",8 "instructions": "Choose an appropriate reaction for the avatar based on the user's latest message.",9 "choices": [10 { "value": "neutral" },11 { "value": "happy" },12 { "value": "sad" },13 { "value": "concerned" }14 ]15 }]16 }17}

Live 会发出一个 decision.event;应用读取所选的 reaction 并相应地驱动角色动画。了解更多关于将语音连接到 Decisions API 的信息。⁠(在新窗口中打开)

亲自试用 Decisions 与 GPT‑Live

音频 1

麦克风关闭

Image 2

Image 3

开始会话

在你开始之前麦克风处于关闭状态

正在连接

会话将在 0:00 后结束

会话已结束。如果你想继续交谈,请重新开始。

在你开始之前麦克风处于关闭状态

表情面板

点击一张脸进行预览。

Image 4好奇Image 5欣喜Image 6惊讶Image 7沉思Image 8温柔Image 9俏皮Image 10放松

实时决策

观察 Decisions API 如何根据你们双方所说的话选择面部表情。

你的话语

说话时观察反应。

助手的话语

助手回复时观察面部表情。

试着说

我为我的猫排练了试镜。她中途走开了。

我有一个秘密。再靠近一点。

其实,是我妹妹得到了那个角色。这是她的首场演出!

我对明天感到紧张。你能陪我坐一会儿吗?

我刚拿到那个角色!你能和我一起庆祝吗?

做出惊讶的表情,然后告诉我你看到了什么。

你能帮我搜索下一次流星雨吗?

我为我的猫排练了试镜。她中途走开了。

此演示有时间限制。使用即表示你同意 OpenAI 的条款⁠并确认我们的隐私政策⁠。

构建并评估你的第一个决策

Decisions API 现已通过专用的 Decisions 端点正式提供,并支持 GPT‑6 Luna。当前费率与缓存详情请参阅定价与可用性指南⁠(在新窗口打开)。

从你的应用经常做出的一个重复性决策开始。定义问题、可能的答案,以及区分这些答案所需的上下文。在Decisions Playground⁠(在新窗口打开)中用你自己的文本或图像,在反映真实使用情况的示例上进行测试,或按照开发者指南⁠(在新窗口打开)发出你的第一个请求。

Decisions API 的费用为每百万输入 token 0.10 美元。缓存输入的费用为每百万 token 0.01 美元。关于 30 分钟和 12 小时的缓存写入,请阅读我们的定价指南。⁠(在新窗口打开)你只需为输入 token 付费:没有输出 token 费用。区域处理可在美国和欧盟使用,符合条件的客户还可使用零数据保留⁠(在新窗口打开)。详情请参阅定价与缓存⁠(在新窗口打开)和数据控制⁠(在新窗口打开)。

作者

OpenAI

来源:OpenAI:官网动态 · openai.com