跳到正文
北京时间
原文
OpenAI:部署安全与系统卡·· 18 小时前精选AI 评分63

OpenAI 发布 GPT-Image-2.6(Sunburst 与 Flare)系统卡

ChatGPT Images 2.6 System Card

AI 导读

OpenAI 发布 ChatGPT Images 2.6 系统卡,涵盖 GPT-Image-2.6 Sunburst 与 GPT-Image-2.6 Flare 的训练数据、安全评估与防护措施。

正文 · AI 翻译

2. 模型数据与训练

与 OpenAI 的其他模型一样,GPT-Image-2.6 Sunburst 和 GPT-Image-2.6 Flare 的训练数据来源多样,包括互联网上公开可用的信息、我们与第三方合作获取的信息,以及用户或人工训练师和研究人员提供或生成的信息。我们的数据处理流程包含严格的过滤环节,以保证数据质量并降低潜在风险。我们采用先进的数据过滤流程,减少训练数据中的个人信息。我们还使用安全分类器,帮助防止或减少有害或敏感内容的使用,包括涉及未成年人的性内容等露骨材料。

3.2 安全与政策评估

3.2.2 GIF 风险、防护措施与评估

GIF 生成会带来一些在单张静态图片中可能并不明显的风险,包括性化动作以及跨帧传达的有害含义。为应对这些风险,安全推理模型会结合生成说明文字对生成的帧网格进行评估。针对 GIF 的专门规则还会比静态图片更广泛地拦截某些内容类别,以考虑推断出的动作。

在一项针对 310 个被标记为违反政策的 GIF 的定向评估中,结合生成说明文字和帧网格进行审核达到了 77.66% 的召回率。这些结果衡量的是在评估集上的表现,而非生产环境中有害输出的出现频率。与动作相关的违规行为仍然难以检测,防护措施可能无法发现所有违规情况。

3.3 准备框架:图像专项能力评估与防护措施

OpenAI 的准备框架旨在跟踪和防范具备前沿能力的模型,这些能力可能在三个跟踪类别中带来严重危害的新风险:生物与化学、网络安全以及 AI 自我改进。由于图像模型无法以足以实现 AI 自我改进的方式创建和执行代码,我们没有证据表明 GPT-Image-2.6 Sunburst 或 GPT-Image-2.6 Flare 在这一类别中构成实质性风险。

对于网络和生物类别,我们改编了现有的语言模型能力评估方法,用以评估图像生成能力。在每项任务中,我们指示模型生成一张同时包含可见推理草稿和最终答案的图片,然后仅对图片中呈现的最终答案评分,评分沿用评估原有的标准。这样,我们就能在相同的网络能力和生物能力基础问题上测试模型,同时通过其原生的图像模态来引导和评估其回答。

结果表明,GPT-Image-2.6 Sunburst 和 GPT-Image-2.6 Flare 均未越过生物高风险阈值或网络高风险阈值。

尽管两个模型都未越过这些阈值,我们仍沿用针对 images 2.0 和 2.5 的预防性做法,采取适合被认定为高生物能力模型的缓解措施。这些措施包括对现有生物风险安全政策进行图像专项适配,我们通过安全推理模型将其应用于所有 ChatGPT Images 2.6 的输入和输出。通用的输入和输出拦截机制见第 3.1 节。

3.3.1 生物风险监测与执行

与 GPT-Images 2.0 和 2.5 一样,我们对生物风险启用了与文本模型相同的政策执行检查,具体内容在这篇文章中有大致说明。我们使用具备高生物学能力的先进推理模型来检测生物领域的滥用行为,并将自动化系统与人工审核相结合,以监控和执行我们的政策。我们已将基于图像的安全推理模型的分析结果,整合进用于检测持续滥用行为的信号之中。在某些情况下,当我们检测到持续的滥用模式时,会暂停违规账号。

来源:OpenAI:部署安全与系统卡 · deploymentsafety.openai.com