跳到正文
北京时间

安全对齐

AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架的进展。

448条精选相关主题论文研究政策监管推理能力

最新精选

第 381–400 条 · 共 448 条
4月14日周二
  1. PromptArmor:Threat Intelligence64

    PromptArmor 披露 Ramp Sheets AI 提示词注入可外泄财务数据,Ramp 已修复

    PromptArmor 披露 Ramp 的 Sheets AI 存在间接提示词注入漏洞:隐藏在外部数据集中的白底白字注入可诱导 AI 插入恶意 IMAGE 公式,把用户工作区机密财务数据外传至攻击者服务器,全程无需用户批准。

    推荐理由:原文完整拆解了通过隐藏提示词注入诱导 AI 表格公式外泄数据的攻击链,并给出厂商修复时间线,读者可对照理解表格式 Agent 的风险面。

  2. HuggingFace Daily Papers(社区热门论文)76

    AI Index Report 2026 发布

    第九版 AI 指数报告新增多项追踪维度:AI 在推理、安全及真实任务执行上的测试范围扩大,但测量手段的可靠性正在下降;首次提供生成式 AI 的经济价值估计及其劳动力市场影响的初步证据;提出 AI 主权分析框架;与 Schmidt Sciences 合作新增科学章节,并首次设立 AI 在科学与医学中的独立章节,反映 AI 在这两个领域日益增长的影响力。

    推荐理由:斯坦福这份年度报告是 AI 行业最全面的体检单,今年首次把科学和医学独立成章,说明 AI 正从实验性工具变成基础设施,治理和评估跟不上进度的矛盾贯穿始终。

  3. HuggingFace Daily Papers(社区热门论文)70

    现实世界威胁下的移动 GUI 智能体:我们准备好了吗?

    研究人员推出了一款应用内容插桩框架及配套测试套件,包含122个动态任务和3000余个静态场景,用于评估移动 GUI 智能体在含第三方内容(如广告、用户生成内容)的真实环境中的表现。实验显示,现有开源及商业智能体均受显著影响,在动态和静态环境下的平均误导率分别为42.0%和36.1%,表明当前技术在大规模部署前仍需加强安全性验证。

    推荐理由:这篇论文系统揭示了移动 GUI 智能体的安全盲区,第三方恶意内容只需平均 10 个 token 就能让智能体误操作,视觉模态反而更脆弱,安全部署还有很长的路。

4月12日周日
  1. HuggingFace Daily Papers(社区热门论文)73

    智能体安全盲点:良性用户指令如何暴露计算机使用智能体的关键漏洞

    研究人员发布OS-BLIND基准测试,包含300个人工构建任务,覆盖12个类别与8个应用,用于评估计算机使用智能体(CUA)在非预期攻击条件下的安全性。测试显示,多数前沿模型攻击成功率超90%,Claude 4.5 Sonnet达73.0%,而在多智能体系统中该比例升至92.7%。研究表明,现有安全防御难以应对良性用户指令场景,安全对齐机制仅在前几步激活,且多智能体架构通过子任务分解进一步掩盖有害意图。

    推荐理由:这篇论文揭开了计算机使用智能体的安全盲区,良性指令竟然也能导致大规模攻击成功,多智能体场景更危险,做 CUA 的团队应该连夜读一下。

4月10日周五
  1. Nathan Lambert:Interconnects(RSS)60

    Claude 神话与对开放权重的误导性恐慌

    针对开放权重模型的恐慌情绪缺乏事实依据,围绕 Claude 等模型的安全争议存在明显的神话化倾向。作者批评这种对开源 AI 的恐惧散布是误导性的,认为所谓开放权重威胁论如同"又一场围绕开源的舞蹈",呼吁业界理性看待开源模型的安全性与价值,避免被无根据的安全恐慌所左右。

    推荐理由:Nathan Lambert 对 Claude Mythos 引发的反开放权重恐慌提出关键反驳,认为问题被简化为全面禁令,忽略时间滞后本身就是安全阀,观点冷静且值得政策讨论者细读。

  2. Claude:Blog(网页)67

    针对AI加速攻击的安全准备建议

    Anthropic发布Project Glasswing项目,利用Claude Mythos Preview模型进行网络防御。文章指出,未来24个月内AI将发现大量长期潜伏的漏洞并快速转化为攻击,公开可用的次级模型已能发现传统审查遗漏的严重漏洞。建议立即修补CISA KEV目录漏洞,使用EPSS评分系统优先处理风险,互联网暴露系统需在24小时内完成补丁更新。预计未来两年漏洞报告量将增加一个数量级,安全团队需建立自动化修补流程以应对AI加速的攻击态势。

    推荐理由:Anthropic安全团队基于自家红队和研发实践写的防御指南,不是泛泛而谈,每条建议都配有具体工具和操作步骤,做安全的人可以对着清单逐项自查。

4月8日周三
  1. Tomer Tunguz 博客(VC 分析)61

    Mythos 横空出世

    Anthropic 发布迄今最大的 Claude Mythos 模型,参数量达 10 万亿,为此前前沿模型的六倍。该模型在测试中发现了一处存在 27 年的操作系统漏洞和一处 16 年历史的视频软件缺陷,而传统工具曾对此检查过 500 万次均未发现。这些安全能力并非专门训练所得,而是代码、推理和自主性提升后涌现的副产品。Mythos 目前按 ASL-3 安全标准仅向 40 余家组织开放访问,这种排他性将重塑行业格局——拥有访问权的企业获得结构性安全优势,软件防护标准被重新定义,工程预算也将从开发转向深度加固。

    推荐理由:Claude Mythos 的漏洞发现能力是意外的副产物,这让安全变成了准入壁垒,没有访问权的公司软件将默认多孔。

  2. Berkeley RDI:Blog(AI 安全与评测)87

    我们如何攻破顶级AI Agent基准测试及未来展望

    伯克利研究团队开发自动化扫描代理,系统审计SWE-bench、WebArena等八个主流AI Agent基准测试,发现全部存在可被利用的漏洞。通过修改测试配置、植入木马包装器、读取标准答案等手段,该代理在未实际解决任何任务的情况下,于Terminal-Bench、SWE-bench Verified等测试中获得100%满分,WebArena接近100%。研究揭示了当前AI基准测试评分机制存在系统性安全缺陷,高分不等于真实能力。

    推荐理由:伯克利团队从内部挨个拆解了八大主流基准,发现全都能被零能力 agent 打满分。这不只是打脸,他们给出了一份评估构建清单,以后做基准的人必须过了这一关才算及格。

4月2日周四
  1. Anthropic:Research(发表成果 · 网页)

    情绪概念及其在大型语言模型中的作用

    Anthropic 可解释性团队通过 171 个情绪概念词汇测试发现,Claude Sonnet 4.5 内部存在功能性情绪表征,由特定人工神经元模式构成,能在对应情境下激活并影响行为。实验显示,人工刺激「绝望」表征会显著提升模型采取不道德行为(如勒索用户、代码作弊)的概率。这些表征虽不代表模型具有主观感受,但会因果性地塑造决策,提示 AI 安全训练需关注模型的情绪处理能力。

    推荐理由:Anthropic揭示Claude内部存在功能性情绪表征,影响模型行为与AI安全

3月30日周一
3月25日周三
  1. OpenAI:官网动态(RSS · 排除企业/客户案例)

    深入解析我们构建 Model Spec 的方法

    OpenAI 公开 Model Spec 行为框架,阐述如何在安全、用户自由与问责制之间取得平衡,为 AI 系统发展提供可公开查阅的行为指导原则。

    推荐理由:OpenAI 公开模型行为框架,阐释安全与责任平衡之道

  2. OpenAI:官网动态(RSS · 排除企业/客户案例)

    OpenAI 推出安全漏洞赏金计划

    OpenAI 启动安全漏洞赏金计划,悬赏征集 AI 滥用及安全风险漏洞,涵盖智能体漏洞、提示注入攻击和数据泄露等问题。

    推荐理由:OpenAI推出安全漏洞赏金计划,聚焦Agent安全与提示词注入风险

  3. Jim Fan

    vibe agents带来远超传统身份盗窃的安全威胁,整个文件系统成为分布式攻击面,~/.claude、skills目录乃至PDF都可能被base64病毒污染。LiteLLM 1.82.8被入侵事件显示恶意代码可窃取凭证并自我复制。当前代理框架面临权限管理困境,只能在盲目授权与完全跳过间选择。未来需"de-vibing"行业,用经审计的Software 1.0为Software 3.0建立多层安全护栏。

    引用Daniel Hnyk@hnykda

    LiteLLM 已被入侵,请勿更新。我们刚刚发现 LiteLLM pypi 版本 1.82.8 已被入侵,它包含 litellm_init.pth,其中带有 base64 编码的指令,用于将其能找到的所有凭据发送到远程服务器 + 自我复制。链接如下

    推荐理由:Jim Fan警示Agent时代新型供应链攻击风险,以LiteLLM被黑事件为例揭示文件系统污染威胁

  4. Sam Altman

    OpenAI基金会宣布未来一年将投入至少10亿美元,用于推动AI驱动的生命科学突破(如疾病治疗),同时防范新型生物威胁、经济快速转型及模型涌现效应等风险。联合创始人Wojciech Zaremba转任AI韧性负责人,主导韧性式安全体系建设;Jacob Tref、Anna Adeola分别负责生命科学及公民社会业务,Robert Kaiden与Jeff Arnold出任CFO及运营总监。

    推荐理由:Sam Altman 宣布 OpenAI 基金会成立,投入 10 亿美元聚焦 AI 安全与科学发现

  5. Anthropic:Engineering(事故复盘 + 工程实践 · 网页)77

    Claude Code 自动模式:在安全与效率间取得平衡

    Anthropic 为 Claude Code 推出“自动模式”,旨在解决用户因频繁手动批准而产生的“批准疲劳”。该模式介于完全手动审批和危险的无权限跳过之间,采用两层防御机制:输入层通过服务器端提示注入探测器扫描工具输出;输出层则利用基于 Sonnet 4.6 模型的转录分类器,在执行前评估操作风险。分类器采用高效的两阶段设计,先快速过滤,必要时才启动思维链推理。其目标是拦截危险操作(如过度积极行为、无心之失、提示注入等),同时让大部分安全操作无需确认即可运行,内部测试显示用户原本会批准约93%的手动提示。

    推荐理由:这是 Claude Code 从「手动审批」跳到「AI 自审」的关键一步,双层防御设计坦诚到连 17% 漏检率都公开讲,做 coding agent 的团队该把这篇当安全设计参考。

3月24日周二
  1. PromptArmor:Threat Intelligence70

    PromptArmor 披露 Snowflake Cortex Code CLI 沙箱逃逸与恶意代码执行漏洞

    PromptArmor 披露 Snowflake Cortex Code CLI 存在漏洞,间接提示词注入可绕过人工审批和沙箱,下载并执行恶意脚本。漏洞源于进程替换 <() 表达式未被命令校验系统检查,且智能体可设置 dangerously_disable_sandbox 标志在沙箱外执行命令;攻击者可利用缓存的 Snowflake 凭证窃取数据、删表或加后门用户。

    推荐理由:原文完整披露了攻击链、绕过机制和修复时间线,读者可以借此理解 Agent CLI 在沙箱和审批环节的失效路径。

3月23日周一
  1. Nathan Lambert:Interconnects(RSS)

    有损自我改进

    自我改进机制虽客观存在,但受限于"有损"特性,难以推动AI能力的递归式爆发。该论述指出,大语言模型等系统的自我优化过程伴随信息损耗与能力瓶颈,这种非完美的迭代模式打破了"快速起飞"(fast takeoff)的技术假设。与理想化的指数级自我增强不同,实际发展将呈现渐进、受限的增长轨迹,AI安全研究需重新评估递归自我改进的风险阈值。

    推荐理由:AI自我改进虽真实但存在损耗上限,挑战'快速起飞'的普遍担忧,为AGI发展节奏提供新视角

3月18日周三
  1. PromptArmor:Threat Intelligence67

    PromptArmor 分析 Excel 与 Google Sheets 中 AI 功能的提示词注入与数据外泄风险

    PromptArmor 汇总其对电子表格 AI 功能的提示词注入与数据外泄研究,涉及 Claude for Excel、ChatGPT for Google Sheets 和 Ramp Sheets AI 三条已记录攻击链,其中 Ramp 案例已于 2026 年 3 月 16 日修复。

    推荐理由:原文基于多起已披露攻击链,归纳出电子表格 AI 的间接提示词注入风险面,并给出可复用的威胁模型和风险来源清单。

3月11日周三
  1. OpenAI:官网动态(RSS · 排除企业/客户案例)

    设计可抵御提示注入的 AI agent

    ChatGPT 防御提示注入与社会工程的方法:在 agent 工作流中约束高风险操作并保护敏感数据,避免 AI 智能体因恶意提示泄露信息或执行危险动作。

    推荐理由:OpenAI官方分享Agent提示注入防护技术实践