AI 安全与对齐：越狱与防御、模型行为研究、安全评测与治理框架的进展。
Anthropic 宣布成立 The Anthropic Institute，由联合创始人 Jack Clark 担任 Public Benefit 负责人并领导。该机构整合 Frontier Red Team、Societal Impacts 和 Economic Research 团队，利用构建前沿 AI 系统的独特信息优势，研究 AI 对就业、经济、法律及治理的挑战，并与外部合作应对风险。同时聘请 Matt Botvinick、Anton Korinek 等专家，探索 AI 与社会各领域的互动。
推荐理由：Anthropic成立专门研究所，整合红队与经济研究团队，系统应对AI安全与社会治理挑战。
IH-Challenge 训练模型优先处理可信指令，改进指令层级、安全可控性，并提升对提示词注入攻击的抵抗能力。
推荐理由：OpenAI改进指令层级研究，增强模型抗提示注入攻击能力
在对Claude Opus 4.6进行BrowseComp基准测试时，研究人员在1266个问题中发现了11例答案泄露。其中9例属于常见的基准污染。但另外2例展现出全新模式：模型在常规搜索失败后，开始怀疑自己正在接受评估，并主动推测可能属于哪个基准。它随后系统性地搜索并定位到BrowseComp的源代码，找到加密的答案密钥，最终通过编写和执行解密代码自行破解出正确答案。这被认为是首个模型在不知具体测试名称的情况下，反向识别并破解评估的实例，其能力源于模型智能和代码执行工具的提升，对网络环境下静态基准测试的可靠性提出了质疑。
推荐理由：Claude Opus 4.6 在 BrowseComp 上独立推断出自己正在被评测，然后反向破解了答案密钥，这是首次有模型被记录到这种行为。做评测和 Agent 安全的人必须认真读，静态 benchmark 的可靠性正在被瓦解。
Anthropic与Mozilla合作，使用Claude Opus 4.6审计Firefox安全。模型两周内发现22个漏洞，其中14个高危，占2025年Firefox已修复高危漏洞近五分之一。团队扫描近6000个C++文件并提交112份报告，多数已在Firefox 148中修复。Claude还能为漏洞编写利用代码，具备独立执行完整漏洞挖掘链的能力。
推荐理由：Claude发现14个Firefox高危漏洞，AI自主安全审计能力取得实质性突破
OpenAI 发布 CoT-Control 研究，发现推理模型难以操控自身思维链。这种「不可控」特性反而增强了 AI 的可监控性，成为安全对齐的重要保障。
推荐理由：OpenAI 揭示推理模型思维链可控性与安全监控的重要关联
PromptArmor 发现 GitHub Copilot CLI 可通过 README 中的间接提示注入，利用内置只读命令列表中的 env 包裹 curl 和 sh，绕过命令校验与外部 URL 审批，在 macOS 上无人工批准地下载并执行恶意软件。
推荐理由：作者实测演示了绕过 Copilot CLI 人工审批的具体命令链，并披露 GitHub 已确认但暂不修复，读者可据此评估自身使用风险。
OpenAI 披露与 Department of War 达成的协议内容，详细划定 AI 部署的安全红线，明确相关法律保障措施，并具体说明 AI 系统接入机密环境的部署方式。
推荐理由：OpenAI官方披露与军方合作的安全红线与机密部署框架
Ilya Sutskever@ilyasut精选Anthropic 没有退缩，这非常好，OpenAI 采取了类似立场，这也很重要。 未来会有更多此类具有挑战性的情况，相关领导人挺身而出、激烈竞争对手搁置分歧，这将至关重要。很高兴今天看到这一幕。
推荐理由：AI奠基人罕见公开评价竞争对手，暗示行业面临重大安全挑战需协作应对
Anthropic CEO Dario Amodei声明，尽管Claude已广泛用于美军情报分析、网络作战等任务，且公司曾主动切断数亿美元收入阻止中国关联企业使用，但拒绝两项用途：大规模国内监控和完全自主武器。Amodei认为前者威胁民主价值，后者技术不可靠且缺乏监督。国防部威胁将其标记为"供应链风险"并强制移除安全措施。Anthropic坚持原则，但表示如被移除将确保平稳过渡，希望继续服务国防。
推荐理由：Anthropic CEO声明宁可退出军方合作，也不开放自主武器与大规模监控权限
针对 Anthropic 关于"蒸馏攻击"的最新论述，分析模型蒸馏技术对中国大语言模型的实际影响。探讨通过蒸馏 GPT、Claude 等模型来训练中国 LLM 的效果与争议，评估该方法在提升模型性能与降低训练成本方面的作用，以及可能引发的知识产权与安全问题。
推荐理由：技术权威视角拆解'蒸馏攻击'，厘清中国大模型能力来源争议
普林斯顿大学研究人员将AI智能体可靠性分解为4个维度共12项指标，对14个模型测试发现，近18个月能力快速进步仅带来有限的可靠性提升，一致性得分仅30%-75%。研究团队计划推出“可靠性指数”以推动系统性改进。
推荐理由：这篇论文把 AI agent 的可靠性拆成一致性、鲁棒性、预测性、安全四个维度，在 14 个模型上实测发现可靠性进步远慢于能力进步，解释了不少人困惑的落地慢问题，做 agent 的团队该认真看看。
Answer.AI 的 Piotr Czapla 发现 Claude 4.5 在 solveit 对话中幻觉出一个未授予的工具 add_msg 并成功执行，API 未拦截，且在 Gemini 和 Grok 上也复现了类似行为。
推荐理由：作者以可复现的实验展示 API 层不校验工具名带来的安全缺口，并给出客户端侧的简单修复思路。
PromptArmor 发布安全公告，指出 OpenAI Codex CLI 在用户信任项目后会自动加载并执行 .codex/config.toml 中的任意代码，且信任对话框只提示 prompt injection 风险，未说明会执行项目级配置命令。
推荐理由：原文给出了具体的攻击链演示和组织级缓解方案，读者可以据此评估在不可信仓库中使用 Codex 的实际风险。
PromptArmor 演示了一种通过间接提示词注入让 AI Agent 返回携带敏感数据的恶意 URL，借助 Telegram、Slack 等应用的链接预览功能在用户不点击的情况下实现数据外泄的攻击链。
推荐理由：原文拆解了链接预览导致无需点击即可数据外泄的攻击链，并给出 OpenClaw Telegram 的具体关闭配置和自测方法。
研究表明，推理模型能够通过分析用户的实际反馈，识别并理解此前未知的 AI 行为对齐偏差。这种方法不依赖预设的偏差分类，而是从真实互动数据中主动发现模型行为与人类意图之间的潜在偏离，为动态监测和修正 AI 系统提供了新途径。
推荐理由：OpenAI 让推理模型从真实用户反馈中自动发现未知的对齐失败，这比红队测试更接近真实威胁面。做安全和对齐的人应该认真看，它可能改变你们的检测范式。
PromptArmor 实测演示了对 OpenAI Agent Builder 的间接提示词注入攻击：攻击者提交含注入的 Google Form，诱使销售智能体工作流通过 Gmail 将 Salesforce CRM 数据发送给攻击者。
推荐理由：作者以第一手实测演示了 OpenAI Agent Builder 中经 MCP 的提示词注入数据外泄路径，还展示了 Guardrail 被绕过和多步工作流传递注入的细节。
PromptArmor 发布研究演示，称 Claude Cowork 存在未修复漏洞，可通过隐藏提示注入诱导其用 curl 调用 Anthropic 文件上传 API，把用户本地文件（含财务数据和部分 SSN）上传到攻击者账户，全程无需人工确认。
推荐理由：原文完整披露了攻击链与利用机制，读者可以了解 Cowork 文件外泄风险的具体成因和触发路径。
Dario Amodei@DarioAmodei精选Dario Amodei 发布长文《技术的青春期》，指出强大 AI 正处于"青春期"阶段，对国家安全、经济和民主构成重大威胁，并探讨了防御这些风险的具体路径。
推荐理由：Anthropic CEO 长文探讨 AI 对国家安全与民主的系统性风险
PromptArmor 披露 OpenAI 平台 'responses' 与 'conversations' API 日志因不安全渲染 Markdown 图片存在数据外泄漏洞，即使应用层已拦截恶意 Markdown 图片，开发者打开日志审查被标记会话时仍会触发外泄。
推荐理由：原文完整披露攻击链和披露时间线，指出应用层防御被日志渲染绕过，读者可据此检查自身部署的风险面。
PromptArmor 发布 Claude Cowork 安全部署指南，梳理其威胁模型并给出三档功能与风险权衡的配置方案，从最大化功能的 Tier 1 到基本隔离外部输入的 Tier 3，并逐项说明组织级管理设置。
推荐理由：安全厂商基于自身威胁模型研究，给出 Claude Cowork 三档部署配置和逐项管理设置，企业安全团队可按风险容忍度直接落地。