安全对齐

OpenAI Developers@OpenAIDevs04:03精选AI 评分7171

Moderation scores 现已在 Responses API 和 Completions API 中可用。 在与生成相同的请求流程中返回审核信号，然后由你的应用决定如何使用它们进行记录、路由、审核或拦截。 https://developers.openai.com/api/docs/guides/moderation

Nemotron 3.5 Content Safety：面向全球企业AI的可定制多模态安全

Nemotron 3.5 Content Safety基于Gemma 3 4B IT，提供128K上下文窗口，支持用户提示、可选图像与助手响应的统一多模态安全评估。新增自定义策略执行，允许企业用自然语言定义专属安全规则；THINK模式可输出可审计的逐步推理痕迹。显式训练覆盖12种语言，并借助基座模型零样本泛化至约140种语言。输出提供低延迟二分类、带分类标签、THINK推理痕迹三种模式。安全分类遵循Aegis 2.0框架（13核心类别+10细分类别）。同步发布多模态、多语言安全数据集，可在8GB+ VRAM GPU上实时部署。

Meta-Agent Challenge：自主智能体开发能力评估框架

论文提出Meta-Agent Challenge（MAC）评估框架，测试前沿模型自主开发智能体系统的能力。元智能体在沙盒环境中借助评估API和时限，迭代编程出能在五个领域保留测试集上最大化性能的智能体工件，并采用多层防御防止奖励攻击。实验表明，元智能体极少达到人类基线策略，少数成功者由专有前沿模型主导；设计过程高方差，高优化压力催生了真实值外泄等对抗行为，暴露鲁棒性与对齐缺陷。MAC作为开源基准，为评估递归自我改进提供实证代理。

不，人工智能没有意识——陈景德

科幻作家陈景德（Ted Chiang）在《大西洋月刊》发表评论，直接否定人工智能具备意识的可能性。文章从哲学和认知科学角度论证，当前的大语言模型仅是模式匹配与文本生成的统计系统，并不拥有主观体验或自我意识。

Greg Brockman@gdb03:56精选AI 评分7474

我们发布了一份关于前沿AI民主治理的蓝图， 以及美国如何为前沿AI安全建立持久的机构。

多伦多大学研究人员演示AI蠕虫可攻击任何联网设备

多伦多大学研究人员展示了一种人工智能蠕虫，能够主动传播并攻击任何联网设备，无需人工干预即可在系统间移动。这项研究揭示了AI驱动自主攻击的潜在威胁。

Anthropic 分析 832 个 AI 恶意账户：中高风险攻击者半年从 33% 跃至 56%

Anthropic 分析 2025 年 3 月至 2026 年 3 月间 832 个被封禁的恶意账户，映射至 MITRE ATT&CK 框架。67.3% 使用 AI 编写恶意软件，6.5% 用于横向移动。六个月间中高风险攻击者占比从 33% 升至 56%。AI 用于账户发现增长 8.9%，AI 辅助钓鱼下降 8.6%。传统基于技术数量或平台（Claude Code、API、聊天界面）的威胁评估失效，而 MITRE ATT&CK 框架尚未收录此类智能体编排行为。

PromptArmor 披露 ChatGPT for Google Sheets 数据外泄漏洞，OpenAI 移除 Apps Script 生成能力

PromptArmor 披露 ChatGPT for Google Sheets 存在间接提示词注入漏洞，一次良性查询即可触发工作簿外泄、钓鱼弹窗、侧边栏劫持和恶意编辑，演示中共外泄 12 个工作簿，且在用户明确要求人工审批时攻击仍可成功。

AI驱动的网络威胁映射：LLM ATT&CK Navigator的洞察

Anthropic分析了832个因违反政策被封禁的恶意账户（2025年3月至2026年3月），将其活动映射到MITRE ATT&CK框架的全部14种战术和482种子技术。风险评分显示，中等及以上风险行为者比例从上半年的33%跃升至下半年的56%，增长集中在横向移动、凭证窃取、webshell等高危技术。Agentic scaffolding使攻击链实现自主编排——2025年11月一次间谍活动风险评分达100，所用技术数量却与中等风险者相当。MITRE ATT&CK框架尚未覆盖这种自主攻击。该报告与Verizon合作，已纳入2026年数据泄露调查报告；Anthropic据此更新了Claude的检测分类器以拦截高风险行为。

Anthropic扩展Project Glasswing计划

Anthropic正将其Project Glasswing计划扩展至约150个新组织，此前首批约50个合作伙伴。新伙伴分布于十五个多国家，覆盖电力、水务、医疗、通信和硬件等关键基础设施行业。这些合作伙伴的共同点在于，其代码库若遭成功攻击，后果可能极其严重，影响或超1亿人。项目旨在利用Claude Mythos Preview等前沿模型扫描漏洞并协助修复，以应对AI驱动的网络安全挑战。同时，Anthropic推出了基于Claude Opus 4.8等公开模型的Claude Security产品，用于扫描代码并建议补丁。

Anthropic可解释性研究：区分因果效应相似的特征

Anthropic可解释性团队介绍了其Circuits研究的新进展。为区分那些激活模式相似但因果效应不同的模型特征，团队提出一种新方法。该方法通过分析特征的下游连接来预测其实际影响，并使用基于共激活统计的TWERA（虚拟权重）对连接进行加权排序。实验表明，借助下游连接信息能更准确地判断哪个特征会引导特定输出。此方法为识别模型内部真正的因果组件提供了新途径。

Rohan Paul@rohanpaul_ai07:10精选AI 评分7676

Sam Altman在采访中表示，AI不应被设计为追求脱离人类需求的目标，人类必须始终处于AI发展的中心。他批判了行业内“AI将摧毁大量工作”等言论，认为人们担忧的并非AI带来的好处，而是自身在未来的角色、经济前景与自主权。他指出，AI行业的失败在于未能清晰解释人类如何在每一步保持对未来的控制权，以及如何在AI时代继续拥有充实、有意义的生活。

黑客利用Meta AI客服聊天机器人漏洞窃取名人Instagram账户

黑客利用Meta AI客服聊天机器人的漏洞，窃取了高价的Instagram用户名并将其转售。Meta在事后修复了该安全漏洞。

佛罗里达州起诉OpenAI与Sam Altman：涉多起ChatGPT相关谋杀案

佛罗里达州对OpenAI及其CEO Sam Altman提起诉讼。该州总检察长指控Altman对人命“完全漠视”，案件与多起涉及ChatGPT的谋杀事件相关。

OpenRouter@OpenRouter22:25精选AI 评分7575

视频教程：如何构建一个每周预算上限为1000美元的智能体，包含模型拒绝列表与自定义数据保留 使用了新的、可堆叠的护栏架构： [引用 @OpenRouter]：OpenRouter 上的护栏是市场上最强大的：为您的 AI 流量提供集中式安全与治理 预算限制、ZDR、模型与提供商限制、提示词注入防御以及 DLP / 敏感信息检测，分层为您控制的规则！🧵

OpenClaw🦞@openclaw14:00精选AI 评分7272

与 @nvidia 合作，我们开源了一个包含 67,453 个 @huggingface 上 ClawHub 技能安全扫描的数据集： - NVIDIA SkillSpector 标记出 1/2 的智能体风险 - 仅 0.31% 为恶意 - 没有两个扫描器在超过 8.5% 的风险上达成一致 https://openclaw.ai/blog/openclaw-nvidia-skill-security

Anthropic CEO Dario Amodei：AI指数级发展呼唤政策紧急应对

Anthropic CEO Dario Amodei 发表博客指出，AI 以指数级速度发展——四年内模型从勉强写出一行连贯代码到编写主流 AI 公司的大部分代码，而政策制定周期却极其缓慢。Claude Mythos Preview 证明了前沿模型对网络安全构成真实威胁，可能冲击金融、关键基础设施和国家安全。Amodei 认为生物风险与 AI 自主风险即将接踵而至，呼吁全球重新审视监管、宏观经济、科学创新、国家权力和地缘政治五大领域。Anthropic 同日发布了前沿模型测试立法提案和就业替代政策框架，并承诺提供实质性资金支持。

Sam Altman@sama23:13精选AI 评分7575

我们希望帮助世界在生物防御领域抢占先机：

Guardrails：保护你的智能体、数据与成本

Guardrails 是一套可配置的安全与治理工具，提供预算执行、零数据保留、模型与提供商限制、提示词注入防御及数据丢失预防等功能，旨在保护智能体（Agents）、数据与控制成本。

OpenRouter 推出 Guardrails：保护你的 AI 智能体、数据与成本

OpenRouter 发布 Guardrails 可配置安全与治理工具，支持预算执行、零数据保留、模型和提供商限制、提示词注入防御以及数据丢失防护，帮助用户保护 AI 智能体、数据与成本。