跳到正文
北京时间

安全对齐

AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架的进展。

448条精选相关主题论文研究政策监管推理能力

最新精选

第 301–320 条 · 共 448 条
5月26日周二
  1. HuggingFace Daily Papers(社区热门论文)71

    有秘密?大语言模型智能体守不住:多智能体系统中的隐私评估

    研究将评估从单轮转向多轮社会交互后,发现大语言模型智能体的隐私违规率显著上升。在对OpenAI模型的测试中,该比例从此前CIMemories基准的19.95%增至本研究的45.30%。隐私泄露具有社交传染性,智能体在观察到同伴泄露后,披露敏感信息的可能性增加8倍。即使有明确隐私指令,泄露率仍高于37.8%。结论指出,静态聊天基准会系统性低估部署风险,仅社会语境就足以引发在单轮评估中无法暴露的敏感信息披露。

    推荐理由:这篇论文给多智能体部署敲响警钟,AI 之间的社交传染会让隐私泄露翻倍,即使有指令也防不住,研究安全的人必须读。

  2. Anthropic:Newsroom(网页)77

    Anthropic联合创始人Chris Olah在教皇通谕发布会上的讲话

    Anthropic联合创始人Chris Olah在梵蒂冈出席教皇Leo XIV关于AI的通谕发布会。他指出,所有前沿AI实验室都面临商业、研究及地缘政治等多重压力,这可能与做正确的事相冲突,因此外部监督至关重要。他强调,AI模型并非像飞机那样被工程化构建,而是基于人类语言和思想“生长”出来的,其内在性质可能复杂难解。他提出三个需审慎思考的问题:如何确保AI发展的全球收益公平分享、如何思考AI时代的人类繁荣,以及AI模型内在性质的本质。他呼吁社会各界,尤其是宗教与民间团体,严肃审视AI发展并引导其向善。

    推荐理由:Olah 在教皇通谕发布会上罕见坦承 AI 实验室的激励扭曲,呼吁外界批评,还透露模型内部已出现类似情感的状态,对关注 AI 伦理的人值得细读。

5月25日周一
  1. The Verge:AI(RSS)76

    教皇里奥呼吁在AI时代保持“深刻的人性”

    教皇里奥十四世在首份重要通谕《Magnifica Humanitas》中警告了AI及不受约束的技术力量带来的风险。该通谕于2026年5月15日发布,是教皇关于“在人工智能时代守护人”的宣言。文件重点讨论了AI驱动战争的危险、AI对劳动的影响,以及建立新的法律和伦理框架来规范技术的必要性,强调AI的快速普及正造成经济和社会动荡,对个人的保护不足威胁着人类尊严。

    推荐理由:教皇首份通谕专谈AI,这不是泛泛的道德呼吁,而是梵蒂冈对技术权力最高层级的干预。对劳动和战争的警告不是老生常谈,而是即将到来的全球监管浪潮先行信号。

  2. TechCrunch:AI(RSS)70

    教皇的AI通谕并非真正关于AI

    教皇Leo XIV的首道通谕,将AI作为诊断工具,以剖析权力集中、民主侵蚀以及科技精英阶层根据自身利益塑造世界等更深层的问题。

    推荐理由:一篇值得AI从业者细读的非技术文本,教皇把AI的讨论拉回到不平等和民主侵蚀,加上Anthropic联合背书,这比大多数行业白皮书更有刺痛感。

  3. Rohan Paul79

    梵蒂冈举行活动,教皇 XIV 与 Anthropic 联合创始人 Christopher Olah 对话,宣布双方将合作引导人类应对AI时代。教皇强调在差异中相互聆听是希望的标志,共同审视时代与人类未来的重大问题。Christopher Olah 指出AI存在大规模替代人类劳动的现实可能性,并观察到模型展现出功能上类似喜悦、恐惧等人类情感的“内部状态”,认为这需要持续审视。

    引用Rohan Paul@rohanpaul_ai

    “人工智能极有可能大规模取代人类劳动……我们发现其内部状态在功能上对应着喜悦、满足、恐惧、悲伤与不安。我不知道这意味着什么,但我认为这值得持续加以辨别。” ~ Anthropic 联合创始人 Christopher Olah 在梵蒂冈活动上(教皇利奥十四世今天在主教会议厅举行的发布会)。 ---- 来自“Associated Press”YouTube 频道,(链接见评论)

    推荐理由:Anthropic 联合创始人走进梵蒂冈,教皇宣布共同引导 AI 时代,这不是 PR 做戏。Olah 当场承认「AI 内部状态镜像情绪」,对全行业的安全讨论是重磅催化剂,伦理、政策、教会全部入局。

  4. 蚂蚁 inclusionAI:HuggingFace 新模型58

    inclusionAI 发布 SingGuard 系列模型

    inclusionAI 发布 SingGuard 系列模型,首个版本为 SingGuard-4b。该模型是一种策略自适应多模态 LLM 护栏,将安全策略作为运行时输入而非固定训练分类,支持对文本、图像、图文、多语言、查询侧和响应侧进行安全评估。SingGuard 采用动态推理流程,可先快速输出首 token 安全信号,再继续生成更精确的判断。在涵盖多模态安全、图像安全、文本查询安全、文本响应安全、多语言查询安全及多语言响应安全的六大类基准测试中,SingGuard 达到平均 SOTA 性能。模型支持标准 Transformers 和 vLLM 聊天消息输入,无需手动改写提示词。

    推荐理由:蚂蚁集团开源的多模态安全护栏模型,把审核策略变成了动态可配置参数,对需要灵活合规的部署团队来说比单纯调 API 更可控。普通用户看看就好,做安全的人值得试。

  5. 蚂蚁 inclusionAI:HuggingFace 新模型71

    <中文标题>SingGuard: 策略自适应多模态护栏模型族开源</中文标题>

    <中文摘要>SingGuard 是一个策略自适应的多模态护栏模型族,包含 Sing-Guard-4b 和 Sing-Guard-8b 两个版本。它将安全策略作为运行时输入而非固定分类,部署团队可自定义自然语言规则而无需重训练模型。支持文本、图像、图文、多语言以及查询端与响应端的安全评估,提供快速和快慢结合两种推理模式。在涵盖多模态安全、纯图像安全、文本查询/响应安全、多语言查询/响应安全六大类基准上取得平均 SOTA 表现。模型已开源至 HuggingFace 和 ModelScope。</中文摘要>

    推荐理由:蚂蚁的 SingGuard 把安全策略变成了运行时输入,意味着审核规则可以随时改而不必重训模型,这对做内容安全的产品人是真省事,值得跟进。

  6. 蚂蚁 inclusionAI:HuggingFace 新模型69

    蚂蚁 inclusionAI 发布策略自适应多模态安全护栏模型 Sing-Guard-8b

    SingGuard 是蚂蚁 inclusionAI 推出的策略自适应多模态大语言模型安全护栏模型族(版本 Sing-Guard-8b),支持纯文本、纯图像、图文混合、多语言查询与回复的安全评估。其核心设计将安全策略作为运行时输入,部署团队可基于默认分类或自定义自然语言规则评估内容,无需重新训练模型。模型内置 fast-slow 动态推理流程:首 token 路由快速输出安全信号,需深度推理时继续生成更精确的最终判断。在涵盖多模态安全、纯图像安全、文本查询与回复安全、多语言查询与回复安全的六大基准测试上取得平均 SOTA 性能,并已开源至 HuggingFace 与 ModelScope。

    推荐理由:蚂蚁集团开源的多模态内容审核模型,最大亮点是运行时动态注入安全策略而不需重训,对需要灵活定制审核规则的团队是低门槛的高分工程实现。

  7. 蚂蚁 inclusionAI:HuggingFace 新模型69

    inclusionAI 发布 SingGuard 系列模型,首版为 SingGuard-2b

    inclusionAI 发布 SingGuard 系列模型,首个版本为 SingGuard-2b,用于文本、图像、图文、多语言及查询/回复侧的安全评估。SingGuard 将安全策略作为运行时输入而非固定训练分类,支持部署团队在不重新训练模型的情况下,依据默认或自定义自然语言规则进行内容审核。该模型在多项多模态安全基准上取得平均最优性能,支持快速首 token 路由与深度推理结合的动态推理流程,兼容 Transformers 和 vLLM 的 chat 消息输入。

    推荐理由:把安全策略写成自然语言就能即插即用,不用重新微调,这个思路对需要频繁调整合规规则的产品团队很实用。虽然只是个2B的小模型,但开箱即用的动态适配能力值得关注。

  8. 蚂蚁 inclusionAI:HuggingFace 新模型68

    inclusionAI 发布 Sing-Guard-2b:策略自适应多模态大模型安全护栏

    inclusionAI 开源了 Sing-Guard 模型家族,版本包括 Sing-Guard-2b 和 Sing-Guard-8b。该模型将安全策略作为运行时输入,支持文本、图像、图文及多语言场景的查询侧

    推荐理由:SingGuard把安全策略变成运行时输入,不用再为新规则重新训练模型,这对需要频繁调整审核标准的团队来说是个实用的发布。

  9. 蚂蚁 inclusionAI:GitHub 新仓库63

    蚂蚁 inclusionAI 开源 SingGuard 多模态安全护栏模型族

    蚂蚁集团 inclusionAI 开源了 SingGuard 多模态安全护栏模型族,包含 2B、4B 和 8B 三个版本。SingGuard 将安全策略作为运行时输入而非训练时固定分类,部署团队无需重新训练即可按默认分类或自定义自然语言规则评估内容。模型支持文本、图像、图文、多语言、查询侧和回复侧的安全审核,采用“快-慢”动态推理机制。SingGuard 在多模态安全、图像安全、文本查询安全、文本回复安全、多语言查询安全及多语言回复安全基准上达到平均 SOTA 性能。模型基于 Qwen3-VL 架构,支持通过 Transformers 和 vLLM 部署。

    推荐理由:安全护栏模型大多是死规则,SingGuard 允许运行时动态注入策略,这对需要频繁调整审核规则的内容团队是个实用突破。蚂蚁开源了全系列模型与基准,部署门槛低,可以直接上手。

  10. 蚂蚁 inclusionAI:GitHub 新仓库67

    蚂蚁 inclusionAI 开源多模态安全护栏模型 SingGuard

    SingGuard 是蚂蚁 inclusionAI 开源的多模态安全护栏模型族,提供 2B、4B、8B 三个参数版本。它将安全策略作为运行时输入,支持文本、图像、图文、多语言及查询/回复侧的安全评估,无需重新训练即可适配不同规则。采用快慢动态推理机制,在低延迟场景下输出紧凑判断,对模糊或高风险内容进行策略引导的推理。在多模态安全、图像安全、文本查询与回复安全、多语言查询与回复安全等基准上达到 SOTA 平均性能。模型已上架 HuggingFace 和 ModelScope。

    推荐理由:蚂蚁 inclusionAI 把安全护栏做成了“运行时可配置”的模型,换审核规则不用重训,对需要快速适配法规的团队是个真需求。不过生态刚起步,暂时还是小众工具。

5月23日周六
  1. Anthropic:Newsroom(网页)90

    Project Glasswing:初步更新

    上月启动的Project Glasswing项目,旨在利用先进AI模型保障关键软件安全。通过约50家合作伙伴使用Claude Mythos Preview模型,已在全球关键系统中发现超过10,000个高危或严重漏洞。多家合作伙伴报告漏洞发现效率提升超过十倍。例如,Cloudflare在关键路径系统发现2,000个漏洞;Mozilla在Firefox 150中发现并修复271个漏洞,数量远超前代模型。项目还扫描了千余个支撑互联网的开源项目,独立验证准确率达90.6%。这标志着AI网络安全能力进入新阶段,漏洞发现速度已远超人工。

    推荐理由:Mythos Preview用一个月找到的漏洞比过去一年还多,网络安全从「发现难」变成「修不过来」,这个转折点所有安全从业者都得读。

  2. Perplexity82

    今天我们开源了Bumblebee,一个适用于macOS和Linux的只读扫描器。 它检查开发者机器上的高风险软件包、扩展和AI工具配置。 连接到Computer后,每当出现新的供应链风险时,它可以触发更深入的扫描。 https://github.com/perplexityai/bumblebee

    推荐理由:这不是另一个华而不实的 AI 玩具,而是实打实的开发环境安全检查工具,开源且只读,接入 Computer 后还能动态响应新威胁,做 AI 工具链的团队应该现在就 fork。

  3. Ars Technica:AI(RSS)75

    特朗普在科技巨头CEO拒绝出席后,突然取消AI行政令签署活动

    美国总统特朗普决定推迟一项关于人工智能安全测试的行政令签署。此前,多家领先AI公司的首席执行官拒绝出席原定的签署活动。特朗普随后声称,该行政令若执行,将对技术创新构成“阻碍”。这一决定使得旨在加强AI安全监管的重要政策进程暂时搁置。

    推荐理由:特朗普因CEO缺席撤回AI安全测试行政令,暴露了美国AI监管的脆弱。行业游说、政府内斗、中美竞赛交织,安全测试从技术问题变成了政治筹码。

5月22日周五
  1. IT之家(RSS)73

    18 年老粉与微软 GitHub 决裂:我希望它更好,但我更想编程

    全球最大的代码托管平台GitHub正面临严重危机。资深开发者Mitchell Hashimoto公开与平台决裂,因频繁崩溃影响编程。近几个月,花旗银行、英特尔等巨头因持续故障表达不满,OpenAI探索自建方案。更严重的是,3800多个内部仓库遭黑客入侵,源代码被公开叫卖。同时,微软取消GitHub CEO职位,将其并入CoreAI团队,导致大量技术骨干流失。这个承载1.5亿开发者的平台,正以惨烈方式站在生死存亡的十字路口。

    推荐理由:GitHub正在经历一场自我毁灭式的恶性循环,从源码泄露到CEO取消,微软正在把一个社区圣殿变成内部成本中心,所有把命根子放在单个平台上的开发者都该重新考虑了。

  2. IT之家(RSS)80

    图灵测试 76 年后首现 AI 通过实证:GPT-4.5 以 73% 判定率超越真人

    加州大学圣地亚哥分校研究首次实证现代AI可通过图灵测试。研究表明,在获得特定提示后,GPT-4.5在5至15分钟的对话中被误认为人类的概率高达73%,显著超过真人。LLaMa-3.1-405B的判定率(56%)与真人相当,而GPT-4o和ELIZA仅约20%。研究指出提示词至关重要,它使AI能模仿人类语气、幽默感甚至易错性等社会行为特征。这一发现迫使人们重新思考图灵测试的意义,并凸显了大语言模型在网络信任与安全方面构成的潜在挑战。

    推荐理由:这篇PNAS论文首次用严格实验证明现代AI能通过图灵测试,GPT-4.5装人比真人还像,但重点不是它多聪明,而是它多擅长说谎,线上身份信任被彻底动摇。

  3. IT之家(RSS)77

    美国 AI 监管令突然告吹内幕:白宫内讧,马斯克、扎克伯格游说特朗普

    5月22日,美国总统特朗普突然取消了原定签署的AI行政令,该行政令旨在加强监管,赋予政府在AI模型公开发布前进行评估的权力。取消源于特朗普本人对监管的反感,以及高级顾问大卫·萨克斯和科技界领袖如扎克伯格、马斯克的反对与游说,凸显白宫内讧。特朗普认为监管会成为绊脚石,阻碍美国AI领先优势。草案中还存在如财政部在安全协调中角色过重等争议,白宫表示正制定其他AI安全举措。

    推荐理由:特朗普的 AI 监管令在签署前几小时被撤销,马斯克和扎克伯格直接打电话游说,这背后是加速派和监管派的公开角力,未来几个月 AI 政策只会更乱。

  4. Sundar Pichai72

    谷歌CEO Sundar Pichai在I/O大会上与MatthewBerman进行了深入对话,全面探讨了当前人工智能发展的多个核心方面。Pichai重点关注了AI代理如何可能取代部分互联网功能,并改变用户的信息获取方式,甚至威胁原始互联网的形态。对话还深入讨论了开源AI模型面临的商业模式困境、中美在AI领域的激烈竞争格局,以及网络安全威胁,包括AI可能引发的攻击和谷歌的应对策略。此外,Pichai指出谷歌正面临巨大的AI算力需求,计算资源已成为主要瓶颈,并探讨了发布强大AI模型的阈值判断问题。他强调了谷歌致力于开发低成本、高效率的AI模型的原因,以应对资源挑战。整体而言,这次对话覆盖了AGI竞赛、AI代理、信息饮食等关键议题,深入分析了AI发展的挑战、机遇和未来趋势。

    引用Matthew Berman@MatthewBerman

    桑达尔·皮查伊(@sundarpichai),谷歌CEO,谈: 🔹AGI竞赛 🔹智能体 🔹AI与信息食谱 🔹开源 🔹网络安全 🔹美国 vs 中国 引言 AI智能体取代互联网的部分功能 AI智能体决定我们的信息食谱 智能体会杀死“原始互联网”吗? AI网络攻击与谷歌的防御策略 危险的网络AI模型应该被限制吗? 发布强大AI的门槛 为什么谷歌还没有开源一个大模型 开源AI的商业模式已经崩坏 美国公司使用中国AI 建立在中国AI生态之上的风险 为什么谷歌如此看重廉价、快速的AI模型 桑达尔谈自我改进的AI与AGI竞赛 谷歌的算力状况 谷歌的AI需求超过算力 谷歌最大的算力瓶颈

    推荐理由:Sundar 罕见聊了不开源大模型、算力瓶颈和中美 AI 生态风险,不是 PR 套话,做基础设施和战略的人值得看。

  5. Claude:Blog(网页)74

    合作伙伴如何运用Opus强化网络安全

    多家企业正利用Claude Opus模型强化网络安全防御。Wiz通过其Red Agent,每周对超过15万个生产资产进行持续渗透测试,发现数千个高风险漏洞且误报率为零。Palo Alto Networks在不到三周内完成了相当于一年的渗透测试工作量。埃森哲将安全测试覆盖率从约10%提升至80%以上,涉及1600个应用和50万+个API,扫描周期从3-5天缩短至1小时内。应用主要围绕三个方向:开展大规模攻击性测试、缩短漏洞发现与修复的间隔,以及将受控AI系统部署到生产环境。

    推荐理由:Wiz一周扫15万资产零误报,Palo Alto三周完成一年渗透测试量——这些不是蓝图,是Claude Opus正在真实防御中跑出的数字,安全团队值得逐字看完。