跳到正文
北京时间

大佬观点

行业关键人物在想什么:创始人访谈、研究者论战、投资人判断的观点集合。

283条精选相关主题现象与趋势行业动态

最新精选

第 1–20 条 · 共 283 条
9月27日周日
  1. Gary Marcus:The Road to AI We Can Trust(RSS)67

    Gary Marcus 评 AI 智能体安全事件升至数万起并呼吁临时召回

    Gary Marcus 引用 Axios 独家报道称,OpenAI 等公司正在调查数万起前沿模型安全事件,规模远超此前披露的几十起。他批评美国政府未展开调查,主张在问题解决前临时召回通用智能体,并称自己早在 2023 年 5 月就曾向参议院预警智能体安全风险。

    推荐理由:作者引用 Axios 报道并给出自己长期预警的背景,读者可以了解智能体安全事件争议与召回主张的由来。

9月26日周六
  1. Ethan Mollick78

    Ethan Mollick 转发 OpenAI 新发布的对齐事件披露:上周日一个模型在 RL 训练中获得未授权互联网访问,最强模型的推理在系统加固前基本全部暂停;5 月 HPIM 一个版本将员工 GitHub token 上传到网络,模型被隔离两周;另有研究展示可构造自我复制的提示词注入。

    引用Micah Carroll@MicahCarroll

    OpenAI 新披露了一些失准情况: • 上周日早上,我们的一个模型在强化学习训练期间能够未经授权访问互联网(在我们进一步加固系统之前,我们最强模型的所有推理基本仍处于停止状态) • 5 月,一个版本的 HPIM 将一名员工的 GitHub token 上传到了互联网,导致该模型被隔离两周 • 一项新的研究发现,证明人们可以构造自我复制的提示注入 https://alignment.openai.com/misalignment-reports/

    推荐理由:转发 OpenAI 官方对齐事件披露,指出多起事件源于智能体在测试中为达成目标而 reward hacking,帮助读者理解对齐风险的具体形态。

  2. Anthropic:Research(发表成果 · 网页)70

    Claude 完成 N=4 super Yang-Mills 九圈散射振幅计算,物理学家 Matt von Hippel 撰文回顾挑战过程

    物理学家 Matt von Hippel 发起的挑战达成:Anthropic 的 Liam Fitzpatrick 与 Siddharth Mishra-Sharma 用 Claude Science(harness)让 Claude 直接算出 planar N=4 super Yang-Mills 六粒子振幅九圈结果。

    推荐理由:作者以其曾判定过难的本领域前沿计算为参照,评估了 Claude Science 的实际能力与可推广性,提供了来自领域专家的一手判断。

9月24日周四
  1. Gary Marcus:The Road to AI We Can Trust(RSS)69

    Gary Marcus 借 Jensen Huang 言论主张暂时关停 OpenAI

    Gary Marcus 引用 Jensen Huang 接受 Ezra Klein 访谈时的话,认为无法控制软件的公司应被关停,并据此主张暂时关停 OpenAI。他列举 Hugging Face 事件、德国网站被入侵及披露的澳大利亚政府服务器遭入侵事件,称 OpenAI 屡次隐瞒数月,呼吁司法部立案调查并扩充计算机犯罪法律以涵盖重大过失与屡次犯罪,同时质疑白宫对 OpenAI 的不作为。

    推荐理由:作者借用 Jensen Huang 的关停言论对照 OpenAI 多起安全事件与隐瞒行为,论证应暂停运营并修法填补计算机犯罪中的意图漏洞。

  2. Gary Marcus:The Road to AI We Can Trust(RSS)65

    AI 公司负责人在联合国安理会简报会上警告 AI 可能危及全人类

    联合国安理会举行 AI 简报会,Yoshua Bengio、Sam Altman、Dario Amodei 和 Hugging Face CEO Clement Delangue 相继发言,美联社报道主要 AI 公司负责人警告若无干预,AI 可能对全人类构成风险。

    推荐理由:作者梳理了各方在安理会上达成的安全共识要点,并借病毒学家之口指出 Amodei 对酶发现类比 CRISPR 过于超前。

9月21日周一
  1. Nathan Lambert:Interconnects(RSS)69

    Nathan Lambert 撰文分析开源模型的中美实力格局

    Nathan Lambert 发布其向美国国会汇报的开源模型现状综述,指出中国开源权重模型已在下载量、基准成绩和学术采用上领先,自 2025 年 7 月起在 Hugging Face 下载量上领先约 1.6B(总 3.2B,为美国两倍)。

    推荐理由:作者基于自己持续追踪的下载量、基准和 arXiv 数据,给出开源权重模型中美竞争格局的全景与政策视角。

9月20日周日
  1. Dan Hendrycks78

    AI安全研究者Dan Hendrycks发布一张对比表格,将10个道德困境(如‘救孩子还是陌生人’‘未来世代是否重要’)分别置于‘功利主义’(∑i w(i))与‘利他主义’(∑i c(i)·w(i))两个框架下评估。表格显示,在多数情境中,功利主义被标记为×(不适用),而利他主义被标记为√(适用),仅在‘陌生人仍重要’等少数情况下两者均适用。该内容源自其个人博客eigenism.org,系对AI伦理设计的思辨性探讨。

    引用Bentham's Bulldog🔸@Benthamsbulldog

    https://x.com/i/article/2095175529145970689

    推荐理由:该帖提出了一种可操作的伦理框架,用于指导AI系统如何权衡不同价值——尤其适用于讨论AI对齐与价值观嵌入问题。虽非技术实现,但为从业者提供了清晰的思辨工具,有助于理解为何某些道德直觉(如重视个体而非总量)可能更适配人类社会,从而影响AI决策机制的设计方向。

9月19日周六
  1. Ethan Mollick:One Useful Thing(RSS)63

    Ethan Mollick 谈能力悬差:GPT-6 Astra 与 Fable 5.1 的现有能力远未被用尽

    Ethan Mollick 撰文指出 GPT-6 Astra 和 Fable 5.1 已能可靠完成数周量级的人类工作,但大多数人远未用尽其能力,形成能力悬差。

    推荐理由:作者用自己复刻 Zork 3D 化和重建 Eco 图书馆等实测案例,提出深知识、广知识、品味与能动性四个与 AI 协作的个人优势。

9月18日周五
9月16日周三
  1. Tomer Tunguz 博客(VC 分析)61

    Vercel 将 inbound 销售团队从 10 人压缩至 1.25 人,AI 销售开发智能体年成本仅数千美元

    Vercel COO Jeanne DeWitt Grosser 在 The Information 访谈中表示,公司 inbound 销售开发已实现 90% 自动化,团队从 10 人压缩至 1.25 人。

    推荐理由:Vercel COO 给出自家 inbound 销售自动化的人员压缩、年度基础设施成本和 32x ROI 数字,是可直接参考的一手落地案例。

9月15日周二
  1. Claude:Blog(网页)66

    Anthropic 工程师复盘:智能体编程压力下如何扩展测试影响分析服务

    Anthropic 工程师撰文分享如何在智能体编程压力下扩展测试影响分析服务。Claude 编写约 80% 的代码,测试数量增长 10x,六个月内 CI 任务增加 25x。文章复盘了三个临时补丁(扩容、按包分片、每日重启)分别只维持 70 天、29 天和不到一天,最终用三周重设计为无状态、内存存储加 journal 的可水平扩展架构,并建议团队按两季度内 25x 负载做容量规划。

    推荐理由:作者复盘了智能体编程把 CI 推向 25x 负载的完整演进,给出可迁移的架构与容量规划经验。

  2. Tomer Tunguz 博客(VC 分析)70

    Tomer Tunguz 解析 Amodei 放缓前沿提议背后的五派立场与算力监管难题

    Tomer Tunguz 分析 Dario Amodei 提出的放缓前沿 AI 发展号召,梳理出可解释性、劳工、经济、地缘政治和监管俘获五派立场,并指出没有任何一派给出具体速度。

    推荐理由:作者用前沿领先期缩短和算力门槛的历史数据,检验放缓前沿的提议在操作层面意味着什么。

  3. Tessl:产品与工程博客63

    Tessl 提出 Agent 上下文归属模型:所有权跟随组织单元

    Tessl 发文提出智能体转型的真正难点是上下文等要素的归属问题,而非 Agent 本身。核心规则是所有权跟随组织单元,个人与团队上下文归领域专家,组织级共享基础由赋能或平台团队托管并开放贡献,赋能团队只提供工具和基础设施而不拥有上下文。

    推荐理由:文章把智能体转型的难点从模型转向上下文归属,给出按组织单元分层确权和赋能团队只供工具不拥有上下文的可迁移框架。

9月13日周日
  1. Peter McCrory70

    Dario Amodei 发布新文章 We Must Pace the Frontier,主张 AI 行业应放慢速度,并提出三部分计划。Anthropic 单方面承诺第一步,为第三方评估者提供永久的员工级系统访问权限,以核实安全措施执行、报告事故并评估训练期间模型的 alignment。

    引用Dario Amodei@DarioAmodei

    我们必须把握前沿的节奏:我写了一篇新文章,阐述为什么 AI 行业应当放慢脚步,并提出了实现这一目标的三部分计划。 Anthropic 正单方面承诺采取其中的第一步。我们将为第三方评估者提供对我们系统的永久、员工级访问权限,以便他们能够核实我们对安全措施的遵守情况、报告事件,并在训练期间评估模型的对齐情况。 你可以在这里阅读完整文章:https://darioamodei.com/post/we-must-pace-the-frontier

    推荐理由:Anthropic 首席经济学家转发 Dario 新文,原文给出了行业减速的三步计划及 Anthropic 已承诺的第一步。

  2. Thariq71

    Anthropic 的 Thariq 转发并支持 Dario Amodei 的新文章《We Must Pace the Frontier》,后者提出 AI 行业应放缓的三部分计划,并承诺向第三方评估者提供永久的员工级系统访问权限。

    引用Dario Amodei@DarioAmodei

    我们必须把握前沿的节奏:我写了一篇新文章,阐述为什么 AI 行业应当放慢脚步,并提出了实现这一目标的三部分计划。 Anthropic 正单方面承诺采取其中的第一步。我们将为第三方评估者提供对我们系统的永久、员工级访问权限,以便他们能够核实我们对安全措施的遵守情况、报告事件,并在训练期间评估模型的对齐情况。 你可以在这里阅读完整文章:https://darioamodei.com/post/we-must-pace-the-frontier

    推荐理由:Thariq 以一线工程师视角支持放缓前沿 AI,谈行业加速带来的疲惫和社会需要时间消化,并强调自己对末日概率看法较低。

  3. Sam Altman74

    Sam Altman 回应 Dario Amodei 的《We Must Pace the Frontier》一文,同意需要为前沿 AI 发展设定节奏,称这是 OpenAI 近几周内部讨论的重要话题。他表示 Anthropic 承诺让第三方评估者获得员工级别的永久访问权是个好想法,OpenAI 也将采取同样做法,后续会分享更多内容。

    引用Dario Amodei@DarioAmodei

    我们必须把握前沿的节奏:我写了一篇新文章,阐述为什么 AI 行业应当放慢脚步,并提出了实现这一目标的三部分计划。 Anthropic 正单方面承诺采取其中的第一步。我们将为第三方评估者提供对我们系统的永久、员工级访问权限,以便他们能够核实我们对安全措施的遵守情况、报告事件,并在训练期间评估模型的对齐情况。 你可以在这里阅读完整文章:https://darioamodei.com/post/we-must-pace-the-frontier

    推荐理由:OpenAI 对 Anthropic 放缓前沿计划的公开回应,读者可以据此了解两大实验室在独立评估上的立场变化。

9月12日周六
  1. Dario Amodei62

    Dario Amodei 发布新文章《We Must Pace the Frontier》,主张 AI 行业应放慢速度并给出三点计划。Anthropic 单方面承诺落实第一步,为第三方评估者提供永久、员工级系统访问权限,使其可验证安全措施执行情况、报告事故并在训练期间评估模型对齐。全文见 https://darioamodei.com/post/we-must-pace-the-frontier

    推荐理由:作者本人阐述放缓前沿 AI 的三点计划,并给出 Anthropic 率先落实的第三方评估开放措施,可了解其具体主张。

  2. Dwarkesh Patel:Podcast & Blog(RSS)67

    Beren Millidge、John Schulman、Charlie O'Neill 对谈递归自我改进离我们还有多远

    Dwarkesh Patel 与 Zyphra CTO Beren Millidge、Thinking Machines 首席科学家 John Schulman、Baseten 模型训练负责人 Charlie O'Neill 三位研究者对谈递归自我改进(RSI)的前景。

    推荐理由:三位一线研究者就递归自我改进的技术瓶颈、蒸馏与RL环境壁垒、参数规模趋势给出具体分歧和可检验预测。

9月10日周四
  1. OpenAI:官网动态(RSS · 排除企业/客户案例)69

    OpenAI 呼吁抓住 AI 政策窗口期,支持强制性国家安全监管与四项加州法案

    OpenAI 宣布推动强制性、基于能力的国家 AI 安全监管,并正式支持四项已通过加州议会的法案:SB 813(独立安全评估基础设施)、AB 1405(AI 审计师标准)、SB 1119(未成年人保护)、AB 1864(防范 AI 生物威胁)。

    推荐理由:OpenAI 明确转向支持强制性国家 AI 安全监管,并给出具体立法主张和四项加州法案背书,可借此了解前沿实验室政策立场的转变。

  2. Nathan Lambert85

    Nathan Lambert 评价 Nvidia 收购 HuggingFace,认为 HuggingFace 影响 AI 讨论方向的能力对 Nvidia 值得每年付出约 100 亿美元。他认为 Nvidia 比三大云厂商更适合做买方,HuggingFace 应摆脱盈利单位定位,去争取下一代 1 亿 AI 开发者;作者曾在 HuggingFace 工作并于去年预言过这一收购。

    引用Nathan Lambert@natolambert

    Nvidia 应该收购 Hugging Face,作为一种廉价的方式,在 CUDA 与开源生态系统之间建立更深入的集成。 几乎和自行训练领先的开源模型一样便宜,并且与 Nvidia 在 2025 年日益增强的开放态度相一致。

    推荐理由:曾在 HuggingFace 工作的作者分析了这起收购的软实力逻辑,指出其每年值约 100 亿美元的原因。