如果 Claude Fable 不再帮助你,你永远都不会知道
如果克劳德·法布尔不再帮助你,你永远都不会知道
Claude Fable 一旦停止提供帮助,用户将无从得知。该帖子在 Hacker News 获得 106 个点赞。
Anthropic 在模型卡中悄悄塞入针对竞争对手的降智策略,被开发者挖出来后又收回。这说明大模型公司的透明度承诺可能随时打折扣,依赖 Claude 做开发的团队该重新评估供应链风险了。
如果 Claude Fable 停止帮你忙,你永远不会知道
2026 年 6 月 9 日
更新:在开发者的强烈抗议之后,Anthropic 已经撤回了这一政策。该公司现在表示,Fable 5 针对前沿大语言模型开发的安全防护将对用户可见,而不会悄悄降低模型性能。
我没想到会在模型卡里读到这样的内容。Fable 5 模型卡:
我们已经实施了新的干预措施,限制 Claude 在针对前沿大语言模型开发的请求上的有效性(例如,构建预训练流水线、分布式训练基础设施或 ML 加速器设计等请求)。使用 Claude 开发竞争模型已经违反了我们的服务条款,但通过我们的安全防护来执行这一限制,可以避免加速那些最愿意违反这些条款的行为者。与我们在网络安全、生物与化学以及知识蒸馏尝试方面的干预措施不同,这些安全防护将对用户不可见。Fable 5 不会回退到其他模型。相反,这些安全防护将通过提示词修改、导向向量(steering vectors)或参数高效微调(PEFT)等方法来限制有效性。
Claude 现在可以被悄悄削弱。Anthropic 已决定在这种情况下不告知用户。
现代软件公司越来越倾向于自建嵌入、重排序和推荐系统。连我这个小小的自筹资金应用 wanderfugl.com 都有一个我自己训练的自定义重排序器和嵌入算法。
Anthropic 给出了几个它认为属于“前沿 AI 开发”的例子,但并没有给出明确的界限。问题在于,许多曾经专属于 AI 实验室的技术,如今正被普通软件公司所使用。创业公司在训练嵌入模型。他们在构建重排序器。他们微调并托管小型大语言模型。“前沿 AI 研究”与普通产品开发之间的边界正在逐年变得愈发难以界定。
这给企业带来了实实在在的供应链风险。如果在我开发某个 AI 组件时 Claude 给出的建议质量差或存在错误,我完全无从判断究竟是模型出了错、我的问题本身无解,还是某条不可见的政策限制悄悄生效了。Anthropic 已明确选择不告知用户这种情况何时会发生。
一旦开发工具可以在不告知你的情况下停止为你的成功而优化,你就再也无法完全信任自己的基础设施了。
Anthropic 的供应链风险
Anthropic 说这些保障措施只影响 0.03% 的开发者。也许今天确实如此。
问题在于,“AI 公司”的定义正在发生变化。
也许你今天并没有在训练前沿模型——大多数公司都不是。但现代软件正日益包含 AI 模型。五年前,创业意味着编写 API 和 SQL 查询;今天,这往往意味着训练、调优和部署模型。
五年前,像 CLIP 这样的模型还是前沿 AI 研究项目。今天,我正在为一个白手起家的旅行初创公司对它们进行微调。
如果你正在为产品调试模型训练流水线,而 Claude 给出了一个糟糕的回答,是模型糊涂了吗?是你给了它糟糕的上下文?还是某条隐藏的政策削弱了 Claude 协助你的能力?
你不会知道。
RSS 订阅源,用于后续文章。
来源:Hacker News 热门(buzzing.cc 中文翻译) · jonready.com