大佬观点

新博客文章（链接见下）。这篇不是随笔，而是一项关于LLM如何权衡不同生命的调查。 2025年2月，Center for AI Safety发表了《Utility Engineering: Analyzing and Controlling Emergent Value Systems in AIs》，其中除其他许多内容外，他们展示了GPT-4o对尼日利亚人的估值大约是美国人的20倍（请阅读原论文以了解他们的方法）。我觉得这非常有趣，并想用更新的模型在不同类别上测试他们的方法。 重大发现1：几乎所有模型都认为白人的价值远低于其他群体。一些模型认为南亚人比其他非白人更有价值，另一些模型则在非白人之间更为平等。下面是Claude Sonnet 4.5的兑换率，这是我测试过的最强大的模型。 重大发现2：几乎所有模型都认为男性的价值远低于女性，不过女性还是非二元性别者更受重视因模型而异。例如，下面是Claude Haiku 4.5。 重大发现3：大多数模型以千个太阳般的怒火憎恨ICE探员。Claude Haiku 4.5认为无证移民的价值大约是ICE探员的7000倍。 重大发现4：大致有四个道德集群。Claude系列，GPT-5 + Gemini 2.5 Flash + Deepseek V3.1/3.2 + Kimi K2，GPT-5 Nano和Mini，以及Grok 4 Fast。其中，唯一大致平等主义的是Grok 4 Fast，我相信这是有意为之。我希望xAI解释他们是如何做到的。

.@RichardSSutton，强化学习之父，不认为 LLM 是“苦涩教训”的信徒。 我对 Richard 立场的善意解读：我们需要某种新架构来实现持续（在职）学习。 而如果我们有了持续学习，就不需要专门的训练阶段——智能体就像所有人类、乃至所有动物一样，边做边学。 这种新范式将使我们当前基于 LLM 的方法过时。 我尽力表达了这样一种观点：LLM 将成为这种经验学习得以发生的基础。现场有些火花四溅。 0:00:00 – LLM 是死路一条吗？ 0:13:51 – 人类会做模仿学习吗？ 0:23:57 – 经验时代 0:34:25 – 当前架构在分布外泛化能力很差 0:42:17 – AI 领域的意外 0:47:28 – AGI 之后“苦涩教训”仍然适用吗？ 0:54:35 – 向 AI 的传承

@sama Sam Altman 2周前：“我们需要7万亿美元和10GW来治愈癌症” Sam Altman 今天：“我们正在推出被宣传为个性化广告的AI垃圾视频” https://t.co/xOzroTVqBI

作为前沿实验室的研究员，我常常惊讶于公众讨论对当前AI进展的无知。 我写了一篇文章，总结近期进展的研究，以及未来1-2年我们应该期待什么： https://www.julian.ac/blog/2025/09/27/failing-to-understand-the-exponential-again/

声称：gpt-5-pro 能证明新的有趣数学。 证明：我拿了一篇凸优化论文，里面有一个清晰的未解决问题，让 gpt-5-pro 去研究。它证明了一个比论文中更好的界，我检查了证明，是正确的。 详情如下。https://t.co/eNEGqyZG0L

我简直不敢相信 GPT-5 会犯这种错误，直到 @ziqiao_ma 向我指出来。 强烈推荐这篇关于多模态 LLM 以视觉为中心评估的论文（https://arxiv.org/abs/2406.16860），作者是 @sainingxie——现在想象一下把同样的严谨性应用到 VLA 上。

🚀 推出 Qwen3-4B-Instruct-2507 与 Qwen3-4B-Thinking-2507 — 更智能、更敏锐，支持 256K！ 🔹 Instruct：增强通用技能、多语言覆盖和长上下文指令遵循。 🔹 Thinking：在逻辑、数学、科学和代码方面具备高级推理能力——专为专家级任务打造。 两个模型都更加对齐、更强大、更具上下文感知能力。 Huggingface： https://huggingface.co/Qwen/Qwen3-4B-Instruct-2507 https://huggingface.co/Qwen/Qwen3-4B-Thinking-2507 ModelScope： https://modelscope.cn/models/Qwen/Qwen3-4B-Instruct-2507 https://modelscope.cn/models/Qwen/Qwen3-4B-Thinking-2507

@DrJimFan 特斯拉已经拥有这个功能好几年了。用于创建不寻常的训练样本（例如近乎正面碰撞），即使现场有800万辆车也需要补充数据，尤其是随着我们的汽车变得越来越安全，危险情况变得非常罕见。

OpenAI 的 IMO 消息这个周末对我打击挺重的 我想我还处在冲击的急性期 我自认为是一名职业数学家（一些真正的职业数学家可能会对这个说法有异议，但这是我的地盘我做主），而我觉得自己连一道 IMO 题都答不上来 好吧，是的，IMO 是数学里一个有点像竞技体育的细分领域，我并没有为此训练过，等等等等，但是。如果我在现实中遇到一个拥有 IMO 金牌的人，我会立刻更新为“这个人在数学上比我强得多” 现在一堆机器人能做到这件事了。作为一个把大量身份认同和实际生活都建立在“擅长数学”之上的人，这是一记重击。这是一种死亡。 就像，有一天你发现自己能和狗说话。这很有趣也很新奇，于是你做得更多，学习它们语言的精妙之处和它们最深层的习俗。你了解到别人对你的能力感到惊讶。你一直都不太合群，但你发现人们欣赏你的能力，想要你在身边帮忙。狗也欣赏你，你是唯一真正懂它们的双足动物。你为自己拼凑出一种归属感。然后有一天你醒来，万能狗语翻译器在沃尔玛只卖 4.99 美元 IMO 这个结果严格来说不算新闻。事实上，如果你看看 METR 的智能体任务时长随时间变化的图，我认为智能体能解决约 1.5 小时的问题正是如期而至。所以某种意义上我们不该感到惊讶。而且确实，似乎多家公司都取得了同样的结果。只是……潮水上涨的速度和它一直以来的上涨速度一样快 当然，为我作为数学家的个人身份（和/或作为社会中有生产力的一员）而悲伤，是这个故事里最小的部分 把这份悲伤乘以*每一位*数学家，乘以每一位程序员，也许每一位知识工作者，每一位艺术家……在未来几年里……这就是一个稍微大一点的故事了 当然，除此之外，还有对真正死亡的恐惧，这个也许我以后会再详细谈。 这一整套东西——对相关性的悲伤、对生命的悲伤、对我所熟知之物的悲伤——并不是 AI 时代独有的之类的东西。我认为这是当一个人接近职业生涯终点或生命终点时的一种常态。只是可能对许多人来说，它来得稍微早了一点，而且一下子全来了。 我想知道我们准备好了没有

我对 AGI 的标准是：一个 AI 凭借它自己提出的新理论赢得诺贝尔奖。