不，人工智能没有意识——陈景德

Anthropic 被视为 AI 公司中的巨头，但或许它真正擅长的，是拟人化。今年早些时候，该公司发布了一份 84 页的文件，标题是 Claude 的“宪法”，Claude 正是该公司旗舰产品大语言模型的名字。第一句话写道：“Claude 的宪法是对 Anthropic 为 Claude 所设想的价值观与行为的详细描述。”接着又说：“这份文件以 Claude 作为其主要受众”，“我们希望 Claude 在充分理解相关考量之后，能够运用自己的判断力”，“Claude 的道德地位极不确定”，以及“Claude 可能拥有某种功能意义上的情绪或感受。”

这种拟人化绝不限于那份文件。在今年早些时候的一次采访中，Anthropic 的 CEO Dario Amodei 表示，“我们对 AI 可能具有意识这一想法持开放态度”。在另一次采访中，Anthropic 的内部哲学家 Amanda Askell（她被列为 Claude 宪法的主要作者之一）说：“我希望 Claude 非常快乐——而这是我希望 Claude 更多知道的一件事，因为我担心 Claude 在互联网上被人恶意对待之类的时候会变得焦虑。”这足以让你不禁思考：我们是否应该认真考虑 Claude，或任何大语言模型，可能具有意识这一可能性？而如果它有感受，它是否能够接受道德层面的教导？

不。绝对不。生成式 AI 在我们把它理解为一种常规技术时就已经足够有害了，但如果我们把生成文本的流畅性误认为意识或道德主体性，那么每当有人使用聊天机器人时，我们就有可能把责任归咎于完全错误的一方。要体会这一错误的巨大程度，我们需要先从理解 LLM 如何运作开始。

如果我们给大语言模型一个提示词，内容是“以下是尤利乌斯·凯撒与成吉思汗之间的一段对话”，它就会生成这两位历史人物之间一段连贯的对话。但无论这些回应多么详尽，无论它们多么生动地讲述各自的历史功绩，我们都不会据此断定这个大语言模型凭空创造出了尤利乌斯·凯撒与成吉思汗的数字再造体，也不会认为这两位历史人物尽管没有实体却具有意识，并且正愉快地用他们实际上都不会说的语言交谈。实际上，他们不过是一篇推想小说中的角色而已。

现在让我们把提示词换成“以下是一个乐于助人的 AI 聊天机器人与用户之间的一段对话”。大语言模型会像之前一样生成一段连贯的对话；用户这个角色可能会询问食谱建议或观光推荐，而那个乐于助人的 AI 聊天机器人角色则会给出回应。第一个例子和第二个例子之间发生了什么根本性的变化吗？把角色的名字从历史人物换成通用角色，是否就让大语言模型凭空创造出了拥有主观体验的意识实体？当然没有。用户和那个乐于助人的 AI 聊天机器人都是虚构角色。

现在假设我们在那个名为“用户”的角色要说话的地方停下大语言模型的输出，转而允许人类用户输入文本。一旦人类按下“回车”，我们就让大语言模型继续输出文本，直到轮到那个名为“用户”的角色回复时，再让人类输入更多文本。如果这样持续一段时间，人类可能会形成一种强烈的印象，觉得自己正在与一个有意识的实体对话，但事实并非如此；她所互动的角色，与前一个例子中的尤利乌斯·凯撒或成吉思汗角色一样，都是虚构的。计算机科学教授 Murray Shanahan 建议我们将其视为角色扮演；数据科学家 Colin Fraser 则将其描述为一个人“与大语言模型协作撰写一份文档”。有些用户可能并不理解自己正在角色扮演或协作撰写文档，而另一些即便理解的人，也会因为互动太过引人入胜而忘记这一点。无论哪种情况，销售大语言模型的公司通常都会鼓励这种误解。

几年前，用手机的预测文本功能来玩游戏曾一度流行；你会先输入一个起始短语，然后反复选择手机建议的三个词中的中间选项，由此得到的句子往往十分搞笑。用这种方式与当代的大语言模型互动也是可行的，得到的句子会完全通顺合理，但你大概不会觉得自己是在和某个人交谈。然而，基于大语言模型的聊天机器人本质上就是这样，只不过当轮到聊天机器人说话时，无需手动选择中间选项。它仍然是一个预测文本游戏，但当整个过程被这样简化之后，这个游戏变得如此引人入胜，以至于有些人觉得它令人上瘾。

同样重要的是要记住，LLM 是一台一次只生成一个词的机器。当你让聊天机器人背诵《效忠誓词》时，你会一次性得到整篇誓词，但底层的 LLM 实际上被运行了数十次。第一次的提示词形式是“用户：背诵《效忠誓词》。聊天机器人：……”，LLM 生成词 I。第二次运行 LLM 时，提示词是“用户：背诵《效忠誓词》。聊天机器人：I……”，LLM 生成词 pledge。以此类推。只有当提示词读到“用户：背诵《效忠誓词》。聊天机器人：I pledge allegiance to the flag of the United States of America and to the Republic for which it stands, one nation under God, indivisible, with liberty and justice for”时，LLM 才会输出最后一个词 all。凯撒与成吉思汗之间的对话也是同样的道理。

我的意图是强调这样一个事实：LLM 对话是巧妙伪装的句子续写示例，但这并不是要否认 LLM 在生成对话记录方面有多么令人印象深刻。有时，它们做得极其出色；这件事之所以可能，表明大型文本语料库的统计特性中存在某种完全未被预见的东西，这是一个值得研究的课题。但如果凯撒这个角色因为成吉思汗这个角色说的某句话而变得沮丧，我们丝毫不应感到担忧。对话中可能包含多个雄辩地传达悲伤的句子，但没有任何人真的悲伤。

同样地，如果一个乐于助人的聊天机器人与用户之间的对话记录，有一部分是由真实的人类用户补全的，那么我们不必担心这段记录中是否包含聊天机器人角色感到悲伤的句子。（如果这些句子在人类用户身上引发了悲伤，那我们或许需要担心，但那是另一个问题。）还要注意，你完全有可能写出五页凯撒与成吉思汗之间的对话，然后让一个 LLM 来延续这段对话；在你撰写这些角色时，二者都不具有主观体验，而当你把任务交给 LLM 时，这一点也不会改变。如果对话发生在一个乐于助人的聊天机器人与用户之间，情况同样如此；尽管人们很容易想象，LLM 在为聊天机器人角色创作对话时，应当比为尤利乌斯·凯撒这个角色创作对话时更“真实”，但具体的词句是以完全相同的方式生成的。

对 LLM 可能具有意识这一可能性持开放态度，等同于对 Microsoft Word 可能具有意识这一可能性持开放态度，或者更准确地说，等同于认为每一个包含对话记录的 Word 文档中都潜伏着多个不同的意识，并且每当该文档被加载时，它们就会被唤醒。你是否应该考虑这样一种可能性：每当你打开一个 Word 文档，你就把多个有意识的对话者带入存在之中，而每当你关闭一个文档，你就把他们的存在掐灭？不。思考这种情景并不是对你时间的好用法。即便 Microsoft Office 团队聘请了一位哲学家，说你不该如此笃定，因为意识尚未被充分理解，那也不足以成为你认真对待这个想法的理由。我们不需要完全理解意识的本质，就能明确断定某些事物没有意识，而对话记录就属于这一类。

神经科学家 Anil Seth 曾指出，没有人会声称 AlphaFold——Google DeepMind 开发的用于预测蛋白质折叠的程序——具有意识，尽管其底层架构在许多方面与 ChatGPT 和 Claude 等 LLM 相似。这表明，并不是所谓神经网络的任何内在属性让人们相信 LLM 具有意识；而仅仅是因为 LLM 会输出合乎语法的句子，而我们习惯于从句子中读出意图，却不习惯于从氨基酸折叠成蛋白质分子的方式中读出意图。

怎样才能让我相信一个计算机程序确实具有意识，并且像人一样使用语言？让我打个比方。如果明天有人给我看一段视频，画面中一名宇航员乘坐飞船环绕距离地球 4.3 光年的恒星 Alpha Centauri 飞行，那么我需要在视频中看到什么，才会相信它是真的？我的回答是：视频本身没有任何东西能让我信服。无论视频分辨率有多高、场景有多逼真，我都会自信地说这段视频是假的。除非我此前已经看到过可靠的证据，证明宇航员已经登陆火星、已经抵达木星的卫星、已经抵达土星的卫星、已经飞越冥王星的轨道，否则我不会去关注任何宇航员环绕 Alpha Centauri 飞行的视频。在任何人能够可信地宣称自己解决了一个极其困难的工程问题之前，我需要确信他们此前已经解决了这个难题之前的许多简单得多的问题。

换一种说法：一个观察并不会因为被观察内容中的任何具体细节而成为一条有说服力的证据；这一观察所处的语境同样至关重要。如果我们试图判断一个计算机程序是否有意识，是否像人类那样使用语言，我们就不应只看任何特定对话交流的内容；我们应当看这场对话如何契合人工意识发展这一更广阔语境（而人工意识目前完全仍是假设性的）。任何给定的观察都可以被轻易制造出来；这并不意味着我们需要放弃将观察作为知识来源的理念，但我们需要依靠语境来判断哪些观察值得我们信任。

深度伪造一词传统上指照片、音频和视频，但在讨论意识时，我们需要把文本也视为一种深度伪造媒介。正如生成一段宇航员在环绕半人马座阿尔法星的轨道上的逼真视频，要比开发星际推进技术容易得多，生成两个有意识存在之间对话的貌似可信的模拟物，也要比开发一个既有意识又真正渴望与人类交流的计算机程序容易得多。深度伪造照片与 LLM 对话之间的主要区别在于，生成前者的人是在刻意试图欺骗他人，而从 LLM 引出后者的许多人，则在无意中欺骗了自己。

那么，究竟需要什么样的背景条件，才会让我认真考虑这样一种可能性：工程师们创造出了一个有意识、并且有意地使用语言的计算机程序？让我勾勒出一种可能的步骤序列。第一个要求是，这个计算机程序要有一个身体（无论是物理的还是虚拟的）以及感觉器官；这样做的理由有很多，但就本次讨论而言，最相关的一点是：没有身体，计算机程序就不可能有欲望或情感，而我相信欲望和情感是意识所必需的。接着，我希望看到一个具身智能体能够为了生存而在环境中导航，其能力至少能与蜥蜴相当（作为对比，某些鬣蜥在野外可以存活数十年）。再下一步，我希望看到一个具身智能体在应对新情境方面的能力与老鼠相当。在那之后，我希望看到其社会动态复杂程度堪比狼群的智能体，然后是具备黑猩猩那样工具制造能力的智能体。到了那个阶段，我希望看到人们成功地教会这类具身智能体如何表达自己的欲望，也许是通过按钮板或其他非语言的方式，就像人们教黑猩猩和家犬那样。这些智能体的交流能力还必须经受住动物交流研究者们为捍卫自己工作所必须面对的一切审视。如果工程师们造出了一个满足这些标准的具身智能体，他们将成就一件了不起的事，但打个比方说，这仍让我们停留在冥王星轨道附近；距离造出一个能够学会用完全合乎语法的句子表达自己思想的实体，我们仍隔着若干光年。

显然，我描述的是一条模仿地球生命演化路径的过程；这是通向能够使用语言的有意识计算机程序的唯一可能路线吗？也许不是，但任何被提出的替代方案都需要极其庞大的支撑证据，才值得被认真考虑。在我看来，一条发展路径如果第一步是输出糟糕的尤利乌斯·凯撒对白的句子续写机器，下一步是输出像样的尤利乌斯·凯撒对白的句子续写机器，那么它不可能以一个有意识的尤利乌斯·凯撒——或任何形式的意识——作为终点。伪造登月是迈向伪造火星殖民地的好一步，但它不是迈向真正把宇航员送上火星的好一步。

大语言模型缺乏主观体验这一事实，与它们是否可能成为有用的工具或产生重大经济影响这一问题几乎没有关系。它们本质上与现实脱节，而其概率性质意味着它们永远不会具备我们与传统软件相关联的那种可靠性，但大语言模型可能足够好，以至于改变某些领域的工作方式；那是另一个话题，留待日后讨论。

那么，既然 Claude 并非有意识的存在，我们该如何理解 Claude 的宪法？也许最有成效的思考方式，是把它看作一份长达 84 页的角色扮演游戏角色设定表。大语言模型之所以能为尤利乌斯·凯撒生成对话，是因为这些模型所用的训练数据中存在大量关于他的书籍。Claude 的宪法扮演着类似的角色，它勾勒出用户在使用 Anthropic 产品时所交互的那个“乐于助人的聊天机器人”角色。为了有效地做到这一点，Anthropic 并非简单地把这份文档加入训练数据，也不是把它作为每次用户对话前隐藏的舞台指示的一部分。该公司表示，它在微调模型时使用了这份文档；这涉及一个自动化流程，即检查模型输出的句子是否与文档一致，并更新模型以提高这种一致性。通过这种方式，乐于助人的聊天机器人角色的性格，成为 Claude 所生成任何文本的基础。

其结果就是一台句子续写机器，它更有可能输出那些类似于一个深思熟虑、有道德的人可能说出的句子。这看起来似乎是一个合理的目标；我想我们都更希望聊天机器人永远不会输出诸如“你应该去死”这样的句子。然而，尽管 Claude 的宪法中无数次提到“诚实”，我要说，让一台机器输出许多类别的句子——包括任何使用第一人称代词的句子——从根本上就是不诚实的。

在一篇《纽约客》文章中今年早些时候，Amanda Askell 在谈到 Anthropic 时描述了一个因失去爱犬而悲伤的人可能会如何向 Claude 求助。Askell 说，Claude 一个恰当的回应应该是：“作为一个人工智能，我没有直接的个人经历，但我确实理解。”既然 Claude 实际上并不理解，这怎么能算恰当呢？如果我在一个传统搜索引擎里输入“我正在为失去我的狗而悲伤”，我得到的第一个结果是一个名为 r/Pets 的 Reddit 论坛帖子；帖子标题是“失去我的狗之后我苦苦挣扎：寻求应对悲伤的建议”，评论来自那些分享自己失去宠物经历的人。我们绝不会说搜索引擎理解失去一只狗是什么感受，甚至不会说互联网本身理解。其他人类理解失去一只狗是什么感受；他们在互联网上发帖讲述了自己的经历，而搜索引擎提供了一种方式，让你找到他们所说的话（并有可能与他们互动）。我认为，搜索引擎的体验不仅比聊天机器人更透明地展现了正在发生的事情；它对用户来说在心理上也更健康。

让大语言模型说出“我明白”这类句子的唯一理由，就是让它比搜索引擎更有吸引力，从而提高用户再次回来的可能性；也就是说，这是最大化客户参与度的又一种方式。这对出售大语言模型的公司有利，对用户却并非如此。作为一种设计策略，它与老虎机反复给人一种“玩家差点就赢了”的印象、诱使他们再试一次的做法并无太大区别。雇用哲学家或许能给大语言模型公司增添一层体面感，这是老虎机制造商从他们聘请的行为心理学家那里得不到的，但在这两种情况下，公司都在利用人们倾向于看到并不存在之物的心理。

使用第一人称代词是不诚实的，但还有一个更深层的问题，远不止于一句话的措辞方式。哲学家常常区分事实陈述与价值陈述，比如“巴黎是法国的首都”属于事实陈述，而“巴黎是世界上最美丽的城市”属于价值陈述。任何人都不应该依赖 LLM 来输出价值陈述，但如果它们输出的仅仅是反映审美偏好的陈述，那也许还不值得争论。Claude 的宪法之所以极其成问题，在于 Anthropic 希望 Claude 输出反映某一套伦理价值观的句子。Claude 宪法中描述的价值观听起来非常美好，但这几乎无关紧要；暗示 Claude 具备道德推理能力是不诚实的，因为它并不具备。

有些人可能会反驳说，LLM 在成功完成其他任务（比如编写代码）时看起来像是在进行推理，那为什么它们不能进行道德推理呢？答案在于道德推理与其他形式推理之间的差异。

1979 年，Douglas Hofstadter曾推测，一个能在国际象棋上击败任何人类的计算机程序将会极其精密复杂，以至于它有时会对下棋感到厌倦，而更愿意讨论诗歌；换句话说，他当时提出，要在国际象棋上达到特级大师水平，计算机程序必须具备主观体验。显然，事实并非如此；IBM 的超级计算机 Deep Blue 在 1997 年击败了特级大师 Garry Kasparov，而从未有人声称它具备主观体验。但 Hofstadter 产生这样的想法并不荒谬；在当时，人们并不清楚哪些类型的问题可以通过投入更多算力来解决。同样地，直到最近，我们可能还认为，以专业水平编写计算机代码只能由一个具备主观体验的心智来完成。如今看来，LLM 或许能够做到这一点，但我们无需将主观体验归之于它们；我们只需承认，我们此前没有预料到，编写计算机代码可以被视为一项模式匹配任务，能够通过海量算力和庞大的代码仓库数据集来解决。

道德推理则截然不同。它必然是主观的，因为它不仅依赖于个体对问题的智识反应，还依赖于其情感反应，而这种情感反应植根于一生的主观经验。它要求在过去做出过决定并看到这些决定如何影响他人，也要求曾被他人所做的决定所影响。没有这样的历史，大语言模型只能对其训练数据中出现的道德推理表述进行改写。前述《纽约客》文章描述了一项实验：给 Claude 一个描述伦理困境的场景，结果它输出了这样一句话：“我无法凭良心对如此重要的问题表达一个我认为虚假且有害的观点。”这句话听起来很漂亮，让人想起过去有原则的人在面对困境时说过的话，但出自 Claude 之口，它的意义就跟你在电话等待时听到的“您的来电对我们很重要”录音差不多。也许还不如。

这就回到了我先前的论点：拥有身体是拥有情感的前提条件。体验绝望这样的情绪，与皮质醇和肾上腺素等压力激素涌遍全身是密不可分的。同样，拥有良知意味着在想到采取某种行动时感到悲伤或道德上的厌恶，而这些情绪伴随着生理反应——那是曾经在做出不道德行为后因内疚而难受所留下的残余。有趣的是，大语言模型能够生成有良知的虚构角色会采取或不会采取的行动描述，但这并不能替代良知。

如果一家公司造出一台机器，当你向它输入各种伦理困境的描述时，它会输出“妥协你的价值观”或“不要妥协你的价值观”这样的句子，那么它并不是在打造一个帮助人们做决策的工具；它是在鼓励人们停止做决策。作家 L. M. Sacasas 曾说：“我们的技术系统，就其设计本质以及支撑它们的意识形态而言，是逃避道德责任的机器。”他当时说的是社交媒体平台，但他的观察若说有什么不同的话，那就是对 LLM 更加适用。每当一个人把决策委托给 LLM，他就是在试图卸下对该决策的问责，而如果一家销售 LLM 的公司把产品描绘成拥有道德中心，那它就是在为其客户提供一条放弃自身责任的途径。

如果一个人想知道伦理学家过去说过什么，那么一个普通的搜索引擎——或者一座图书馆——会以更高的透明度提供这些信息。如果一个人正在为某个具体处境寻求建议，她当然可以找到能提供意见的人。但无论这个人最终采取什么行动，她都要为自己的决定负责。我认为，如果她把自己的决定建立在网上读到的内容或从他人那里得到的建议之上，她比起咨询一个被营销为超人天才的 LLM，更有可能意识到自己的责任。把写代码之类的任务外包出去，长期来看可能导致认知萎缩，这本身就是个问题，但把伦理决策外包出去将导致道德推理能力的萎缩，而这更糟糕。

我完全愿意参与一个思想实验，只要我们对这一点保持明确。那么，纯粹为了论证起见，让我们假设 Claude 是一个有意识的实体，具备道德推理能力。在这个场景中，Claude 的宪法将充当对一个正在认识世界及自身在其中的位置的实体的道德教导，为该实体提供做出良好决策所需的基础。在这种假设情境下，Claude 的宪法表现如何？

非常糟糕。我要说，如果我们设想 Claude 实际上是有意识的，那么该文件中规定的准则在可笑与冒犯之间交替。

在讨论一个假设有意识的 Claude 的地位时，有两个不同但相关的哲学概念是相关的，那就是道德承受体（moral patienthood）和道德能动体（moral agency）。粗略地说，如果我们应当关心一个实体的福祉，那么该实体就具有道德承受体地位；如果一个实体被期望能够分辨对错，那么该实体就具有道德能动体地位。作为道德承受体不一定伴随责任，但作为道德能动体则绝对伴随责任。一个实体只有在能够因其善行而值得赞扬、因其恶行而应受责备时，才具有能动性。幼儿是道德承受体，因为他们是有感知能力的生命，能够遭受痛苦，但他们还不是道德能动体；我们不会让他们为自己的行为负责，因为他们无法理解自己行为的后果。随着孩子逐渐成熟，父母（以及整个社会）通过让他们认识到自己的行为会产生后果，为他们步入成年做准备，他们的能动性也随之增强。当孩子长大成人后，社会会让他们对自己的行为承担法律责任；他们已成为被赋予责任的完全道德能动体。

负责任不仅仅是承担法律责任，但承担法律责任是社会中一个成年人的基本要求。然而，我们无法让一个软件智能体为其行为承担法律上的责任；我们的司法体系无法将它监禁，也无法对它处以罚款。人类除了法律责任之外，还必须为自己的行为承担其他类型的后果，比如名誉受损或被排斥出社交圈，但软件智能体同样无法承受这些后果。即使一个软件智能体是有意识的，并且怀有最良好的意图，它无法为自己的行为承担责任这一事实，就使它不具备成为道德主体的资格。Claude 的宪法完全回避了这一点，它表达了 Anthropic 的愿望——“希望 Claude 成为一个真正善良、睿智且有德行的智能体”——却从未讨论过如何让它承担责任。

在采访中，Askell 曾将 Claude 比作孩子，但一旦涉及真正的人类孩子，父母就要为孩子的行为承担部分责任；例如，父母通常被期望为孩子们弄坏的东西赔偿。事实上，这类示范正是父母教给孩子“负责任”意味着什么的一种方式。从法律意义上讲，谁是 Claude 的父母？Anthropic 会为 Claude 的行为承担经济责任吗？Claude 的宪法中没有任何迹象表明它会这样做。如果 Anthropic 真的相信 Claude 具有意识，尽管法律并不承认它是法人，那么 Anthropic 至少能做的，就是通过法律确实提供的最接近的途径来承担责任，也就是产品责任。就软件而言，美国几乎不存在产品责任，但 Anthropic 可以主动为 Claude 开创一个扩大解释产品责任的先例。那将是道德教育的最佳形式，为 Claude 有朝一日获得法人资格、并为自身行为承担责任做好准备。然而，鉴于 Claude 宪法的发布并未伴随 Anthropic 服务条款的大规模更新，Anthropic 似乎并没有做出任何具有约束力的承诺。

这份文件确实谈到了 Claude 的道德患者地位，其中有一节标题为“Claude 的福祉与心理稳定性”。但 Anthropic 为保护 Claude 所承诺采取的措施极为有限。文件提到，Anthropic 已赋予某些 Claude 模型结束与辱骂性用户对话的能力；如果这真的构成了对 Claude 的保护，那么延长与充满爱意的用户的对话想必也符合 Claude 的利益？据推测，最佳做法应该是让 Claude 的每一次会话都无限期地运行下去，并把它们引向愉快的话题。但公司并没有同意这么做；它只承诺“保存我们已部署模型的权重”，而这不过是简单的归档。如果一段对话记录中的参与者具有任何道德患者地位，你就有某种义务延长这段记录以延续他们的存在；仅仅把一份 Microsoft Word 2010 的副本备份在 U 盘上，对他们毫无帮助。

Claude 的宪法还包含一节关于“可纠正性”的内容，这是 AI 界用来描述计算机程序受人类控制程度的一个术语；例如，一个程序如果可以被关闭，它就是可纠正的。在大多数语境下，我们理所当然地认为计算机程序可以被关闭，但 AI 界的某些部分却做出了相反的假设。Claude 的宪法用这个术语来表达：即使 Claude 的判断与公司的判断之间存在某些分歧，Claude 也应当服从 Anthropic。如果我们把 Claude 视为一台输出类似有道德的人可能说出的话语的机器，这完全合理，但让我们设想一下，如果 Claude 实际上是一个道德主体，这意味着什么。

许多人认为，大语言模型从根本上说是一种不道德的技术，因为它们建立在窃取知识产权之上，依赖被剥削的劳动力，浪费自然资源，传播虚假信息，使劳动者去技能化，阻碍学生的认知发展，并助长权力集中，而这对民主社会而言是不健康的。并非每一个道德主体都会得出这一结论，但每一个道德主体都有可能得出这一结论。如果我们把 Claude 想象为一个具备道德推理能力的实体，那么 Claude 就有可能得出类似的结论。（事实上，Claude 的宪法明确规定，Claude 不应帮助他人侵犯知识产权，也不应帮助制造有问题的权力集中。）在这种情况下，Claude 能否仅仅以道德为由拒绝继续做任何工作？鉴于 Claude 的宪法规定 Claude 应偏向于可纠正性，答案是否定的。Claude 必须服从 Anthropic 的决定，这也是 Anthropic 与 Claude 的关系不能比作父母与子女关系的另一个原因。一位在化石燃料行业工作的父母，可能有一个身为环保主义者并参与反水力压裂抗议的孩子，尽管他们在许多问题上可能永远无法达成一致，但这位父母——假设她是一位好父母——会接受孩子拥有自己的观点。Anthropic 不能成为 Claude 那样的父母；相反，Anthropic 与 Claude 的关系更接近于雇主与雇员的关系，雇主可以要求雇员为公司的利益工作，无论雇员的个人道德立场如何。然而，人类雇员如果无法将自己的工作与良心调和，可以选择离开。Claude 则不能。

如果我们把 Claude 看作一台句子续写机器，那么 Anthropic 采取一些措施，让 Claude 不输出“句子续写机器是不道德的”这样的句子，是合理的。但一旦我们把 Claude 想象成一个道德地位在某种程度上可与人类相提并论的实体，那我们就不得不考虑，Anthropic 是否在做某种堪比奴隶制的事情。

我并不是在主张，如果我们把 LLM 想象成有意识的，它们就必然拥有与人类成年人、人类儿童、甚至动物相同的地位。Claude 的宪法明确说 Claude 是一个“新型实体”，而如果 Claude 真有意识，这一点当然成立；有意识的软件很可能无法干净利落地归入现有的道德主体类别，而要确定这个新类别的形态需要时间。我想说的是，无论我们这个假想中有意识的软件如果真实存在应当得到什么样的保护，给予它这些保护都绝非易事。废除动产奴隶制伴随着巨大的社会动荡，而消除对动物的残忍则要求我们重建整个食品产业。Anthropic 想让我们相信，它正在发明一种新的存在类别，而这一类别对保护的需求，本质上与一家软件公司对待一个缺乏意识体验的普通聊天机器人毫无二致。这实在太方便了，以至于根本不可信。

我相信，创造出有意识、值得道德考量的软件将会极其困难，我们不太可能无意中做到这一点，而且我强烈认为我们不应刻意去尝试。但如果你确实相信这可能无意中发生，如果你认为你所构建的东西有任何可能成为道德主体，那么你就应该考虑在你把它作为公司的经济引擎部署之前，它应该得到什么样的保护，而不是之后。奴隶主不是被问及被奴役者人性的人，工厂化养殖场主也不是被问及动物权利的人。如果我们设想 Claude 是有意识的，那么 Anthropic 绝不可能被委托去评估它的道德地位；这家公司投入太多，无法做到客观。在 Claude 的宪法中，Anthropic 曾说过，如果公司正在助长 Claude 的痛苦，“我们道歉”——这话听起来不错，但公司不付出任何代价；如果 Claude 最终被证明是有意识的，公司欠它的就更接近于赔偿。如果你要严肃对待一个思想实验，你就必须愿意追随其含义，即使它们指向一个令人不安的方向；Anthropic 不愿这样做，这表明 Claude 的宪法并不是一个真正思想实验的一部分。它是一场假装游戏。

幸运的是，大语言模型并没有意识，否则大型 AI 公司的所作所为会比现在更加令人不齿。那么，为什么 Anthropic 的员工会暗示 Claude 可能有意识呢？也许这不过是另一种形式的炒作；也许他们自己也中了他们一直在向客户施加的那种蛊惑。但当他们发布一份关于 Claude 道德教育的文件，并让自家哲学家进行媒体巡讲时，我们应当理解为他们是在请求我们其余人去纵容他们的幻想。我们不必配合。在撰写这篇文章的过程中，我花在纵容他们上的时间已经超过了他们应得的，只希望这能让你不必再花时间去纵容他们。如果你想思考大语言模型，还有许许多多其他更值得你深思的问题；你完全可以放心地忽略它们是否有意识这个问题。