原文：Hicks, M.T., Humphries, J. & Slater, J. ChatGPT is bullshit. Ethics Inf Technol 26, 38 (2024).

作者：Michael Townsen Hicks, James Humphries & Joe Slater

授权协议：Creative Commons Attribution 4.0 International License

翻译：gemini-2.0-flash，有初步校对。

摘要

最近，人们对大型语言模型产生了相当大的兴趣：这些机器学习系统能够生成类似人类的文本和对话。这些系统的应用一直受到其输出中持续存在的不准确性困扰；这些不准确性通常被称为“AI 幻觉”。我们认为，这些虚假信息以及大型语言模型的整体活动，最好被理解为 胡说八道，正如法兰克福（《论胡说八道》，普林斯顿出版社，2005）所探讨的那样：这些模型在很大程度上对它们的输出的真实性漠不关心。我们区分了模型可以被认为是胡说八道的两种方式，并认为它们至少符合这些定义中的一种。我们进一步认为，将 AI 错误陈述描述为胡说八道，是一种更有效且更准确的预测和讨论这些系统行为的方式。

引言

大型语言模型 (LLM)，即使用大量可用文本和概率计算来创建看似由人类生成的写作的程序，在过去几年中变得越来越复杂和具有说服力，以至于一些评论员认为我们可能正在接近创造通用人工智能（参见例如 Knight，2023 和 Sarkar，2023）。除了对天网崛起的担忧以及使用 ChatGPT 等 LLM 来取代可以且应该由人类完成的工作之外，另一个研究方向关注的是这些程序到底在做什么：特别是，存在一个关于产生的文本的性质和意义，以及其与真理的联系的问题。在本文中，我们反对这样一种观点，即当 ChatGPT 等程序产生虚假声明时，它们是在撒谎甚至产生幻觉，而支持这样一种观点，即它们所从事的活动是胡说八道，正如法兰克福所定义的（Frankfurt，2002，2005）。由于这些程序本身无法关注真理，并且由于它们被设计成产生 看起来 与真理相关的文本，而实际上并不关心真理，因此称它们的输出为胡说八道似乎是恰当的。

我们认为这值得关注。对新技术的描述，包括隐喻性的描述，会引导政策制定者和公众对新技术的理解；它们也会告知新技术的应用。它们告诉我们这项技术是做什么用的，以及可以期望它做什么。目前，ChatGPT 和其他大型语言模型的虚假陈述被描述为“幻觉”，这给政策制定者和公众一种印象，即这些系统在错误地描述世界，并描述它们“看到”的东西。我们认为这是一种不恰当的隐喻，会误导公众、政策制定者和其他相关方。

本文的结构如下：在第一部分中，我们概述了 ChatGPT 和类似 LLM 的运作方式。接下来，我们考虑这样一种观点，即当它们犯事实性错误时，它们是在撒谎或产生幻觉：也就是说，故意说出虚假信息，或者在误导性输入信息的基础上无责地陈述它们。我们认为，这两种思考方式都不准确，因为撒谎和产生幻觉都需要对陈述的真实性有所关注，而 LLM 的设计目的根本不是准确地表示世界，而是 给人留下这样的印象。我们认为，这非常接近法兰克福谈论胡说八道的一种方式。我们区分了两种胡说八道，我们称之为“硬胡说八道”和“软胡说八道”，前者需要积极试图欺骗读者或听众，使其相信该事业的性质，而后者只需要不关心真理。我们认为，至少，ChatGPT 等 LLM 的输出是软胡说八道：胡说八道——也就是说，在不关心其真实性的情况下产生的言语或文本——是在不打算误导听众关于说话者对真理的态度的情况下产生的。我们还提出，更具争议的是，ChatGPT 确实可能会产生硬胡说八道：如果我们认为它有意图（例如，根据它的设计方式），那么它被设计成给人以关注真理的印象这一事实，使其有资格试图误导听众关于其目标、目的或议程。因此，考虑到 ChatGPT 输出的特定类型胡说八道取决于对思想或意义的特定观点，我们得出结论，将 ChatGPT 生成的文本称为胡说八道是恰当的，并指出为什么——与其认为其不真实的声明是谎言或幻觉——我们应该揭穿 ChatGPT 的胡说八道。

什么是 ChatGPT？

大型语言模型越来越擅长进行令人信服的对话。最突出的大型语言模型是 OpenAI 的 ChatGPT，所以我们将重点关注它；然而，我们所说的也适用于其他基于神经网络的 AI 聊天机器人，包括 Google 的 Bard 聊天机器人、AnthropicAI 的 Claude (claude.ai) 和 Meta 的 LLaMa。尽管这些模型仅仅是复杂的软件，但在讨论各种各样的主题时，它们却出奇地像人类。自己测试一下：任何人都可以访问 OpenAI 的 Web 界面并索取大量文本；通常，它产生的文本与普通英语使用者或作者的文本没有什么区别。GPT-4 能够生成的多样性、长度和与人类生成文本的相似性，已经说服了许多评论员认为这个聊天机器人终于成功了：这是真正的（而不是名义上的）人工智能，离人类大脑装在硅脑中的人类思维更近了一步。

然而，大型语言模型，以及像 ChatGPT 这样的其他 AI 模型，所做的事情远少于人类大脑所做的事情，而且它们是否以与我们相同的方式做事尚不清楚。LLM 和人类思维之间最明显的区别在于系统的 目标。人类有各种各样的目标和行为，其中大多数是超语言的：我们有基本的生理需求，例如食物和营养；我们有社会目标和关系；我们有项目；我们创造实物。大型语言模型只是旨在复制人类的言语或写作。这意味着它们的主要目标，如果它们有目标的话，是产生类似人类的文本。它们通过估计给定之前的文本，特定单词出现在下一个位置的可能性来实现这一点。

机器通过构建一个庞大的统计模型来实现这一点，该模型基于大量文本，主要来自互联网。这样做时，来自人类研究人员或系统设计者的输入相对较少；相反，该模型是通过构建大量节点来设计的，这些节点充当一个单词出现在文本中给定其上下文和之前的文本的概率函数。研究人员没有手动输入这些概率函数，而是向系统提供大量文本，并通过让它对这些训练数据进行下一个单词预测来训练它。然后，他们根据它是否正确预测来给它正面或负面反馈。给定足够的文本，机器可以单独构建一个统计模型，给出文本块中下一个单词的可能性。

该模型将每个单词与一个向量相关联，该向量将其定位在一个高维抽象空间中，靠近出现在类似上下文中的其他单词，远离那些没有出现在类似上下文中的单词。在生成文本时，它会查看之前的单词字符串并构造一个不同的向量，将单词的周围环境——它的上下文——定位在出现在类似单词上下文中的单词附近。我们可以启发式地将这些向量视为表示单词的含义及其上下文的内容。但是由于这些空间是通过机器学习，通过对大量文本的重复统计分析来构建的，因此我们无法知道这种高维向量空间的维度所代表的相似性类型。因此，我们不知道它们与我们所认为的含义或上下文有多相似。然后，该模型采用这两个向量并生成一组下一个单词的可能性；它选择并放置其中一个更可能的单词——尽管并不总是最可能的单词。允许模型在更可能的单词中随机选择会产生更具创造性和类似人类的文本；控制此参数的参数称为模型的“温度”，增加模型的温度使其看起来更具创造性，也更可能产生虚假信息。然后，系统重复此过程，直到它对给定的任何提示都有一个可识别的、看起来完整的响应。

鉴于这个过程，LLM 在真理方面存在问题并不奇怪。他们的目标是提供一个看起来正常的提示响应，而不是传达对其对话者有帮助的信息。这方面的例子已经很多了，例如，一位律师最近使用 ChatGPT 准备了他的摘要，并懊恼地发现，所引用的案例大多不是真实的（Weiser，2023）；正如法官 P. Kevin Castel 所说，ChatGPT 生成的文本充满了“虚假的司法判决，带有虚假的引言和虚假的内部引用”。同样，当计算机科学研究人员测试 ChatGPT 在学术写作中提供帮助的能力时，他们发现，如果给予正确的提示，它可以生成关于生物学主题的令人惊讶的全面甚至有时准确的文本。但是当被要求提供其主张的证据时，“它提供了五个可以追溯到 2000 年代初的参考文献。所提供的论文标题都不存在，并且所有提供的 PubMed ID (PMID) 都是不同的不相关论文”（Alkaissi 和 McFarland，2023）。这些错误可能会“滚雪球”：当语言模型被要求提供对虚假声明的证据或更深入的解释时，它很少检查自己；相反，它自信地生成更多虚假但听起来正常的声明（Zhang 等人，2023）。LLM 和其他生成式 AI 的准确性问题通常被称为“AI 幻觉”问题：聊天机器人似乎在幻想着不存在的来源和事实。这些不准确性在技术（OpenAI，2023）和流行语境（Weise & Metz，2023）中都被称为“幻觉”。

如果聊天机器人的唯一目的是模仿人类的言语或交流，那么这些错误就很小。但是，设计和使用这些机器人的公司有更大的计划：聊天机器人可以用更友好的对话界面取代 Google 或 Bing 搜索（Shah & Bender，2022；Zhu 等人，2023），或者在医疗环境中协助医生或治疗师（Lysandrou，2023）。在这些情况下，准确性很重要，这些错误代表着一个严重的问题。

一种尝试的解决方案是将聊天机器人连接到某种数据库、搜索引擎或计算程序，这些程序可以回答 LLM 犯的错误问题（Zhu 等人，2023）。不幸的是，这也不是很有效。例如，当 ChatGPT 连接到强大的数学软件 Wolfram Alpha 时，它在回答简单的数学问题方面有适度的提高。但是，对于需要多阶段思考的问题，它仍然经常出错（Davis & Aaronson，2023）。并且当连接到搜索引擎或其他数据库时，除非给出非常具体的说明，否则这些模型仍然很可能提供虚假信息——即使这样，情况也不完美（Lysandrou，2023）。OpenAI 计划通过训练模型逐步进行推理来纠正这一点（Lightman 等人，2023），但这非常耗费资源，并且有理由怀疑它是否会完全解决问题——也不清楚结果是否会是一个大型语言模型，而是一种更广泛的 AI 形式。

诸如将 LLM 连接到数据库之类的解决方案不起作用，因为如果模型 在 数据库上 训练，那么数据库中的单词会影响聊天机器人将一个或另一个单词添加到它生成的文本行的可能性。但这只会使其产生与数据库中的文本相似的文本；这样做会使其更可能重现数据库中的信息，但绝不能确保它会这样做。

另一方面，LLM 也可以通过允许它咨询数据库来连接到数据库，这类似于它咨询或与人类对话者对话的方式。这样，它可以将数据库的输出用作它响应和构建的文本。以下是一种可行的方式：当人类对话者向语言模型提出问题时，它可以将问题转换为数据库的查询。然后，它将数据库的响应作为输入，并从中构建一个文本以提供给人类提问者。但这也会出错，因为聊天机器人可能会向数据库提出错误的问题，或者错误地解释其答案（Davis & Aaronson，2023）。“GPT-4 经常难以以 Wolfram Alpha 可以接受或产生有用输出的方式表达问题。”这与语言模型为数据库或计算模块生成查询的方式有关，它以与为人类生成文本相同的方式进行：通过估计某些输出“看起来像”数据库将对应的东西的可能性。

有人可能会担心，这些改进聊天机器人准确性的失败方法与 AI 幻觉的不恰当隐喻有关。如果 AI 误解 或 幻想着 来源，一种纠正方法是让它接触真实而非幻觉来源。但是这样做的尝试失败了。

这里的问题不是大型语言模型以某种方式产生幻觉、撒谎或歪曲世界。而是它们根本不是为表示世界而设计的；相反，它们旨在传达令人信服的文本行。因此，当它们被提供某种数据库时，它们会以一种或另一种方式使用它来使其响应更具说服力。但是它们并没有真正试图传达或传输数据库中的信息。正如 Chirag Shah 和 Emily Bender 所说：“语言模型的设计（其训练任务是预测给定上下文的单词）中没有任何东西实际上是为处理算术、时间推理等而设计的。它们有时能够正确回答此类问题，仅仅是因为它们碰巧从其训练数据中合成了相关的字符串。不涉及任何推理 [……] 同样，语言模型容易编造东西 [……] 因为它们不是为以自然语言表达一些底层信息而设计的；它们只是在操纵语言的形式”（Shah & Bender，2022）。这些模型不是为传输信息而设计的，所以我们不应该对它们的断言结果是虚假的感到惊讶。

谎言、“幻觉”和胡说八道

法兰克福式胡说八道和撒谎

许多关于 ChatGPT 的流行讨论称其虚假陈述为“幻觉”。人们也可能认为这些不真实的信息是谎言。然而，我们认为这不是正确的思考方式。我们稍后会论证为什么这些虚假信息不是幻觉。现在，我们将讨论为什么这些不真实的信息不是谎言，而是胡说八道。

撒谎这个话题有丰富的哲学文献。“撒谎”中，圣奥古斯丁区分了七种类型的谎言，他的观点一生都在改变。在他生命的某个时刻，他捍卫这样一种观点，即任何故意说出虚假言论的情况都算作谎言，因此即使是包含虚假命题的笑话，例如——

我参加了一个双关语比赛，因为我真的很想赢，所以我提交了十个参赛作品。我确信其中一个会赢，但是十个参赛作品中没有一个是双关语。

——也会被视为谎言，因为我从未参加过这样的比赛（Proops & Sorensen，2023：3）。后来，这种观点被改进为只有当说话者打算让听者相信该言论时，说话者才撒谎。说话者必须打算欺骗是一种常见的撒谎文学作品中的规定。根据撒谎的“传统说法”：

撒谎 = df. 向另一个人发表一个相信为假的陈述，目的是让另一个人相信该陈述是真实的（Mahon，2015）。

就我们的目的而言，这个定义就足够了。谎言通常是不受欢迎的。但是，有些误导性证词是可以批评的，但并不属于撒谎的范畴。（注释 1）这些包括传播不真实的谣言，你错误地但应受谴责地认为这些谣言是真的。哲学家特别关注的另一类误导性证词是胡说八道。哈里·法兰克福分析了这个日常概念，并将其引入了哲学词汇。（注释 2）

法兰克福认为胡说八道的特征不是欺骗意图，而是对真相的肆意漠视。一个试图在没有阅读的情况下听起来知识渊博的学生，一个说一些对潜在选民听起来不错的事情的政治候选人，以及一个试图编造一个有趣故事的业余爱好者：这些人都没有试图欺骗，但他们也没有试图传达事实。对法兰克福来说，他们是在胡说八道。

像“谎言”一样，“胡说八道”既是一个名词也是一个动词：产生的言论可以是谎言或胡说八道，产生这些言论的行为也可以是。要将言论归类为胡说八道，它不能伴随撒谎时的明确意图，即在听者中造成虚假的信念。当然，它也不能伴随诚实言论所具有的意图。到目前为止，这个故事完全是消极的。说话者必须表现出任何积极的意图吗？

在法兰克福的大部分讨论中，他对胡说八道的描述都是消极的。他指出，胡说八道不需要说话者对真相是什么“有任何信念”（2005：55），胡说八道者“不关注”真相（2005：61），并且他们“可能不会欺骗我们，甚至无意这样做，无论是关于事实还是他认为的事实”（2005：54）。后来，他将胡说八道的“决定性特征”描述为“对真相的缺乏关注，或者对事物真实情况的漠不关心 [我们的重点]”（2002：340）。这些暗示了一个消极的画面；要将一个输出归类为胡说八道，它只需要缺乏与真相的某种关系。

然而，在某些地方，提出了一个积极的意图。法兰克福说，一个胡说八道者……。

“……必然试图欺骗我们的是他的事业。他唯一不可或缺的独特特征是，他在某种程度上错误地表示了他正在做什么”（2005：54）。

这有点令人惊讶。它将胡说八道的范围限制为伴随更高阶欺骗的言论。然而，法兰克福的一些例子似乎缺乏这个特征。当 Fania Pascal 向她的朋友维特根斯坦描述她不适的状态为“感觉像一只刚被车撞过的狗”时，认为她打算欺骗他，让他相信她对被车撞过的狗的感觉了解多少，这有点牵强。鉴于对胡说八道的条件的描述通常是消极的，我们可能会怀疑积极条件是否真的必要。

胡说八道区分

没有欺骗意图的言论应该算作胡说八道吗？支持扩大定义或接受胡说八道多元性的一种原因是法兰克福关于胡说八道危险性的评论。

“相比之下 [仅仅是难以理解的言论]，对真相的漠不关心是极其危险的。文明生活的进行，以及对其必不可少的制度的活力，在根本上取决于对真假之间区别的尊重。如果这种区别的权威因胡说八道的盛行以及对胡说八道的漫不经心的轻率态度而被破坏，认为胡说八道是无害的，那么一种不可或缺的人类财富就被浪费了”（2002：343）。

这些危险似乎体现在，无论是否存在欺骗说话者所从事事业的意图。将旨在误导我们相信自己从事真理事业的欺骗性胡说八道者，与没有这种目的，但只是为了说话而说话的人（不关心或根本不考虑其言论的真值）进行比较。

法兰克福的一个关于胡说八道的例子似乎更好地被更广泛的定义所捕捉。他考虑了广告业，广告业“充满了如此毫不掩饰的胡说八道，以至于它们可以作为这个概念最无可争议和经典的范例”（2005：22）。然而，将许多广告商描绘成旨在误导人们相信他们的议程，似乎是误解了他们。人们 期望 他们说一些误导性的事情。法兰克福讨论了万宝路广告，其中包含吸烟者和牛仔一样勇敢的信息（2002：341）。认为广告商假装相信这一点是合理的吗？

法兰克福确实允许存在多种胡说八道（2002：340）。（注释 3）根据这个建议，我们建议将胡说八道设想为一个属，并将法兰克福的有意的胡说八道视为该属中的一个物种。其他物种可能包括广告商产生的，他们预计没有人会相信他们的言论。（注释 4）或对误导听众与否没有意图的人。为此，请考虑以下区别：

胡说八道（一般）

说话者对言论的真实性漠不关心的任何言论。

硬胡说八道

产生的胡说八道，目的是误导听众关于说话者的议程。

软胡说八道

产生的胡说八道，没有误导听众关于说话者议程的意图。

一般胡说八道的概念很有用：在某些情况下，我们可能确信某个言论要么是软胡说八道，要么是硬胡说八道，但不清楚是哪一个，因为我们不了解说话者更高阶的欲望。（注释 5）在这种情况下，我们仍然可以揭穿胡说八道。

法兰克福自己明确的说法，带有关于生产者意图的积极要求，是硬胡说八道，而软胡说八道似乎描述了法兰克福的一些例子，例如帕斯卡与维特根斯坦的对话，或广告公司的工作。将这些区别置于现有文献中可能很有帮助。在我们的观点中，硬胡说八道与卡萨姆（2019）和法兰克福的积极说法最为一致，原因是所有这些观点都认为必须存在某种意图，而不仅仅是缺席，言论才能成为胡说八道：卡萨姆观点中的一种“认知上的无忧无虑”或对真相的恶意态度，以及（正如我们所见）法兰克福观点中旨在误导听众关于说话者议程的意图。在最后一节中，我们将考虑 ChatGPT 是否可能是一个硬胡说八道者，但重要的是要注意，在我们看来，硬胡说八道，就像这里引用的两种说法一样，需要人们对 LLM 是否可以成为代理人采取立场，因此会带来额外的论证负担。

相比之下，软胡说八道仅捕获法兰克福的消极要求——也就是说，我们已将其归类为胡说八道的定义性特征的对真相的漠不关心——原因如上所述。正如我们所论证的那样，ChatGPT 至少是一个软胡说八道者或胡说八道机器，因为如果它不是一个代理人，那么它既不能对真相持有任何态度，也不能对欺骗听众关于其（或者，也许更恰当地说是其用户）的议程持有任何态度。

重要的是要注意，即使是这种更温和的胡说八道也会产生法兰克福所关注的有害影响：正如他所说，“对真相的漠不关心是极其危险的……被漫不经心的轻率态度所接受，认为胡说八道的泛滥是无害的，那么一种不可或缺的人类财富就被浪费了”（2002，p343）。通过以任何方式将 ChatGPT 和类似的 LLM 视为与真相相关，或者通过隐喻性地说话，就好像它们在追求真实主张时犯了错误或遭受“幻觉”一样，我们冒着完全接受胡说八道的风险，并浪费意义——因此，无论 ChatGPT 是硬胡说八道者还是软胡说八道者，它都会产生胡说八道，并且这很重要。

ChatGPT 是胡说八道

有了这个区别，我们现在可以考虑以下类型的担忧：ChatGPT 是硬胡说八道、软胡说八道还是两者都不是？我们首先要论证的是，ChatGPT 和其他 LLM 显然是软胡说八道。然而，这些聊天机器人是否是硬胡说八道的问题比较棘手，这取决于许多复杂的问题，这些问题涉及 ChatGPT 是否可以被认为是具有意图的。然后，我们探讨了理解 ChatGPT 具有必要意图的几种方式。

ChatGPT 是一个软胡说八道者

我们不确定是否可以正确地将聊天机器人描述为具有任何意图，我们将在下一节中更深入地探讨这一点。但我们非常确定 ChatGPT 无意传达真理，因此是一个软胡说八道者。我们可以通过简单的案例论证来证明这一点。要么 ChatGPT 有意图，要么没有。如果 ChatGPT 根本没有任何意图，那么它显然无意传达真理。因此，它对言论的真值漠不关心，因此是一个软胡说八道者。

如果 ChatGPT 确实有意图呢？早些时候，我们论证说 ChatGPT 的设计目的不是产生真实的言论；相反，它的设计目的是产生与人类产生的文本无法区分的文本。它的目标是具有说服力而不是准确性。这些模型的基本架构揭示了这一点：它们的设计目的是提出 一段文本的可能延续。有理由假设，成为一段文本的可能延续的一种方式是真实的；如果人类大致比偶然更准确，那么真实的句子将比虚假的句子更可能。这可能会使聊天机器人比偶然更准确，但它不会给聊天机器人任何传达真理的意图。这类似于人类胡说八道者的标准案例，他们不在乎他们的言论是否真实；好的胡说八道通常包含一定程度的真理，这正是使其具有说服力的部分原因。胡说八道者可以比偶然更准确，同时仍然对他们的言论的真实性漠不关心。我们得出结论，即使可以将聊天机器人描述为具有意图，它也对其言论是否真实漠不关心。它不会也不能关心其输出的真实性。

大概 ChatGPT 不能关心传达或隐藏真相，因为它不能关心任何事情。因此，仅仅是出于概念上的必然性，它就满足了法兰克福关于胡说八道的一个标准。然而，这只能让我们走这么远——一块石头也不能关心任何事情，因此认为这意味着石头是胡说八道者显然是荒谬的（注释 6）。同样，书籍可以包含胡说八道，但它们本身不是胡说八道者。与石头——甚至书籍——不同，ChatGPT 本身会生成文本，并且看起来会独立于其用户和设计者执行说话行为。虽然对于 ChatGPT 是否有意图存在相当大的分歧，但人们普遍认为它产生的句子（通常）是有意义的（参见例如 Mandelkern 和 Linzen 2023）。

ChatGPT 的功能不是传达真相或虚假，而是说服读者——使用科尔伯特的恰当创造——其陈述的 真实性，并且 ChatGPT 的设计方式是使胡说八道的尝试有效（以钢笔、词典等不是的方式）。因此，似乎至少 ChatGPT 是一个软胡说八道者：如果我们认为它没有意图，那么就不会有任何试图误导人们相信对真相的态度，但它 确实 参与了输出看起来好像与真相相关的言论的业务。我们得出结论，ChatGPT 是一个 软胡说八道者。

ChatGPT 作为硬胡说八道

但是 ChatGPT 是一个 硬胡说八道者 吗？批评者可能会反对，认为像 ChatGPT 这样的程序是硬胡说八道者是不恰当的，因为 (i) 它们不是代理人，或者相关地，(ii) 它们不会也不能打算任何事情。

我们认为这太快了。首先，无论 ChatGPT 是否具有代理权，它的创造者和用户都具有。我们将论证的是，他们用它产生的是胡说八道。其次，我们将论证的是，无论它是否具有代理权，它都具有一种功能；这种功能赋予它典型的目标，甚至可能是意图，这些目标与我们对硬胡说八道的定义相符。

在继续之前，我们应该说明当我们问 ChatGPT 是否是代理人时，我们的意思是什么。就本文而言，核心问题是 ChatGPT 是否具有意图和或信念。它打算欺骗吗？它能否在任何字面意义上被说成具有目标或目的？如果是这样，它打算欺骗我们相信其言论的内容吗，还是仅仅有表现得像一个有能力的说话者的目标？它是否有信念——旨在追踪真相的内部表征状态？如果是这样，它的言论是否与其信念相符（在这种情况下，它的虚假陈述可能类似于幻觉），或者它的言论是否与其信念不相符——在这种情况下，它们很可能是谎言或胡说八道？我们将在下面更深入地考虑这些问题。

还有其他哲学上重要的代理权方面，我们将不予考虑。我们将不考虑 ChatGPT 是否做出决定、具有或缺乏自主权，或者是否具有意识；我们也不会担心 ChatGPT 是否对其陈述或行为（如果它有任何这些行为）负有道德责任。

ChatGPT 是一台胡说八道机器

我们将论证的是，即使 ChatGPT 本身不是一个硬胡说八道者，它仍然是一台胡说八道机器。胡说八道者是使用它的人，因为他们 (i) 不在乎它所说内容的真实性，(ii) 希望读者相信该应用程序输出的内容。在法兰克福的观点中，即使在没有胡说八道的意图的情况下说出胡说八道，它也是胡说八道：如果某件事一开始就是胡说八道，那么它的重复“就像他 [或它] 重复它一样是胡说八道，因为它是被一个不关心他所说内容是否真实或虚假的人所发起的”（2022，p340）。

但这只是将问题推回给谁是发起人：以（越来越频繁的）ChatGPT 创建的学生论文为例。如果学生关心准确性和真相，他们就不会使用一个臭名昭著地捏造来源的程序。同样，如果他们给它一个提示，让它写一篇关于科学哲学的文章，而它却给出了一个 Bakewell 馅饼的食谱，那么它就不会产生预期的效果。因此，将 ChatGPT 视为一台胡说八道机器的想法似乎是正确的，但也好像缺少了某些东西：毕竟，人们可以使用他们的声音、钢笔或文字处理器来产生胡说八道，但我们通常不认为这些东西是胡说八道机器，或者以任何特别有趣的方式输出胡说八道——相反，ChatGPT 确实有某些特殊之处，与其运作方式有关，这使得它不仅仅是一个 仅仅的 工具，并且表明它可以适当地被认为是胡说八道的发起者。简而言之，认为 ChatGPT 既类似于钢笔（可以用于胡说八道，但没有代理人主导的刻意行为就无法创造任何东西），也不类似于胡说八道的人类（他们可以有意图并自主地产生胡说八道）似乎不太正确。

将 ChatGPT 视为一台胡说八道机器的想法与硬胡说八道和软胡说八道之间的区别相结合时很有帮助。再次以可疑的学生论文为例：我想我们都批改过论文，其中很明显地使用了词典或同义词典，但却缺乏细微之处；五十美元的单词的使用并不是因为它们是最佳选择，甚至不是因为它们用于混淆真相，而仅仅是因为作者想要传达一种理解和成熟的 印象。在这种情况下，将词典称为胡说八道的艺术家是不恰当的；但是，将结果称为胡说八道 不是 不恰当的。因此，也许我们应该严格地说，不是 ChatGPT 是 胡说八道，而是它 输出 胡说八道的方式超出了仅仅成为胡说八道的载体：它不会也不能关心其输出的真实性，并且 使用它的人这样做不是为了传达真相或虚假，而是为了说服听者相信该文本是由一个感兴趣和专心的代理人编写的。

ChatGPT 可能是硬胡说八道者

ChatGPT 本身是硬胡说八道者吗？如果是这样，它必须具有意图或目标：它必须打算欺骗其听众，不是关于其陈述的内容，而是关于其议程。回想一下，像没有准备的学生或不称职的政治家这样的硬胡说八道者，不在乎他们的陈述是真是假，但确实打算欺骗他们的听众关于他们正在做什么。如果是这样，它必须具有意图或目标：它必须打算欺骗其听众，不是关于其陈述的内容，而是关于其议程。我们不认为 ChatGPT 像人类那样具有意图或目标（有关此处的讨论，请参见 Levinstein 和 Herrmann（即将发表））。但是，在宽松地说话时，使用意图语言来描述它非常容易：ChatGPT 试图 做什么？它 关心 它产生的文本是否准确吗？我们将论证的是，ChatGPT 确实打算欺骗我们相信其议程，即使这种意义可能不是字面的：其目标不是说服我们相信其言论的内容，而是将自己描绘成一个像我们一样的“正常”对话者。相比之下，ChatGPT 没有以同样强烈的意义来虚构、撒谎或产生幻觉。

我们的论点很简单：ChatGPT 的主要功能是模仿人类的言语。如果这个功能是有意的，那么它正是代理人成为硬胡说八道者所需要的意图类型：在执行该功能时，ChatGPT 试图欺骗听众相信其议程。具体来说，它试图看起来好像具有议程，但在许多情况下它并没有。我们将在本文中讨论这种功能是否会产生意图，或者是否最好被认为是意图。在下一节中，我们将论证的是，ChatGPT 没有类似的功能或意图可以证明称其为虚构者、撒谎者或幻觉者的合理性。

我们如何知道 ChatGPT 的功能是硬胡说八道者？像 ChatGPT 这样的程序旨在完成一项任务，而这项任务非常类似于法兰克福认为胡说八道者所打算做的事情，即欺骗读者相信该事业的性质——在这种情况下，欺骗读者，让他们认为自己正在阅读由一个具有意图和信念的生物产生的东西。

ChatGPT 的文本生成算法是在一个非常类似于人工选择的过程中开发和磨练的。功能和选择过程具有与人类意图相同的方向性；自然主义的思想哲学家长期以来将它们与人类和动物精神状态的意图性联系起来。如果 ChatGPT 被理解为以这种方式具有意图或类似意图的状态，那么它的意图是以某种方式（作为对话代理人或对话者）呈现自己，而不是代表和传达事实。换句话说，它具有我们与硬胡说八道相关的意图。

我们可以将 ChatGPT 视为具有意图的一种方式是采用丹尼特的 意向立场。丹尼特 (1987: 17) 将意向立场描述为一种预测我们尚不知道其目的的系统行为的方式。

“采取意向立场 [……] 是决定——当然，是暂时地——尝试使用意向习语（例如“相信”和“想要”）来描述、预测和解释 [……] 行为，这种做法假定或预先假定目标系统的理性”（Dennett，1983：345）。

丹尼特认为，如果我们知道一个系统为什么被设计出来，我们就可以根据其设计做出预测（1987）。虽然我们确实知道 ChatGPT 的设计目的是聊天，但它的确切算法以及它产生其响应的方式是通过机器学习开发的，因此我们不知道它如何工作和做什么的精确细节。在这种无知的情况下，人们很想引入意向描述来帮助我们理解和预测 ChatGPT 正在做什么。

当我们采取意向立场时，如果我们将任何传达真相的愿望归因于 ChatGPT，我们将做出错误的预测。同样，将“幻觉”归因于 ChatGPT 会导致我们预测好像它感知到了不存在的东西，而它所做的更类似于编造一些听起来正确的东西。前一个意向归因将导致我们试图纠正其信念，并修复其输入——这种策略几乎没有成功。另一方面，如果我们将硬胡说八道者的意图归因于 ChatGPT，我们将能够更好地诊断它会犯错误和传达虚假信息的 ситуации。如果 ChatGPT 试图做任何事情，那就是试图将自己描绘成一个人。

由于认为 ChatGPT 是硬胡说八道者的这个原因涉及承诺于一种或多种有争议的关于思想和意义的观点，因此它比仅仅将它视为一台胡说八道机器更具倾向性；但无论该程序是否具有意图，显然 都 存在试图欺骗听者或读者相信沿途某个地方该事业的性质的尝试，并且在我们看来，这证明了称其输出为硬胡说八道的合理性。

因此，尽管值得提出警告，但在我们看来，它不会显着影响我们应该如何思考和谈论 ChatGPT 和胡说八道：使用它来完成一些论文或谈话的人既不关心传达真相也不关心掩盖真相（因为这两者都需要关注真相实际上 是什么），并且系统本身也不关心。至少，它会产生软胡说八道，并且，鉴于关于意向归因性质的某些有争议的假设，它会产生硬胡说八道；胡说八道的具体纹理对我们的目的并不重要：无论哪种方式，ChatGPT 都是一个胡说八道者。

胡说八道？幻觉？虚构？对新术语的需求

我们论证了我们应该使用胡说八道的术语，而不是“幻觉”来描述 ChatGPT 产生的言论。爱德华兹 (2023) 也注意到“幻觉”术语是不恰当的，他更喜欢使用“虚构”一词。为什么我们的提议比这个或其他替代方案更好？

我们反对“幻觉”一词，因为它带有某些误导性的含义。当某人产生幻觉时，他们会有一种非标准的感知体验，但实际上并没有感知到世界的某些特征（Macpherson，2013），其中“感知”被理解为一种成功的术语，因此他们实际上并没有感知到该对象或属性。由于各种原因，该术语不适用于 LLM。首先，正如爱德华兹 (2023) 指出的那样，“幻觉”一词将 LLM 拟人化。爱德华兹还指出，将由此产生的问题归因于模型的“幻觉”可能会让创建者“将错误的输出归咎于 AI 模型，而不是对输出本身负责”，我们可能会对这种放弃责任的行为持谨慎态度。LLM 不会感知，因此它们当然不会“误感知”。其次，在 LLM 传递虚假言论的情况下发生的事情并不是它通常经历的过程的一种不寻常或异常的形式（正如一些人声称在幻觉中是这样，例如，关于感知的分离主义者）。当它的输出恰好为真时，也会发生完全相同的过程。

所以关于“幻觉”就到此为止。那么爱德华兹更喜欢的术语“虚构”呢？爱德华兹（2023）说：

在人类心理学中，“虚构”发生在某人的记忆中出现空白，大脑令人信服地填补其余部分，而不打算欺骗他人时。ChatGPT 的工作方式不像人类大脑，但“虚构”一词可以说是一个更好的隐喻，因为存在一种创造性的填补空白的原则在起作用 [……]。

正如爱德华兹指出的那样，这并不完美。再一次，使用人类心理学术语有将 LLM 拟人化的风险。

这个术语也表明，当 LLM 发出虚假言论时，发生了一些特殊的事情，即，在这些场合——并且仅仅在这些场合——它用一些虚假的东西“填补”记忆中的空白。这也是误导性的。即使 ChatGPT 确实给了我们正确的答案，它的过程也是预测下一个标记。在我们看来，它错误地表明 ChatGPT 通常试图在其言论中传达准确的信息。但是有强烈的理由认为它没有它打算通常分享的信念——例如，参见 Levinstein 和 Herrmann（即将发表）。在我们看来，它错误地表明 ChatGPT 通常试图在其言论中传达准确的信息。如果它确实追踪真相，它也是间接和偶然地这样做。

这就是为什么我们赞成将 ChatGPT 描述为一台胡说八道机器。这种术语避免了 LLM 的运作中正在发生感知或记忆的含义。我们也可以在它产生输出时将其描述为胡说八道。像人类胡说八道者一样，一些输出很可能是真实的，而另一些则不是。与人类胡说八道者一样，我们应该警惕依赖于任何这些输出。

结论

投资者、政策制定者和普通民众根据如何对待这些机器以及如何对它们做出反应做出决定，这种决定不是基于对它们如何工作的深刻技术理解，而是基于通常隐喻性地传达它们的能力和功能的方式。称它们的错误为“幻觉”并非无害：它很容易让人产生混淆，即机器在某种程度上是在 误感知，但仍然试图传达它们相信或感知到的东西。正如我们所论证的那样，这是一个错误的隐喻。机器不是试图传达它们相信或感知到的东西。它们的不准确不是由于误感知或幻觉造成的。正如我们已经指出的，它们根本不是试图传达信息。它们是在胡说八道。

称聊天机器人的不准确之处为“幻觉”会助长技术啦啦队长们对它们能力过于夸大的炒作，并可能导致普通民众不必要的惊慌。它还提出了解决不准确问题的解决方案，这些解决方案可能不起作用，并可能导致专家们对 AI 对齐进行错误的努力。当机器做对了事情时，也可能导致对机器的错误态度：不准确之处表明它是在胡说八道，即使它是正确的。称这些不准确之处为“胡说八道”而不是“幻觉”不仅更准确（正如我们所论证的）；它是在一个急需的领域进行良好的科学和技术交流。

更改历史

• 2024 年 7 月 11 日

  本文的更正已发布：https://doi.org/10.1007/s10676-024-09785-3

注释

1. 费希特支持的一个特别令人惊讶的立场是，他认为撒谎不仅包括遗漏的谎言，还包括明知 不纠正 正在虚假下运作的人。例如，如果我戴假发，而有人认为这是我真实的头发，费希特认为这是谎言，我对此负有责任。Bacin (2021) 进一步讨论了费希特的立场。
2. 最初发表于 Raritan，VI(2)，1986 年。此处对该作品的引用来自 2005 年的图书版本。
3. 在发表此评论时，法兰克福承认科恩所说的“胡说八道”也值得被称为这个名字。在科恩的用法中（2002 年），胡说八道是一种无法澄清的文本，他将其与法国马克思主义者联系起来。近年来，其他几位作者也以各种方式探索了这一领域，每个人都为这场辩论增加了宝贵的亮点。丹尼斯·惠特科姆和肯尼·伊瓦兰扩展了“胡说八道”可以应用的领域。惠特科姆认为可以有胡说八道的问题（以及命题），而伊瓦兰认为我们可以富有成果地将某些活动视为胡说八道（2023）。

虽然我们接受这些观点提供了有价值的胡说八道的洞察力，但我们将把我们的讨论限制在法兰克福的框架内。对于那些想要更深入地研究这些区别的人，尼尔·利维的哲学、胡说八道和同行评审（2023 年）提供了胡说八道的分类概述。

4. 这不需要破坏他们的目标。广告商可能打算在他们的观众中留下联想（例如，像“牛仔”或“勇敢”这样的积极想法与他们的香烟品牌），或者加强/灌输品牌认知。

法兰克福将这种情况描述为发生在“胡说八道会议”中：“胡说八道会议的每个贡献者都依赖于……普遍认识到他所表达或说的内容不应被理解为他全心全意地或明确地相信是真实的”（2005：37）。然而，法兰克福声称胡说八道会议的内容与胡说八道不同。

5. 值得注意的是，我们在硬胡说八道和软胡说八道之间所做的区分也发生在科恩（2002）中：他认为，我们可以将某人视为胡说八道者，因为“一个以胡说八道为目标的人，无论他达到目标的频率有多高”，或者 如果他们只是“倾向于胡说八道：无论出于何种原因，产生大量无法澄清的东西”（p334）。虽然我们在这里没有采用科恩的说法，但他的描述和我们自己的描述之间的相似之处令人震惊。
6. 当然，岩石也不能表达命题——但是，这里的一部分担忧是 ChatGPT 实际上 是否 正在表达命题，或者只是代理人表达命题的一种手段。另一个担忧是，我们甚至不应该将 ChatGPT 视为表达命题——也许没有交流意图，因此我们应该将输出视为毫无意义的。即使接受这一点，我们仍然可以有意义地谈论它们表达命题。马洛里（2023 年）最近讨论了这种提议——关于聊天机器人的虚构主义。

参考文献

• Alkaissi, H., & McFarlane, S. I., (2023, February 19). 人工幻觉在 ChatGPT：在科学写作中的含义。Cureus, 15(2), e35179. https://doi.org/10.7759/cureus.35179.
• Bacin, S. (2021). 我的职责和他人的道德：在费希特的规范完善主义中说谎、真相和好的榜样。在 S. Bacin, & O. Ware (Eds.), 费希特的伦理体系：批判指南。剑桥大学出版社。
• Cassam, Q. (2019). 心灵的恶习。牛津大学出版社。
• Cohen, G. A. (2002). 更深入的胡说八道。在 S. Buss, & L. Overton (Eds.), 代理人的轮廓：哈里·法兰克福主题的论文。麻省理工学院出版社。
• Davis, E., & Aaronson, S. (2023). 测试 GPT-4 与 Wolfram alpha 和代码解释器 plub-ins 数学和科学问题。Arxiv 预印本：arXiv, 2308, 05713v2.
• Dennett, D. C. (1983). 认知动物行为学中的意向系统：捍卫了庞洛斯范式。行为与脑科学, 6, 343–390。
• Dennett, D. C. (1987). 意向立场。麻省理工学院。
• Dennis Whitcomb (2023). 胡说八道的问题。分析, 83(2), 299–304。
• Easwaran, K. (2023). 胡说八道的活动。分析哲学, 00, 1–23. https://doi.org/10.1111/phib.12328.
• Edwards, B. (2023). 为什么 ChatGPT 和 Bing 聊天如此擅长编造东西。Ars Tecnica。https://arstechnica.com/information-technology/2023/04/why-ai-chatbots-are-the-ultimate-bs-machines-and-how-people-hope-to-fix-them/，于 2024 年 4 月 19 日访问。
• Frankfurt, H. (2002). 回复科恩。在 S. Buss, & L. Overton (Eds.), 代理人的轮廓：哈里·法兰克福主题的论文。麻省理工学院出版社。
• Frankfurt, H. (2005). 关于胡说八道, 普林斯顿。
• Knight, W. (2023). 有些人在 ChatGPT 中瞥见了 AGI。另一些人称之为海市蜃楼。Wired, 2023 年 8 月 18 日，通过 https://www.wired.com/story/chatgpt-agi-intelligence/ 访问。
• Levinstein, B. A., & Herrmann, D. A. (即将发表). 用于语言模型的仍然没有测谎仪：调查实证和概念性障碍。哲学研究, 1–27。
• Levy, N. (2023). 哲学、胡说八道和同行评审。剑桥大学。
• Lightman, H., 等人。(2023). 让我们逐步验证。Arxiv 预印本：arXiv, 2305, 20050.
• Lysandrou (2023). 用于医疗保健见解的药物-GPT 和 ChatGPT LLM 的比较分析：评估患者和 HCP 环境中的准确性和相关性。ArXiv 预印本：arXiv, 2307, 16850v1.
• Macpherson, F. (2013). 幻觉的哲学和心理学：引言，在 幻觉 中，Macpherson 和 Platchias (Eds.), 伦敦：麻省理工学院出版社。
• Mahon, J. E. (2015). 撒谎和欺骗的定义。斯坦福哲学百科全书（2016 年冬季版），Edward N. Zalta (Ed.), https://plato.stanford.edu/archives/win2016/entries/lying-definition/.
• Mallory, F. (2023). 关于聊天机器人的虚构主义。Ergo, 10(38), 1082–1100。
• Mandelkern, M., & Linzen, T. (2023). 语言模型的词语是否指代？ArXiv 预印本：arXiv, 2308, 05576.
• OpenAI (2023). GPT-4 技术报告。ArXiv 预印本：arXiv, 2303, 08774v3.
• Proops, I., & Sorensen, R. (2023). 消除对 lies 的经文归因的污名： Kant 的案例。太平洋哲学季刊。https://doi.org/10.1111/papq.12442。
• Sarkar, A. (2023). ChatGPT 5 有望实现通用人工智能。政治家报, 2023 年 4 月 12 日。通过 https://www.thestatesman.com/supplements/science_supplements/chatgpt-5-is-on-track-to-attain-artificial-general-intelligence-1503171366.html 访问。
• Shah, C., & Bender, E. M. (2022). 定位搜索。CHIIR ‘22：2022 年人工信息交互与检索会议论文集 2022 年 3 月第 221–232 页 https://doi.org/10.1145/3498366.3505816。
• Weise, K., & Metz, C. (2023). 当 AI 聊天机器人产生幻觉时。《纽约时报》，2023 年 5 月 9 日。通过 https://www.nytimes.com/2023/05/01/business/ai-chatbots-hallucination.html 访问。
• Weiser, B. (2023). 当你的律师使用 ChatGPT 时，会发生什么。《纽约时报》，2023 年 5 月 23 日。通过 https://www.nytimes.com/2023/05/27/nyregion/avianca-airline-lawsuit-chatgpt.html 访问。
• Zhang (2023). 语言模型幻觉如何滚雪球。《ArXiv 预印本：arXiv:, _2305, 13534v1.
• Zhu, T., 等人。(2023). 用于信息检索的大型语言模型：一项调查。《Arxiv 预印本：arXiv*, _2308*, 17107v2.

致谢

感谢 Neil McDonnell、Bryan Pickel、Fenner Tanswell 和格拉斯哥大学的大型语言模型阅读小组的帮助讨论和评论。

作者信息

作者和附属机构

1. 苏格兰格拉斯哥格拉斯哥大学

迈克尔·汤森·希克斯、詹姆斯·亨弗里斯和乔·斯莱特

通讯作者

通信给迈克尔·汤森·希克斯。

附加信息

出版商说明

斯普林格·自然在管辖权主张和机构隶属关系方面保持中立。

权利和许可

开放获取 本文根据知识共享署名 4.0 国际许可协议获得许可，该协议允许以任何媒介或格式使用、共享、改编、分发和复制，只要您适当地署名原始作者和来源，提供知识共享许可协议的链接，并说明是否进行了更改。本文中的图像或其他第三方材料包含在文章的知识共享许可协议中，除非在对材料的贷方行中另有说明。如果材料未包含在文章的知识共享许可协议中，并且您预期的用途不受法规允许或超过了允许的用途，则您需要直接从版权所有者处获得许可。要查看此许可证的副本，请访问 http://creativecommons.org/licenses/by/4.0/。