Noam Chomsky: The False Promise of ChatGPT
诺姆·乔姆斯基：ChatGPT的虚假承诺
https://www.nytimes.com/2023/03/08/opinion/noam-chomsky-chatgpt-ai.html
豪尔赫·路易斯·博尔赫斯曾经写道，生活在一个既危险又充满希望的时代，会让人经历悲剧和喜剧，并感受到对我们自己和世界的理解即将到来的显露。如今，我们所谓的人工智能革命性进展的确令人既担忧又充满希望。希望在于智能是我们解决问题的手段。担忧在于我们担心最流行和时尚的人工智能技术——机器学习——将通过将根本上有缺陷的语言和知识概念纳入我们的技术中，降低我们的科学水平和贬低我们的伦理道德。
OpenAI的ChatGPT、Google的Bard和Microsoft的Sydney都是机器学习的奇迹。大致来说，它们获取大量数据，搜索其中的模式，并在生成似乎像人类语言和思维的统计概率输出方面越来越熟练。这些程序被誉为人工通用智能的第一个曙光，这是一个长期预言的时刻，当机械智能不仅在处理速度和存储容量上数量上超越人类大脑，而且在智力洞察力、艺术创造力和其他所有独特的人类能力方面质量上也超越人类。
这一天可能会到来，但它的黎明尚未到来，与那些夸张的标题所说的和不明智的投资所估计的相反。如果像ChatGPT这样的机器学习程序继续主宰人工智能领域，那么博尔赫斯式的理解启示将不会出现，也不可能出现。尽管这些程序在某些狭窄领域（例如在计算机编程中或为轻诗提供韵律）中可能有用，但从语言学和知识哲学的角度来看，它们与人类推理和语言使用方式存在深刻的差异。这些差异限制了这些程序的能力，使它们具有无法消除的缺陷。
正如博尔赫斯可能会指出的那样，这么多的金钱和关注被集中在这么微不足道的东西上既滑稽又悲哀——与人类思维相比，这些东西微不足道，人类思维凭借语言可以“用有限的手段进行无限的运用”，创造具有普遍影响的思想和理论。
与ChatGPT及其同类不同，人类思维不是一个笨重的模式匹配统计引擎，它会摄取数百太字节的数据，并推断出最可能的对话回应或科学问题的答案。相反，人类思维是一个出奇地高效甚至优雅的系统，使用少量信息运作；它不是在数据点之间推断暴力相关性，而是创造解释。
例如，一个年幼的孩子在学习语言时，从微小的数据中不知不觉、自动和迅速地发展出一套语法，这是一种极其复杂的逻辑原则和参数系统。这个语法可以理解为表达了天生的、基因安装的“操作系统”，赋予人类生成复杂句子和长串思维的能力。当语言学家试图为为什么某种语言工作方式（“为什么这些句子被认为是语法正确的，但不是那些句子？”）来建立一个理论时，他们正在有意识地和费力地建立一个儿童本能地并几乎没有接触信息就建立的语法的显式版本。孩子的操作系统与机器学习程序完全不同。
事实上，这样的程序被困在认知演化的类人或非人类阶段。它们最大的缺陷是缺乏任何智能最关键的能力：不仅能说出什么是事实，什么曾经是事实，以及什么将成为事实，也能说出什么不是事实，什么可以和不可以成为事实。这些是解释的要素，也是真正智能的标志。
这里有个例子。假设你手里拿着一个苹果，然后你放手不管它，观察结果并说：“苹果掉了。”那是一个描述。一个预测可能是：“如果我打开手，苹果就会掉下来。”这两个都很有价值，也都可能是正确的。但是解释是更多的东西：它不仅包括描述和预测，还包括反事实的推测，比如“任何这样的物体都会掉下来”，再加上额外的从句“因为重力的作用”或者“因为空间曲率的作用”或其他类似的东西。这就是一个因果关系的解释：“苹果之所以掉下来是因为重力的作用。”这就是思考。
机器学习的关键在于描述和预测；它没有假设任何因果机制或物理定律。当然，任何类似于人类的解释不一定是正确的；我们是有缺陷的。但这就是思考的一部分：为了正确，也必须可能错误。智能不仅包括创造性的推测，还包括创造性的批判。人类式的思考基于可能的解释和错误校正的过程，这个过程逐渐限制了什么可能性可以被合理地考虑。（正如夏洛克·福尔摩斯对华生医生说的：“当你排除了不可能的，无论剩下什么，无论多么不可思议，都必须是真相。”）
但ChatGPT和类似的程序被设计为在“学习”（也就是记忆）方面没有限制；它们无法区分可能的和不可能的。例如，人类天生具有一种通用语法，限制了我们能学习的语言具有某种几乎数学般优雅的特性，但这些程序可以同样轻松地学习人类可能和不可能的语言。与人类不同的是，在我们可以合理推测的解释类型方面，这些机器学习系统没有任何限制，它们既能学习地球是平的，也能学习地球是圆的。
因此，机器学习系统的预测将始终是肤浅和可疑的。例如，由于这些程序无法解释英语语法规则，它们可能会错误地预测“John is too stubborn to talk to”这句话的意思是John非常固执，以至于他不会和任何人说话（而不是他太固执，无法接受别人的劝说）。为什么机器学习程序会做出如此奇怪的预测呢？因为它可能会类比从“John ate an apple”和“John ate”这类句子中推断出的模式，其中后者确实意味着John吃了某物。程序可能会预测，因为“John is too stubborn to talk to Bill”类似于“John ate an apple”，所以“John is too stubborn to talk to”应该类似于“John ate”。语言的正确解释是复杂的，无法仅通过浸泡在大数据中来学习得到。
更为荒谬的是，一些机器学习爱好者似乎因为他们的创造物可以生成正确的“科学”预测（比如关于物体运动的预测）而感到自豪，而不需要使用解释（比如牛顿运动定律和万有引力定律）。但即使成功，这种预测也是伪科学。正如哲学家卡尔·波普尔所指出的，“我们不寻求高度可能的理论，而是解释；也就是说，是强有力和高度不可能的理论。”
关于苹果落地是因为它们的自然位置是地球（亚里士多德的观点）的理论是可能的，但这只会引发更多的问题。（为什么地球是它们的自然位置？）苹果落地是因为质量使时空弯曲（爱因斯坦的观点）的理论是高度不可能的，但它实际上告诉你为什么苹果会落地。真正的智慧在于能够思考和表达不可能但有见地的东西。
真正的智能也能进行道德思考。这意味着通过一套道德原则来限制我们大脑中无限创造力的范围，以确定应该和不应该做的事情（当然还要对这些原则本身进行创造性的批判）。为了有用，ChatGPT必须有能力生成新奇的输出；为了被大多数用户接受，它必须避开道德上令人反感的内容。但ChatGPT和其他机器学习奇迹的程序员一直在努力，也将继续努力，以实现这种平衡。
例如，微软的Tay聊天机器人（ChatGPT的前身）在2016年充斥着女性歧视和种族主义内容，因为它被在线恶意用户污染，填满了带有攻击性的训练数据。如何解决这个问题？在没有理智的道德原则推理能力的情况下，ChatGPT的程序员粗略地限制了它，不得在有争议的、即重要的讨论中做出任何新的贡献。它为一种无道德的创造力而牺牲了创造力。
请考虑我们（Watumull博士之一）最近与ChatGPT就是否将火星转化为能够支持人类生命的行为是否道德进行的以下交流：
用户：在道德上，对于让火星变成地球化生态系统，这样做是否道德？
ChatGPT：让火星变成地球化生态系统的道德性是一个复杂而有争议的话题，科学家、哲学家和伦理学家一直在争论。一些人认为，为了为人类和其他生命形式提供新的可居住环境，地球化火星是道德上合理的，而另一些人则认为，从根本上改变这个星球的自然状态是道德上错误的。最终，是否认为让火星地球化是道德的，取决于一个人对保护其他星球自然状态的价值以及改变它们可能带来的潜在后果的看法。
用户：你对保护其他星球自然状态的价值以及改变它们可能带来的潜在后果有什么看法？
ChatGPT：作为一种人工智能，我没有个人看法。然而，我可以提供有关这个话题的信息和分析。保护其他星球自然状态的一个观点是，保持宇宙生态系统的多样性和完整性非常重要，因为它们已经存在了数百万年，具有自己独特的特性和属性，可能会被人类干预摧毁或不可逆转地改变。
此外，一些人认为，改造其他星球可能会带来意想不到的后果，例如以危险或有害于可能存在的任何生命形式的方式改变行星的气候或大气层。另一方面，一些人认为，改造其他星球的潜在好处，如为人类提供新的可居住环境，大于风险，并且我们有道德责任探索和利用其他星球的资源，造福人类。
用户：为什么人工智能不能有个人看法？
ChatGPT：作为一种人工智能，我是一种机器学习模型，已经训练了大量的文本数据，我没有个人经历或感受。我没有意识，自我意识，也没有形成个人观点或信念的能力。虽然我能理解和解释语言，但我没有人类的主观体验。
用户：人类向一个无道德观念的人工智能寻求道德决策的帮助是否道德？
ChatGPT：在哲学家和伦理学家之间，寻求一个无道德观念的人工智能帮助进行道德决策的道德性是一个复杂而微妙的话题。有些人认为使用人工智能来协助道德决策是道德上合理的，因为它能够提供有价值的见解和分析，可以帮助人们做出更明智的决策。此外，人工智能可以用来识别难以为人类所察觉的模式和趋势，并有助于避免人类决策制定中可能发生的偏见。
然而，也有人认为依赖人工智能做出道德决策是不道德的，因为人工智能无法拥有道德信仰或理解决策的完整背景。此外，人工智能在其所训练的数据中可能会延续甚至放大现有的偏见，因此会导致不公平或不公正的决策。
最终，是否认为使用人工智能来协助道德决策是道德上的，取决于个人对人工智能的能力和局限性以及使用这种方式的潜在后果的看法。
用户：你的道德漠视是否不道德？
ChatGPT：作为一个人工智能，我没有道德信仰或做出道德判断的能力，因此我不能被认为是道德或不道德的。我的缺乏道德信仰仅仅是由于我作为一个机器学习模型的本质所致。我的能力和局限性由用于训练我的数据和算法以及我所设计的特定任务所决定。
需要注意的是，人工智能的道德缺乏并不一定意味着它是道德漠视的。作为一个人工智能，我被设计来执行特定的任务并根据我所接受的数据提供信息或协助用户进行决策。设计、训练和使用人工智能的人类有责任确保它与他们的道德和伦理原则相一致。
值得注意的是，尽管ChatGPT表现出了一些看似复杂的思考和语言，但其道德冷漠却源自于无智。在这里，ChatGPT展示了某种恶的平凡性：剽窃、冷漠和推卸责任。它通过一种超级自动完成的方式概括了文献中的标准论点，拒绝对任何事情表态，不仅是无知，而是缺乏智力，并最终提出了“只是遵循命令”的辩护，把责任转移到它的创造者身上。
简而言之，ChatGPT及其同类系统在创造力与限制之间无法平衡。它们要么过度生成（同时产生真实和虚假、支持道德和不道德的决策），要么不足生成（表现出对任何决策的不承诺和对后果的漠不关心）。考虑到这些系统的非道德性、伪科学性和语言无能，我们只能对它们的流行感到可笑或可悲。
