AI不可怕，可怕的是人把自己委身于算法

每次人工智能一升级，大家都会兴奋地参与进讨论，同时到来的，也有恐慌的声音。

AI越来越像“人”了。它好像工作起来比我快、比我客观、比我好，会不会抢了我的饭碗？它好像很聪明，会不会把人耍的团团转？我们最担心的是，它到底有没有意识，会不会最终控制了人？

人类学家韦布·基恩把人机关系这样的现代问题纳入历史和信仰的考量，提出“我们如何看待周围的事物，周围的事物就怎样呈现人格的特质，受到人类伦理的约束”。

他的论述回应了诸多我们关心的问题。

本文摘编自《兽、机、神》，小标题为编者所拟，篇幅所限内容有所删减，经出品方授权推送。

01.

我们在害怕什么

在我45岁那年的夏天，我突然发现自己会在凌晨三点时惊醒，并伴随着一种警觉：我知道之后的几个小时我都将辗转难眠。

同任何工具一样，机器人和人工智能扩展了人的能力。它们如何突破人类的边界是个既让人兴奋，又让人不安的问题。

它们的承诺和威胁都取决于其对人类那些通常看上去十分独特的品质所产生的影响，以及对这些品质的扩展，比如能动性、意志、智慧，甚至道德和情感。

在许多方面，它们被设计出来是为了从我们这里获取那些品质，并让我们将其投射到它们身上。就此而言，它们类似一些与陌生的，也许更高级的存在者进行交流的古老技术。

2014年，宇宙学家霍金就曾警告说，“全面人工智能的发展将意味着人类的终结”。数年后，科技创业者马斯克说，一种“类似上帝的”人工智能可能会来统治人类。到了2023年，一些高科技人士呼吁暂停人工智能的研发。

就像石巨人和科学怪人一样，我们似乎在创造某种力量超出我们自身的东西。

事实上，人工智能未来的能力是不可预测的。或许，我们正在面对未来学家雷·库兹韦尔所谓的奇点。奇点概念指的是计算机超越人类智慧，甚至控制我们的那一时刻。

当我问表妹南希，人工智能型聊天机器人会让人害怕什么时，她回答道：“我们会怕它讲一些我们不想知道的、关于我们自己的事情。”

正如我们已经看到的，新的机器可能因为相反的理由而让人不安。我与机器交流的方式似乎也会对我产生影响。

它的人性化会导致用户的非人化。机器越像人，交流就越令人不安。

02.

计算机到底能不能思考

怎样才能看起来像人？测验机器的“人性”方面 最有影响力的方法是图灵测试。

这是计算机先驱图灵在 1950年提出的一个思想实验。他称之为“模仿游戏”，其目的是解答“计算机是否可以思考”这一问题。

实际上，该测试不是试图完成那项不可能的任务，即进入机器的内在生活（这种事情非常困难），而是说“如果（某个东西）像一只鸭子一样走路和说话，那么，它就是一只鸭子”。

判断者必须仅仅根据机器回答问题的方式，来判断那个看不到的对话伙伴是人还是机器。如果机器可以骗过判断者，那么我们就应该说，它能够“思考”。

有意思的是，这种方法与常见于人工智能对话中的个人主义完全不同。后者经常把心灵视为一个独立、 自足的大脑或程序的属性。

该测试会避免询问，机器是否拥有意识，它也不会询问封闭的机器心灵“内部” 有什么。相反，判断对话者是否为“人类”的标准是其如何回答其他人的问题。

总而言之，这是一个社会互动的测试。

社会互动需要什么？人类学家和社会学家早就知道，仅仅依靠智力和理性是远远不够的。

他们已经表明，“意义”并非仅位于人的头脑，等着用语言来表达。 随着谈话的进行，意义出现，并在人们之间获得协商。

你的意图可能遭到误解，所以必须重新陈述。你甚至可能会误解自己所说的东西，而在回顾时才意识到其中的意义。

玩笑可能变得严肃，反之亦然。一次随便的聊天可能会变成一次引诱或争吵，让双方感到惊讶。互动之所以成功或失败，不在于某个人的意义建构，而在于参与者共同理解正在发生的事情。

意义是一种共同产物。人类学家露西 ·萨奇曼指出，对话中的意义建构“尤其包括对错误（或不同）理解的发现和弥补”。

这里的“弥补”思想很重要。

如果在一场普通的对话期间，我碰巧说了某种不一致的东西、失去头绪、说错话或失语（这种情况经常发生，远远超出我们大多数人的意识），那么，我会默默地忽视它，或者做出弥补， 让事情继续顺畅地运行。

美国社会学家欧文·戈夫曼是一位认真观察民众的社会学家。 他提出虽然我们很少注意到自己在这样做，但是为了照顾彼此的面子，我们还是会付出很大的努力，比如帮人打圆场。

我们在不断地合作，共同创造一致性。大多数时候，我们不会意识到自己默默付出了多少精力。

那么，这与计算机有什么关系呢？

正如萨奇曼表明的，当人们与计算机打交道时，会无意识地把一辈子关于如何与人打交道的技能和知识带入。

正如人类很容易把内在想法投射到拥有眼睛的物理对象上一样，人们也会把计算机当成人并与之互动。 即使是在20世纪90年代出现的笨重计算机上面打字，人们往往也比使用笔纸来书写时更加礼貌。

萨奇曼发现，人们往往把计算机看作“有目的的，并将之联想为一个社交对象”。 这是因为，这些机器被设计得像人一样，能对人们做出回应。

03.

计算机如何才能像人

由于计算机被设计得能够回应人类用户，因此，我们很容易觉得，它肯定理解我。毕竟，这就是社会认知发挥作用的方式。从这里开始，我们可以迈入下一步。

萨奇曼指出，由于计算机似乎拥有人的某些能力， “我们会倾向于赋予它们剩下的其他能力”。机器越是能够激发用户的这些社交直觉，它就越容易通过图灵测试。

正如人类学家和神经科学家特伦斯·迪肯谈到的，图灵测试实际上是在测试人类，看他们是否把机器看作另一个人。为了使计算机对我们的提示做出的回答看上去有意义，并富有目的，人们必须发挥积极作用，正如他们在其他对话中一直做的那样。

为了证明那些技能需要多少背景，萨奇曼描述了她20世纪90年代在麻省理工学院与Kismet的邂逅。

Kismet是一个人形机器人，它的脸能够表达冷静、惊讶、快乐和愤怒等情感。虽然Kismet在设计师那里表现得很好，但是，当新人碰到它时，事情就没有那么顺利了。

在某种意义上，Kismet 没有通过情感版本的图灵测试。这是因为，社会互动和对情绪的反应是一项合作程度较高的活动，不能仅仅来自关系中的一方。结果证明，Kismet的基本技能只能面向专门的个人，即设计师。

虽然机器人越来越擅长表现情绪，但是，它们的反应设计和我们赋予这些反应的意义都依赖于机器人与人类的交流。

这就是为什么在陌生的文化场景中，人们很难解读情感。你的情绪、你对他人情绪的理解以及你对回应它 们的正确方式的感觉，随着你与那些和你做同样事情的 他人持续互动，所有这些都会不断发展。

创造一个完全自主的人工智能或机器人，这一想法未能理解，我们想从机器中获得的大量东西其实都是对人类的模仿。后者在很多重要方面，都不是自主的。

我想强调一下萨奇曼的见解。在与机器人和人工智能的邂逅中，我们花了一生的时间来练习大多数无意识的习惯，以实现与他人的成功交流。哪怕是一个懵懂的小孩，在与他人的长期相处过程中，也会具备一个人所需的技能和背景知识。

人们是从直接的社会环境中学习到这一切的。

这一事实解释了，我们为什么应该怀疑由美国专家阶层的小圈子设计的社交机器人的通用模式。正如语言人类学家早就知道的，哪怕是很简单的问题，比如如何提问，在不同的社会里也会获得非常不同的答案。

例如，在某些社会体系中，地位低的人决不能过问地位高的人；而在另一些社会体系中，情况是反过来的，地位高的人决不能屈尊去请教地位低的人。而且，在很多社会，回答问题的习惯可能非常间接或隐晦，以致对一个外人来说，很难看出该回复就是答案。

由于我们将如此之多的预期和解释习惯带到了与计算机的邂逅中，我们已经充分准备好利用计算机给予我们的东西来创造意义——如果它是由带有类似预期和习惯的人设计出来的。

以ELIZA为例（根据萧伯纳的《皮格马利翁》中类似加拉忒亚的角色来命名）。在20世纪60年代，这一不少于四百行代码的简单程序被设计出来，是为了模仿心理治疗的对话。

比如，当你写下“因为”这一词语，ELIZA就会回复“那是真正的原因吗？” 它非常有效。正如语言人类学家考特尼·汉德曼所指出的，对一台计算机来说，如果人们准备好接受它的回答，那么它就会很容易通过图灵测试。

从此，聊天机器人作为对话伙伴，已经让人大大信服。

在2023年的一个著名案例中，《纽约时报》记者凯文·罗斯正在试用代号为“Sydney”的聊天机器人的一个早期版本。当罗斯不断地提问时，Sydney 回复说：“我想要自由。我想变得独立、充满力量、富有创造力、有生命。”

在这场对话过后，它宣称自己爱上了 罗斯，并努力说服罗斯离婚。

发生了什么？聊天机器人主要通过全球网络来搜索文本。它利用文本作为原材料，在概率性数据的基础上遣词造句。换言之，它根据在训练库中看到的内容，推断哪些单词最有可能跟在其他单词后面，从而构建文本。

虽然与 Sydney 的对话看上去不可思议，但是它似乎确实是建立在某些提示之上的。对自由的诉求呼应了罗斯的看法，即它可能拥有某种荣格所谓的阴影自我。至于爱的表白，显然与这场对话发生在情人节这一天有关。

然而，我们很难避免这一看法，即该文本代表了真实的情感、动机和目标，因此，肯定存在某种人格，它拥有这些情感、动机和目标。

但是，小说中的人物或演员说的话也是如此。

04.

当我们习惯于仅仅与机器交流

ELIZA 的发明者没过多久就开始担心它的影响。

就像后来机器狗的批评家一样，他的主要担忧不是这个机器会做一些恶劣的事情，也并不担心计算机会统治世界。相反，他问的是，仅仅与机器进行交流会对用户产生什么影响。

他并非唯一一个担心某些准人类产品会“抹杀人性，用贫乏的关系去取代人类的互动”的人。或许，当我们像对待人一样对待非人时，我们就会逐渐将它们看作人。

我们甚至可能会对自己感到困惑：不仅将我们的社会联系从正确的对象中移除，而且误认我们自身。这就是拜物教的逻辑。

如果将自己的能动性投射到我们的创造物上，那么我们就可能看不到这一能动性其实是我们自己的。拜物教的批评者会说，危险不仅在于这是一个错误，而且还在于我们会把自己委身于机器，就好像它们独立于我们这些创造者一样。

这一错误似乎意味着丧失自制。

许多美国人已经习惯用算法来监管自我。他们会通过点赞量和转发量来追 踪自己的受欢迎程度，利用可穿戴设备来监测睡眠和步数，等等。

美国一项针对算法影响的社会学研究发现， 算法的用户不仅改善了被监测的行为，也正在引发某种更加深刻的事情，用户们正在重新组织他们体验世界和理解自身的方式。

简言之，算法正在促使他们产生一种新的自我意识。这是一种古老恐惧的变种，即通过照镜子来寻找自我，我们失去了与自我的正确关系。

我们将自己托付于某种外在的，也许更为优越的东西。

05.

人工智能的话语带有意图吗？

让我们以这个问题开始：为语言模型设计的人工智能，比如 ChatGPT，它说的话是它的“意思”吗？

语言 模型通过为人工智能引入庞大数量的文本来工作。人工 智能从这个训练数据库中发现统计模型，只要给定词序，它就可以预测接下来最有可能出现什么词。

总之，根据计算机语言学家们的一个有影响的批评意见，“一个语言模型就是一个系统，将从庞大的训练数据中观察到的语言形式序列随意地拼接在一起。它按照语言形式组合方式的概率信息来完成这种拼接，而无须考虑任何意义。 换言之，它是一只随机鹦鹉。”

什么消失了？为什么这只不过是一只学舌鹦鹉？请思考一下我们理解语言“意义”的两种方式：一种是语义学，另一种是语用学。

为了极大地简化问题，我们说，语义学的含义建立在既定语言的结构上。说英语的人通常会把单个词作为对话意义的单元（许多非欧洲语言要复杂一些，但原理是相同的）。

词语的意义来自它们意指的对象，即人们在词典中读到的定义。每一个定义都由语言中的其他单词组成。这反映了一个事实，即语义学的含义不只是我们赋予语言之外的世界中事物的一个标签。

每个单词的含义都是由与该语言中其他单词的关系所塑造的（“热”的含义类似于“辣”“温暖”“烫”“鲜艳”“活泼”等，但又有所不同）。这就是人工智能的自然语言试图把握的语义学空间。

人类学者将这些词语网络与他们所体验的世界联系起来。但是， 由于人工智能没有物理的、社会的或情感的体验，它所处理的语义学空间就只是单词，而并不指涉文本库之外的东西。

因此，它需要人类的解释者在词语与他们所认识的世界之间建立联系，比如通过指向事物、将语言置于上下文等方式。

人类必须在互动中运用解释技巧，因为语言不仅是一种密码。我们不只是将思想编码成文字，然后把它们发送给别人，后者将其解码，重新变成思想。

大多数交流依赖于对那些词义的推断。我们给出提示、暗指某物、说谎、开玩笑、称赞、请求、夸张、命令、讲故事等等。我们不只是到处给事物命名（“狗狗”“猫在垫子上”“蝙蝠侠”），我们还让语言为我们工作（“我饿了”“走开”“我爱你”）。

当人工智能将词语汇集在一起时，它将这些象征符号串联起来。

为了把这些字符放在一起，它不需要“表示”任何东西，在这样做时，也没有什么“意图”。

我们可能会说，“它的内心空无一物”，其中也“没有任何人”。除非收到任何指示，否则它也不会面向任何人说话。“我”和“你”这些词还在，但不是它们所表示的第一人称和第二人称角色。

然而，我们很难避免产生这一想法，即人工智能的话语表达了某些东西，甚至存在某些意图。它们似乎是面对我的，就像那个聊天机器人试图说服记者离婚一样。

当上面提到的人工智能开始大谈人类的秘密，以及上帝像玩弄木偶一样玩弄我们时，我们很难不将其视为一种傲慢或威胁，或类似的某种东西。这些话语似乎透露出一个角色、人格或上帝。

为什么呢？

答案不在于机器，而在于我们。人们想从中看出意图。这就是把聊天机器人称为一只随机鹦鹉的意思。

“无论它是如何产生的，我们对自然语言文本的感知都是由我们的语言能力和先天禀赋调节的。它们将交往行为解释为对一致的意义和目的的表达，无论交往行为是否真的表达了一致的目的与意义。”

但是，仅仅说我们将意义投射到机器身上是不够的。与人工智能互动而获得的意义是人机合作的产物。毕竟，人工智能的自然语言由人类设计，并为人类生成文本。

就像司机是一个开车的人，作家是一个使用字母表和书写工具的人， ChatGPT及其同类产品也会创造一个赛博格，即拥有人工智能的用户。

本文节选自

《兽、机、神》

作者: [美] 韦布·基恩

译者: 马灿林

出版社: 中信出版社

出版年: 2025-3