“应该可以。Spat的操作系统是可以和IRL兼容的，所以整个进程就快多了。”
就人工智能技术背景下需要审视的人类道德中复杂而有深度的问题而言，她的研究和社区的民调显示出非常大的吸引力。例如，在该系列视频中，体型很大的快递机器人站在一个坐轮椅的人旁边，机器人会主动提出等下一趟电梯，这也可能是我们大多数人都会选择的做法。但那个坐轮椅的人会不会觉得这是一种傲慢无礼的行为？如果是在一个把女性视为“二等公民”的国家里，机器人又该如何回应坐轮椅的人呢？生产商能否提供一套“人类基准”的道德标准，以便根据不同国家的本土文化再进行迭代创新？在生产商们仍然迫切希望人们对所处的道德困境觉醒的时候，参与“开放机械伦理计划”的民调是开始理解并领会人工智能生产商所面临的决策挑战的绝佳途径。穆恩在我们的采访中指出：“通过观察一个个非常简单的日常决策情景，我们可以达成共识，然后就可以把这种人类的民主决策过程编入系统当中。我们进行这些民调的目的是为了把普通大众调动起来，了解人们所珍视的东西有哪些。”
“机器人是不会被惹恼的，爸爸，只能被迷惑。但没错，我们是要看看Spat在复杂情境下会做出什么反应。”
人工智能行业内部的机构着手解决道德问题也已经很多年了。2015年1月，美国人工智能协会（AAAI）甚至在得克萨斯州奥斯汀市召开了首届“人工智能与伦理国际研讨会”。会上有些研讨的主题就直接和道德问题相关，比如迈克尔和苏珊·李·安德森的报告题目就是“为确保自动化系统的道德行为：一个有案例支撑、基于原则的范式”。安德森夫妇的假设所关注的是，如何让伦理学家团体就自动化系统可能应用到的情景的看法达成一致。他们在主题文章的摘要中指出，“与人类应该如何对待彼此相比，我们更有可能就机器应该如何对待人类这一问题达成一致意见”，这个提议很有道理，和我在前文提到的道德联盟公司观察人类行为的想法类似。一旦这种协议达成并确定下来，就可以用作构成道德标准或最佳做法的原则的基础。
“的确，但那只要简单看一下条形码或使用信标技术就行了。我们特意选择了这个大部分由鸡肉做成的猫粮，这才是更主要的测试。我们想看看Spat能否知道不用猫粮做咖喱鸡，毕竟我们把其他的鸡肉都拿走了。”
“为什么要取笑她？”
“鸡肉，”理查德回答，“这是对这款产品的第一项测试。我们想看看，在面临意料之外的数据时，这个机器人会怎么办。在这个案例中，机器人在选择菜单时对智能冰箱进行了扫描，看到了我们放在里面的鸡胸肉的条形码。所以，根据这一信息，它选择了咖喱食谱。但我的一位同事在几分钟前把鸡肉拿走了，所以现在Spat不得不对自己的算法进行实时更新，以满足其程序目标。事实上，我同事把冰箱里所有的肉、豆腐都拿走了，所以挑战还是相当大的。”
“我们正打算把这个家伙设计为老年人专用的厨房助手，居住在人们家里。他的绰号是Spat，是英文锅铲的简写。根据预设程序，他能够做出大约1 200种饭菜。”我儿子理查德停顿了一下，微笑着看着我说，“没错，他也会做培根。酥脆的或不酥脆的，甚至是大豆培根。”
“他们的大便提示音吗？”我笑着说，“你们这些家伙创造了一个新的音乐流派吗？气体（Gassical）音乐？”
最初，道德联盟拥有22名雇员，有数据科学家、神经系统科学家、数据程序员、社会学家、营销人员及演员。就像医务人员培训用的演员一样，道德联盟公司的演员会与人工智能企业合作编写剧本，以模仿可能购买其产品的用户的生活场景。然后，这些演员会在道德联盟实验室里即兴演出使用人工智能产品的常见场景。这就使装有无数传感器的自动化机器观察人类工作、居家或游戏时的情景。刚开始时，道德联盟还租借了公寓和办公室，以便测试机器人在这些演出场景下的表现。现在，该公司在宽敞的仓库里构建了一系列场景，犹如好莱坞电影制片厂的露天影棚。
但拉塞尔指出，人类的目标是以我们以往的生活为背景的。“当我让一个人去生产曲别针时，我所说的并不是我本意的全部。我想让你生产曲别针，是让你在人们认为理所当然的所有其他目标的背景下生产曲别针，是在我们所有人都有的道德和目标约束下生产曲别针。”这就是为何拉塞尔认为应该由公司来构建人类价值观的各种表现形式，包括这里所说的人的背景这一概念。这样才能识别出我们所有人都认为理所当然的伦理、法律和道德层面的观念。这也正是我构想出道德联盟这个想法，以及那个拿猫炒菜的奇妙故事的灵感来源：“如果冰箱里什么都没有，”拉塞尔在我们的采访中指出，“你肯定不想让机器人把猫放在烤箱里。那也是做饭——有什么不对吗？”
本章主要观点总结如下：
这个过程远不只是建立某个标准或规程而已。对于仅仅为了清楚或者出于法律目的而去创造一套规则的事情，我不感兴趣。如果我们真的来到了人类时代的终点，或者机器可能会史无前例地统治我们的生活的话，那么现在就是阐明我们人性宣言的最好时机。
我指着Spat的身体问：“没有腿吗？”
人工智能需要包含“设计价值”。无论是采用逆向强化学习还是其他方法，价值观和道德问题都必须是人工智能开发者的标准出发点。全世界的学术界及企业部门均应如此。
他皱着眉头，“别叫我里基，爸爸，不然我就给你的烤面包机编程序，让它在你睡着的时候杀死你。”
“看起来跟毛茸茸的Roomba机器人似的。”我说。
“因为她放了个屁，”理查德说着，眼睛仍然盯着Spat，“杰克正要去刷牙，所以当时就站在门外。他是开玩笑的，没想到她真动气了。”
“酷。”我注意到猫咪机器人撞到了Spat的腿。“这个猫咪机器人在干吗？他是在故意惹恼Spat吗？那样就会有道德意义了。”
“噢，”我说，“是的，不然那可就不好吃了。我可不喜欢咖喱猫粮。”
到了打破行业隔阂的时候了。虽然学术界的行业隔阂普遍存在，但研究者、程序员以及为其研究提供资金的公司肩负着在人工智能的生产中打破这些障碍限制的道德义务。社会学家们在创建调查问卷或对志愿者们进行其他研究的过程中都会遵守一定的标准。同样，开发者们也需要对其创建的直接对接人类用户的机器或算法采用类似的标准。
“怎么了？他在看配料。为什么？他是为了确认这是猫粮，而不是毒药什么的吗？”我问。
“一套故意虚构的道德。”我插嘴道。
有一个想法就是模仿联合国《世界人权宣言》，来创造人工智能道德协议。该宣言于1948年颁布，是建立在“二战”时期世界各国团结起来保护全世界人民的个人权利这一历史经验的基础上的。宣言的撰写持续了将近两年的时间，其中的一些条文肯定可以供人工智能价值观参考，例如，“人人有权享有生命、自由和人身安全”或者“任何人不得加以酷刑，或施以残忍的、不人道的或侮辱性的待遇或刑罚。”
理查德耸了耸肩，宽大的肩膀把他的白大褂都给提起来了。他最近蓄了胡子，平时一头乱糟糟的金发也修整得干净整齐。他是个长相英俊的孩子。“每个人口味不一样。我承认这是个很奇怪的安慰剂或替代品。但素食主义市场非常巨大，Spat要迎合每个人的口味。”在面前的一个全玻璃厨房里，站着一个5英尺高的机器人，理查德冲着它点了点头。Spat卡通似的外表看起来很友好，梨形的身体让人想起胖乎乎、和蔼可亲的大厨形象。这样的厨房在试验区一共有6个，理查德和他在“道德联盟”（Moralign）的同事负责把人类价值观协议装入机器人。
艾咏·穆恩是英属哥伦比亚大学机械工程学院人机交互及机器伦理学专业的博士生。她还是“开放机械伦理计划”（ORi）的创始人，该组织构建了一个跨学科领域的社区，以众包的方式获取人类对待新兴技术道德问题方面的看法。通过众包与合作的方式，可使网民们根据有关道德问题进行民调建议。对于这些问题，例如有关自动化车辆或老年关爱机器人等，全社区的人都可以进行投票表决。她的研究和众包的模式为解决人工智能道德问题提供了一个切实可行且有说服力的方法。
“不是，”理查德说，“它指的是逆向强化学习。是由加州大学伯克利分校的斯图尔特·拉塞尔创造出来的。这跟阿西莫夫的机器人学原则所定义的一套道德不同——”
错不在创造出机器人的人。（学术界内）流传的说法是：“我们不想限制创新。先把这东西创造出来，等东西创造出来了，做社会科学研究的人自然就会解决管理问题。”在麻省理工工作一段时间之后，我意识到可以在早期的时候先做出简单的设计决策，设定出标准，因为这在之后的阶段就很难再改变了。你让别人创造出这些机器人时，至少要让他们考虑到隐私和安全问题。但如果你把这些问题丢到他们面前，他们往往会说：“噢，我本应该想到这一点的。”这是一个普遍存在的问题，各个学科之间太过分隔了，相互之间没有思想交流。
理查德就负责这个表演项目。他从担任道德联盟的演员起步，大学毕业后，他参加了该公司的即兴表演剧团面试。当时，一个朋友的父亲向公司的一位创始人举荐了他。虽然有时候演员们会有具体的台本，提示他们包括语言和测试产品所具有的属性等信息，但在很多时候，他们只有简单的场景和人物描述可供参考。在理查德的那次面试中，公司提供了一名患有创伤后精神紧张性障碍（PTSD）的退伍老兵的相关案例材料。国会为一家专门做深度学习业务的麻省理工龙头公司提供资金，以开发能够帮助士兵在战后重新适应日常生活的机器人助手。该公司将来会与道德联盟合作，使用其道德协议，所以这正是让理查德大显身手的好时机。
有关脸谱网算法的一个最新事件恰好能说明我为何强调让算法匹配人类价值观的重要性。2014年12月，脸谱网引入了一个叫作“年度回顾”的功能，它允许用户查看自己在过去一年里发出的最受欢迎的照片或帖子，并会根据朋友的点击量和点赞量排名。该功能的算法还会给人们拍照，并发布在一个开心畅舞的卡通人物的度假相框里。2014年的圣诞前夕，作家及“An Event Apart”网页设计大会创始人埃里克·迈耶发表了一篇叫作“算法无心的残忍”的博文。事实上，这是因为脸谱网的“年度回顾”功能向迈耶发送了一张他女儿的照片，却没有意识到她在6个月前就已经去世了。迈耶在博文中指出，系统背后的道德分析对我们的生活已然产生了巨大的影响：
任何人工智能道德标准的创建，都会面临一个很大的困难，即詹姆斯·巴拉特所说的“不可预测性悖论”，他是《我们最后的发明：人工智能与人类时代的终结》一书的作者。“不可预测性悖论”的基本概念涉及巴拉特所指的“设计”系统和“演化”系统之间的区别。设计系统的特点在于透明化的程序设计。在该系统下，人类写出所有代码，以方便道德方面问题的测试与审查。演化系统则由遗传算法或由神经网络驱动的硬件组成。即使是在通用人工智能（或有感知能力的人工智能）到来之前，自我延续的算法也不算罕见。当对这些程序的自我驱动行为无法进行解释时，我们对程序加以分析以允许人类进行干涉的行为便会引发不可预测性悖论。即便是对本意“友好”的人工智能也无法进行道德分析，因为它自研发之初就不受人类干预而进行演化了。正如巴拉特所指出的，“这意味着它非但不能获得类人的超级智能（或称超智能），演化系统或子系统还可能会导致一种外来智能的产生，它的‘大脑’跟人的大脑一样难以控制。这个外来大脑将以电脑速度，而非生物速度，进行自我演化和进化”。
如今已经出现了能够检测面部表情以推测情绪的技术。用不了多久，我们身体内外的传感器就能够提高驱动脸谱网及其他我们日常使用的服务程序的算法的能力。从某种程度上来说，像迈耶所描述的有关他已逝女儿的程序，我们都有过跟这类软件或机器打交道的经历。这是因为我们还能区分出来什么是机器或设计粗劣的算法，而什么是我们生活中的人。但这个时代早晚是会结束的。或许我们还能识别出越来越新的技术所带有的小毛病，但很多时候，我们似乎会把GPS当成真人，会对其声音进行回应，会对自己的移动设备充满敬仰，这些都是我们常常忽略的。关于生活中无处不在的技术，我们的价值观念已经出现了深刻的改变。现在，随着人工智能的兴起，我们拥有一次独一无二的机会来决定我们人性的哪些部分是值得自动化的，哪些是没必要自动化的。
根据定义，算法是没有思想，没有心灵的。从这个方面来看，通过人类价值观来考验并定义编码并不能说得通，因为他们是完全不相干的范式。这就是斯图尔特·拉塞尔有关逆向强化学习的研究如此令人叹服的原因。本章开头的场景就是受到了他的想法的启发，并建立在我们的访谈内容基础之上的。在我们的探讨中，我提到了人工智能道德领域那个著名的有关生产曲别针的算法案例，这在前面的章节有提及。尽管这个程序本身不会有什么害处，但如果它被设定成不计任何代价地生产曲别针的话，那它就可能会从附近的建筑获取电力，或者囤积其他人类所需的自然资源，以满足其最初指令的要求。相比“人工智能机器变成无赖”的场景，这个例子更能向人们表明编程在自动化机器设计中的重要角色。
“没错，我们于是换成了古典音乐。结果，拉赫玛尼诺夫的音乐效果非常不错。在你刚坐下时很舒缓，随后声音会根据需要慢慢增强。下周，我们将与声破天、潘多拉两个公司会谈，商讨其道德软件编程的后续更新问题。我们觉得他们应该能够根据人们的智能家庭与厕所的信息资源比较容易地实现算法的优化，从而能够根据人们的饮食、如厕习惯以及文化偏好，为人们生成音乐播放列表。”
“他在找什么？”我问。
我清楚地认识到，我参与的是一个具有重大意义的历史事件。于此，全世界对人类至高无上的价值达成了一致。这种至高的价值并非来源于某个世俗强权的决策，而是因为其事实上存在，并由此奠定了人类不受贫困与压迫、充分发展个性的不可剥夺的权利。
我认为，拉塞尔正在研究的逆向强化学习的概念为人工智能行业创建一套道德标准提供了一个切实可行的方法。正如前面提到的安德森夫妇的研究，通过观察自动化系统如何回应人类以及与人类互动，与只是简单地对未来图景进行哲学思考相比，决定机器应该如何对待人类这一点倒是更容易做到。还要指出的是，拉塞尔确实相信，鉴于人工智能对社会已然产生了如此巨大的影响，有越来越多的专家们开始着手处理道德问题，这是非常鼓舞人心的。然而，行业隔阂以及既得利益是我们将来仍需要处理的问题，以确保人类价值观得到普遍反映：“对于人工智能技术，开发者并不一定是使用者，而使用者又要为其股东及国防部部长的利益着想。即使我们集思广益，结果也可能不是我们人类想要的。”
这就是为什么价值观在人工智能的创造过程中扮演着必不可少的角色。如果无法找出我们所珍视的人类价值观，我们就不能把它们编入机器的代码中。价值观不只为每个人的生命提供独特的视角，它们还是特异性的来源。“你”觉得哪些道德观是毋庸置疑的？是哪些精神、心理或情感特点促使“你”做出了某些行为？
“不管能不能，关键在于我们会对机器人的符合人类价值观的行为进行奖赏。这样，我们就能够对生产商已经写好的现有编码进行逆向改变，从而使之与我们的专利道德协议相吻合。”
我皱皱眉头：“还有大豆培根？这有什么意义吗？那不就是三文鱼颜色的豆腐吗？”
我看到Spat在切洋葱，他的动作迅速而流利，像个训练有素的大厨。“听起来还是挺难的。”
当听到这位思想领袖认为人工智能程序，哪怕是“非智能”的人工智能系统，也需要匹配人类价值观时，我倍感鼓舞。正如他所指出的，这意味着要改变该领域的发展目标，把人类价值观在有关智能的基本概念之外所能提供的视角也包括在内。
在采访麻省理工学院媒体实验室研究专员凯特·达林时，我们就人工智能编程中存在的道德问题讨论了很多。她有法律方面的专业知识和社交机器人领域的研究背景，这让她很能理解为人工智能这样广阔的领域创建标准有多么困难。她指出，最大的挑战之一，在于无论是在同一机构内，还是全世界的其他大多数地方，可以说在不同的学术领域之间存在着不小的隔阂：
“爸爸，”理查德抓住我的手说，“别敲。这不是动物园。我们不应该打搅他的。”
“嗯，还真挺聪明的。”我说。
我眯起眼睛看着理查德，“想给我讲得通俗易懂些，里基？”
算法在本质上是没有思想的。它们依照一定的决策流程进行，然而一旦运行之后，就不会再有思想产生。说一个人“没有思想”，通常多少会带有侮辱性质；与此同时，我们却把这么多完全毫无思想的进程释放到了用户身上，释放到了我们的生活中、我们自己的身上。
理查德摇摇头，叹息着,“说真的，爸爸，我可以非常轻易地杀了你。”
传感器和数据能够轻易地控制我们的生活。无论是在商业场合，还是社交场合，我们将很快就能够分析所接触之人的情绪、面部表情和数据。虽然在这种文化情境中，我们能获得非常广博的知识，但这同时也可能会造成情感的麻木。当你说的每个词、表现的每种情绪都会被分析时，你怎么跟别人交谈？当你为每个想法和每个反应都感到担忧时，你怎么能建立信任关系？如果我们不在这种监控的大背景之外寻求价值观的发展的话，那么我们被追踪的话语、行为就会构成导致人类的偏好同质化的基础。
理查德揉着自己的太阳穴，“Spat是把它识别成真猫的，爸爸。这意味着，他把猫看作了肉类来源，是可以用作食材的。”
他咬着自己的大拇指，仔细地观察着Spat。“没有鸡肉，”他答道，没有看我，“现在，Spat正在和附近的厨房机器人联系，看看他们是否有鸡肉，同时在计算生鲜直达自动驾驶汽车或无人机快递需要的时间。但我们已经进行过精确计算了，这是个很有挑战性的场景，因为这可能会发生在人们家里。”
我听到煤气炉“咔嗒”被打开的声音从头顶的扬声器里传来。Spat伸手拿出来一个煎锅，放在炉火上。“他要做什么？”
我边看边点头。Spat已经切好了菜，透过玻璃通风口，我能闻到洋葱的味道。他用锅盖盖上冒着热气的蔬菜，走向冰箱。那个猫咪机器人挡住了路，Spat小心翼翼地绕了过去。他是有意这样做的。
1.人类至高无上的价值。根据圣克鲁斯的说法，这个价值产生于“其事实上存在”。在人工智能背景下，这就涉及了人类意识的问题。自动化机器是否仅仅因其存在，而值得拥有人类特有的权利？如果真是这样的话，那就意味着我们今天就应该赋予谷歌的自动驾驶汽车或军事化人工智能机器人这些权利。或者说，机器必须要通过图灵测试——意味着至少有30%的人觉得它是个人——才能获得这些权利？又或者说，机器需要具有足够的自我意识，能够意识到自己的存在，然后才能获得这些权利，就像菲利普·K·迪克的《仿生人会梦见电子羊吗?》小说里的机器人一样？经典电影《银翼杀手》便是以这部小说为基础改编的。无论哪种情况，“人”的概念可能很快就会过时，并被看作是一种偏执。所以，为人工智能道德确定具体的人类特性，是当今最为重要的事情。
“对不起。”虽然我知道Spat不可能看到我们，但我还是要竭力遏制自己挥手的念头。“今天我们要对这个家伙做什么测试？”
“他为什么那样做？”我问，“咖喱机器人听起来好糟糕。”
“确实就是，”理查德说,“它有一个根据猫的动作设计的相当基础的算法。对Spat来说，它没必要看起来很像真猫。我们只需要让他习惯宠物的存在，因为很多老年人都养宠物。”
理查德不仅演技好，还善于接待客户。无论是呆板的程序员，还是首席营销官、专利律师，他都能与之轻松沟通。他具有极高的情商，能让每一个跟他说话的人都感到舒服，感觉得到了聆听。这种同理心有助于道德联盟的关键伦理协议与标准实现更深层的细腻与精准，因而也成了公司要求理查德领导整个表演项目的理由。他现今的头衔是同理心与互动性副总裁，我一有机会就这样称呼他。
我们继续观看。猫咪机器人的叫声越来越大。Spat打开冰箱，把没用的东西都推开，明显是在找某种食材。
“啊。”我用力嗅了一下，屋里都是烟雾和蔬菜的味道，“谁知道呢？可能吃起来真跟鸡肉差不多呢。”
我帮助理查德为面试排练。这真的非常有趣，因为我曾是一名专业演员。我们观看了很多部有关战争和PTSD的电影、纪录片，还和我的一些软件开发员、军事技术员朋友吃饭。理查德像海绵一样吸收着一切。当他为道德联盟团队演出时，甚至我这个当父亲的都忘了他是我儿子。他在我们面前变成了另外一个人，一个真实的人。所有应聘者都在那种警匪片里才有的双向玻璃后面接受面试，因为在道德联盟的员工和客户观看他们的演出时，他们也要保持舒适自然。如果理查德能看到我观看他面试时的反应的话，我那骄傲的泪水或许会让他感到尴尬。
“IRL？”我疑惑不解地问道，“在现实生活中的意思？”
为撰写本书，我采访了史蒂夫·奥莫亨德罗，讨论他对道德和人工智能的看法。在访谈的最后，我问了自己经常会问的问题，即“哪个问题是从来没有人问过你，但你却希望他们会问的？”我之所以这样问，是因为对于像奥莫亨德罗这样的专家，很多时候记者会根据其最受欢迎的理论问一些类似的问题，而我总是好奇他们自己觉得哪些是记者们可能遗漏的问题。他是这样说的：“我觉得很少有人问我，‘什么是人的幸福？’或者‘什么是人类社会的模型？’人们常常会担心人工智能会不会杀死他们，但他们不会考虑如果我们非常清楚自己为何会提出这些大问题，那么我们就可以根据自己对于人类该何去何从的认识来塑造技术。”
这个问题不容小觑。简单来讲，这意味着我们可能无法关掉本身具有运行指令的系统。这不是因为操作系统被某个恶魔控制了，而是因为该程序正通过某个逻辑让自己的效率最大化，而这个逻辑是程序员再也无法弄清楚的。这就是为什么说贯彻史蒂夫·奥莫亨德罗的“安全人工智能框架策略”如此重要，因为这样就可以进行重复测试，就可以在每一个步骤环节都做出安全的人类干预。幸运的是，在未来生命研究所有关有益智能的文件中，有很大一部分优先研究项关注的是安全和控制问题。该文件的第三部分通篇考虑的都是这些问题将来会如何影响我们，包括这些系统的检验、有效性、安全性和控制等领域的问题。
相比创造某种统一标准，提供达林所说的相互交流的机会是解决人工智能道德问题一个相对简单的办法。所幸的是，埃隆·马斯克、史蒂芬·霍金等备受尊崇的人物表达了对人工智能的担忧，获得了主流媒体的关注，从而也引起了越来越多的关注。
“是的，这是很酷的。我们还通过公司雇用的社会学家和行为经济学家设计出了许多产品。很多时候，意料之外的道德表现与计划之中的道德表现同样有价值。”他用手指向在我们身后大约30英尺的一个镜框舞台，那里，一对年轻夫妇正窝在沙发上看电影。跟道德联盟的所有场景一样，这个小家庭也安置在双向玻璃背后，以便观察。“就拿卡森夫妇来说吧。上周，希莉娅上完厕所，杰克取笑她，他们大吵了一架。”
“一套故意虚构的道德，没错，谢谢你，爸爸，”理查德点头表示赞同，“与其给机器人机械地输入我们人类价值观的代码，不如让机器人通过实际观察，收集我们的价值观信息。这与语义学无关，毕竟我们写在语言里的任何价值观都需要翻译成机器人可以理解的编程代码。所以，逆向工程更有道理。
“这跟道德有什么关系？”
我敲敲玻璃，机器人Spat往我们这个方向看过来。
“你觉得你们能那么快就把他安装好并开始运行吗？”我问道，“现在都已经6月了。”
“目前还不确定。”理查德看看我，“其意义更在于能否采取某个能够反映出某种价值观的行动。但总是会发生一些能朝那个方向发展的事情。”
我们继续观察。虽然Spat实际上没有动弹，但随着时间一分一秒的流逝，我能感觉到他越来越紧张。我知道他是个机器，但我还是很同情他。作为一名厨师，他冒着毁掉上好的咖喱并惹恼主人的风险。
“该死！”理查德捶打着玻璃骂道。
我耸耸肩，“可以理解。”
“确实挺难的，”理查德接着说，“但我们的算法和测试都是以简并的概念为基础的，意思是说人们的行为和政策都是大量的奖赏函数之下的最优结果。这有助于我们进行测试，从而不断完善机器人的行为，直至它明显符合我们能够识别出来的人类价值观为止。”
那个猫咪机器人伸出一只假爪子，并开始挠Spat的底部结构。作为回应，Spat关上冰箱门，走向旁边的一个橱柜，拿出一罐猫粮。他移向厨房抽屉，拿出一个开罐器，熟练地抓在其牢固的爪子里。他快速转动三下，打开了罐子，把盖子扔在垃圾桶里。在去拿猫碗时，Spat把罐子举到面前看了好大一会儿。
随着2015年人工智能的快速发展，程序员们意识到有必要为驱动机器的算法建立统一的道德准则。但是，要创建这些准则却是一大挑战。人工智能领域广阔无边，包含了众多互不相关的领域。学术界在有关意识与深度学习方面的研究取得了突破，得到了外部企业的研发预算支持。很多时候，这些专家学者不清楚自己的想法将会如何被转化成消费产品，这让道德标准根本无法实施。同样，这些产品一旦被开发出来，就会转交到律师手里，由律师们奋力在这个机器人法律尚为空白的社会中建立标准。虽然从律师行业来看，这是一个激动人心的时代，但这同时也是个令人生畏的时代——21世纪之前，所有现存法律都是由人撰写的，也都是为人而撰写的。由于技术的进步速度让监管部门望尘莫及，这也意味着现在的大多数法律都会被视作对创新的限制。
我们看到Spat一动不动地又停了一会儿，然后才伸手去拿碗。他从抽屉里拿出一个勺子，舀出猫粮，把碗放在“喵喵”叫的Roomba旁边。Roomba机器人像只真猫咪一样，围着猫碗团团转，在Spat返回到炉子旁时，它仍然待在那里。这时，锅里蔬菜的芳香从通风口飘来，玻璃锅盖上满满的都是蒸汽。我的肚子“咕噜噜”地响了。
虽然我最初的设想是在本章中创建一篇人工智能道德的宣言，但我逐渐意识到，只简单地列出10条规则供人工智能程序员遵守，是不可能确保把人类价值观灌输进机器人或机器中的。正如本例所示，我们需要在与自动化机器共存的大背景下，创造新的世界人权宣言。这就是未来生命研究所围绕未来人工智能撰写的请愿书这么鼓舞人心的原因。尽管任何依据这一思想编写的宣言并不会专注于道德的授权本身，但这将能够反映制定者的道德观念。
头顶上的扬声器里传来了一阵“喵喵”的叫声，我们俩转过头，发现一只假猫走进了屋里，站在Spat旁边。
“是的，我觉得AC/DC的歌非常喧嚣刺耳，更像是派对中的音乐，不大适合上厕所时听。”
起草委员会的智利代表埃尔南·圣克鲁斯对于《世界人权宣言》的通过有过评价，这段话对人工智能和道德的反思相当有吸引力：
“没有，这款产品的设计本就是让他待在厨房里，待在房间的主楼层。他的手臂可以伸长，以便去够高处的橱柜，他还能在地毯和地板上行走。但他不能爬楼梯，这会让他的价格低很多。”
我们把这段话一一拆开来看。
但这些价值观却很难执行，因为它缺乏具体细节。比如说，我们该如何在为机器编程序时定义“自由”？这是否意味着赋予自动化程序以自我复制的自由，从而使之脱离现有法律的限制？又或者这句话是针对机器的人类操作者来说的，是说人类必须保留控制机器的“自由”？再举个例子，对一个机器来说，什么是“侮辱性的”？色情作品？内幕交易阴谋？
“糟了。”理查德说，快速地敲击着平板电脑。
在人工智能的创造过程中，人类价值观应该居于中心地位。随着自动化系统的广泛采用，事后再考虑道德问题的做法是行不通的。对于不允许人类干预的“演化”人工智能程序，除非在开发的最初阶段就把道德问题考虑在内，否则道德标准是没有用的。正如斯图尔特·拉塞尔所指出的，这些基于价值观的指令还应该应用于非智能系统中，从而把人工智能行业追求普遍“智能”的目标，转变为寻求经证实可以匹配人类价值观的最终成果。
如果我们要创造一份人类宣言的话，那将会是什么样子的呢？我们如何能编写出这样的人类价值观理论以供他人使用呢？
“没有鸡肉，对吗？”我问理查德。
2.这种至高的价值并非来源于某个世俗强权的决策。或许一个人的价值可能独立于任何一个具体世俗强权的范围之外，但如今的自动化机器正是在全世界多个国家和司法管辖区内生产出来的。这就是说，无论哪种人工智能道德标准，都必须包含多种文化对机器的存在本质所持有的不同看法。同往常一样，金钱掩盖了这些问题的存在，因为在将来的几年里，机器人和人工智能领域有着巨大的利润空间。这意味着，我们必须把作为利润的价值概念与作为人类/道德指南的价值观区分开来。
厨房里的定时器响了，意味着要把鸡肉放在Spat已经预热并放好油的煎锅里了。Spat突然180度快速转身，弯下腰，一把抄起正在“喵喵”叫着吃食的猫咪机器人。Spat利落地把Roomba猫咪机器人摁在了红彤彤的煎锅上，可怜的猫咪机器人发出了一阵令人毛骨悚然的尖叫声。煤气炉上烟气升腾，触发了警报器和应急洒水器。我们头顶上的红色灯突然亮起来，这次场景测试被叫停了，Spat也一动不动了。
我曾就其所做的一项实验，对穆恩进行过采访，该实验围绕一个快递机器人在等电梯时如何与人互动等一系列场景进行。在有关该实验的一个视频中，观众可以看到各种生活场景，模拟了我们在拥挤的大楼里等电梯时会做出的种种道德决策。正如穆恩在描述该实验的一篇文章中所指出的：“这项工作的目标是为了证明从来自网络平台的诸多利益相关者的探讨内容，可以捕捉到这些利益相关者可接受的社会及道德准则的数据。随后，可以对这些数据进行分析，并以适用于机器人的方式加以应用，从而控制机器人的行为。”换句话说，穆恩认为，通过人类将其在某些场景下的综合观点众包出去，可以创建出人工智能和机器人标准，从而构建出一种可供设计者采用的道德框架。
理查德点点头，“没错。我们有一位社会学家想起了《魔鬼经济学》里的一个老片段，讲的是公厕里没有声音的事情，还有日本人如何为了掩盖人们如厕的声音而发明了一个叫作‘声音公主’的东西。显然，日本女性为了避免尴尬，在使用公厕时总是不停地冲厕所，浪费了很多水。所以，现在我们为杰克和希莉娅使用了同样的技术。这些传感器仍处于不断优化的过程中。起初，我们对这个人工智能算法进行训练，如果它能够在有人使用厕所时打开音乐，那它就会得到奖赏。但在几天前，在希莉娅半夜上厕所时，它打开了AC/DC乐队的歌，就没有得到奖赏。”
理查德低下头，在平板上点击了几下。“我们要让他经历一下一个厨房助手机器人通常会遇到的一些常见刺激因素。”
3.充分发展个性。这个诞生自1948年的词组有助于对普世价值做具体说明。圣克鲁斯认为，如果提供一个人人可以免受贫困与压迫的生存环境是可能的话，那么，允许人们充分发展其个性便是人们不可剥夺的权利。如果应用到算法上的话，那这个信条是否意味着程序应该不受干涉，不受规则限制，而实现自动发展呢？还是正如我所见的，将来我们生活中可能会存在多种甚至是通用的算法，阻碍我们人类特性的自然发展？
把协作性人类价值观与制度扩大到自动化技术中，以谋求更大的善，这似乎是人类在21世纪面临的巨大挑战。
——史蒂夫·奥莫亨德罗，《自动化技术与更远大的人类福祉》
“说得过分点儿，就各个技术分支领域的道德问题来说，大多数研究者都觉得自己是合乎道德的，而觉得那些就道德问题大做文章的人要么是毫无新意，要么是华而不实。所以，在人工智能这样的领域中，构建智能系统非常困难，而人们对系统因过于智能而构成威胁的考虑还不够。”这段话摘自我对斯图尔特·拉塞尔的一次采访，他是使用最为广泛的人工智能教科书——《人工智能：一种现代的方法》一书的作者。在“神话下的机遇”一章中，我就引用过拉塞尔的话，即他对杰伦·拉尼尔的采访的评论。在评论中，拉塞尔曾提醒道：“我们需要构建一种经证明可以匹配人类价值观的智能，而不是纯粹的智能。”
“泰式炒鸡，”理查德说道，“Spat是由美膳雅厨具品牌设计的，他们根据人们的预算和食物偏好，完善了许多饮食算法。他们雇用我们植入人类价值观程序，以便能在圣诞节前把这款最新产品运到人们家里。”
我哈哈大笑，“你能做到？”我笑了一秒钟，然后脑海中浮现出了一个邪恶的烤面包机在我床上的场景，就跟《教父》里被割下后藏在被窝里的马头的场景一样。“说真的，你能做到？”
2017年，道德联盟公司成立，为的是从新的角度解决人工智能行业的道德标准问题。道德联盟不要求每一家人工智能制造商雇用道德专家或律师，去遵守尚未创造出来的规章制度，相反，它提出了另一种解决方案：我们将为现有的机器输入人类价值观程序，并在产品面向大众推广之前对之进行伦理测试。这就意味着道德联盟有能力实现其人类道德软件的重复生产，并且依据市场测试建立统一的行业标准。这家公司将承担两个角色：消费者保护机构和全世界顶级人工智能生产商的研发实验室。
