“好吧，聪明的家伙。调查工作做得不错。但我们也在不断多样化，我们在机器人方面的工作不容小觑。”
一阵风吹过，附近的煤气灯发出了咝咝的声音。“不好意思，我只不过还是不能相信我们真的在讨论这个事情，”我说道，“你可是来自谷歌的人。你们就不能直接把我的作品链接删掉，或者改变你们的算法或随便怎么做吗？你们甚至可以通过某种方式，把它合法地变成被遗忘的故事？”
不作恶。我们坚定地相信，从长远来看，一个为这个世界做好事的公司，哪怕它会放弃短期的利润，也是会给我们（作为股东并在其他方面）带来好处的公司。这是我们公司文化的重要组成部分，得到了公司内部的广泛认可。
我们应该在生存危机来临之前制定道德标准。如今，大部分的人工智能都正以不断加快的速度发展。因为在我们决定它是否“应该”被开发出来之前，它是“可以”进行开发的。在整个人工智能行业，程序员和科学家们既需要经济激励，又要遵守道德标准，这要从“今天”开始。未来生命研究所的请愿书为这方面的探讨开了个很好的头儿。
几瓶孤星啤酒给我带来的快感瞬间消失了。我曾多次写到自己对谷歌和隐私问题的担忧。事实上，当一辆“谷歌街景”汽车从我在新泽西的家门口驶过时，我还曾经尾随过它。我把手机卡在车窗外面，录了一段“谷歌街景”汽车行驶的视频，但从来都没有胆子发布出来。不管怎么说，反正没有谁会在意的——除了我母亲会担心我一边开车一边录像不安全。
“当然，你现在就在向我泄露这些细节，我可以把它们写下来。”我指出。
“吃了吗？”那个声音继续说道，“我饿了，你吃了吗？”《如何说得州方言》的原声带总能让我开心起来，主要是因为我只有在“县界”吃饭时才会听到。这意味着我又可以大快朵颐，一边享受最好吃的牛胸肉，一边和久别重逢的极客好友丹尼、玛尔塔、斯特凡、阿龙和凯丽相聚。我们每年都会来奥斯汀参加这一技术大会。酒足饭饱之后，我一边洗手，一边使劲儿用舌头剔牙，满嘴都是烟熏烧烤酱的味道。当我回到宾馆开始剔牙时，我才发现塞在牙缝里的牛肉还够做一个英雄三明治。
0.机器人不得伤害人类，或目睹人类将遭受危险而袖手不管。
谷歌及其他推动此类人工智能发展的公司已经觉察到了这种无意义。这是他们极力反对个人数据透明的主要原因。就个人信息而言，模糊的条件与条款或隐私保密政策是一种比过程公开简单的策略。如果能在互联网无限的广告领域中对他或她进行跟踪，那又何必费劲与顾客建立关系呢？
这些想法代表一种“机械化道德思维”，对此，布林斯约尔德在其论文《从机械化道义逻辑到道德机器人》中做了详细阐述。道义论研究道德义务，且正如其文中指出的，“要构建行为端正的机器人，其中一种方法强调在机械化形式逻辑的行为、义务及可容许性的基础上进行仔细的道德思考”。其中的关键正是这种“可容许性”——机器人只可以依据程序员编写进其运行系统中的具体道德参数做出反应，而不是让自动化智能根据某些模糊甚至是自相矛盾的法则运行，比如阿西莫夫提出的法则。
“是的，因为你们已经借助谷歌眼镜有了视觉的东西，有了车里的面部识别数据，还有鬼才知道的和物联网相关的东西。”我打断了他。
我暗自骂了一句。可穿戴设备已经让情绪公开化了，就如同戴着情绪戒指似的。
“不行，”他答道，没有回头，“能多益仅限内部供应。”
我点点头，突然间感到自己非常渺小。
“保密协议？”杰克逊笑道，“你开玩笑呢？在谷歌？在新入职的三个星期里，我一直都在接受有关保密协议的媒体培训。这是针对每位员工的培训，不只是像我这样的公关人员。不然，你觉得我们为什么一直在推送有关沉思的东西，并向媒体透露职工福利的信息？因为那是唯一能够应对潜在的知识产权泄露压力的办法。正念是话前思考的绝佳工具。”
萨加尔：嗯，那我再问一个问题。谷歌有个著名的口号，叫“不作恶”，对吧？你们是怎么想出来的？
施密特：哦，那个口号是拉里和谢尔盖发明的。他们的想法是，虽然我们不怎么了解什么是恶，但如果我们有个“不作恶”的规定的话，那员工可能会说：‘我觉得那是恶。’我今天在这里露脸，我觉得这是最最愚蠢的一条规定，因为可能除了《圣经》或其他类似的书上，还没有什么书能讲什么是恶。
——选自美国国家公共电台节目《等一等，先别告诉我》， 主播皮特·萨加尔，谷歌嘉宾埃里克·施密特，2013年5月
2.很多人相信的某种想法或故事，通常不是真的。
我说的“失灵的神话”就是这个意思。没错，利用C程序设计语言可能产生的错误或许比其他种类的代码要多，但人类在创造人工智能技术方面会犯错误，这已经是个已知前提。我有个程序员朋友，在一家大型出版公司工作。当我们谈到人工智能时，他说人们如果看到代码错误百出，一定会惊恐不安的。用他的话来说，“如果把编写代码比作建造房屋，那我们永远只能住在一层的建筑里，因为其他的一切都会倒塌”。
对于工作在语言分析或机器人领域，且对人工智能的大肆宣传感到疲倦的科学家和程序员，我抱有深切的同情。这种言论很无聊，导致了两种极端看法的产生：即人工智能要么完美无缺，要么一无是处。你要么是技术的拥护者，为人工智能所能带来的巨大好处而兴奋不已，要么是观念陈旧的勒德分子，到处散布恐怖信息，阻碍创新。这两种极端想法都不利于驱散人工智能的神话。多数人工智能专家同时也是伦理学家或经济学家，他们所接受的训练或任务，并不能让他们对其当前工作产生的所有可能后果都予以关注。最后，人工智能领域广阔无穷，它包括了多个垂直行业和多种应用，这让建立一套统一的行业标准变得更加复杂。
广告驱动的算法导致了无意义的产生。这里所说的无意义既是字面意义，又是比喻意义。除了人类在创造这些系统中的算法时所犯的错误之外，大多数程序都可以被黑客轻易地侵入。数据代理商向出价最高者出售我们的信息，而整个系统都是以购买为基础进行推测，而不是以意义为基础。如果人类终将被机器斩草除根的话，那我们至少应该努力不让这成为一场受市场驱使的大屠杀。
根据韦氏词典，“myth”（神话）一词有两层释义：
他让我无话可说。一名服务员端着热气腾腾的排骨从旁边走过。“对了，”我说道，“你们纽约办公室的自助餐厅真是令人吃惊。我吃了一份思慕雪和一份煎蛋卷，一共才花了大概7美元。”
一直让我很惊讶的是，人工智能开发者有时会开玩笑说，如果机器开始失灵或者做出意料之外的事情，那么他们只要“拔掉插头”就可以了。这句话本身就存在着重大的疏漏，除此之外，很多科学家和程序员所创造的系统，使用的都是自动化的设计。根据定义，这些算法应当表现出未经程序设计的行为。而这些程序的运行速度也迫切要求我们弄清楚，如果危机一旦发生，人类干预如何以及何时能够发挥作用。
例如，现在已经有大量的军事人工智能应用在了无人机和导弹打击上面。正如《纽约时报》刊登的一篇题为“可以挑选袭击对象的炸弹令人生畏”的文章所指出的那样，这些武器应用了传感器以及使其能够在部署之后做出瞬时决策的技术，“随着这些武器变得越来越智能、越来越灵敏，评论家们开始害怕它们会变得越来越难以控制”。而这还和机器获得感知能力没有任何关系。这里所涉及的，还只是如何尽可能多地了解可能出现的诸多情况，在此基础上创造自动化系统，从而让这些系统能够根据人类的意图做出反应。
这时，邻桌一群二十几岁的漂亮姑娘大笑起来，我俩都抬头看了看。她们穿着索尼T恤衫，头上戴着GoPro运动摄像机。在SXSW大会上，一切都带着品牌标志。至今还没有人发给我们印着公司商标的闪存盘，这让我很惊奇。
以下是本章要点总结：
“你是认真的？”这时，服务员端来了啤酒，瓶颈上还挂着水珠。我们停顿了一会儿。
他耸耸肩，“我们会杀了你。”
“没错。”他认识我，我感到很荣幸，“你读了吗？你又是怎么认出我来的？”这么多年来，我采访了成百上千名思想领袖，并对增强现实和人工智能等技术做出了一些颇有根据的预测。尽管我从2005年便走进了极客的圈子，认识了行业内的许多名家，但严格来说我还算不上有什么影响力。
“所以我们希望你能不再议论人工智能，”杰克逊说道，“只要你只关注技术层面，而不去想道德或者广告方面的问题的话，增强现实技术是没有什么问题的。”
1.古代文化故事，意在对某种做法、信仰或自然事件做出解释。
“是的。”他抿了口啤酒，没有按照男人喝酒的惯例碰一碰我的酒瓶，“你已经有些让人恼火了。我们已经做了一系列有关人工智能的视频剪辑，正准备向粉丝们推送，但你的一些想法让人们产生了困惑。关于这个话题，我们传达的中心思想非常明确：人工智能可能永远不会产生，而如果它真的产生的话，那也要四五十年的时间。除此之外，人工智能是一项非常伟大的技术，它的设计初衷是为了帮助人们，而不是伤害他们。”
“不然呢？”我喝完最后一口啤酒，把酒杯放在旁边的盘子里，“如果我不停止写，会怎样呢？”
我点点头，“很残酷。我能理解你们为什么要推送那些正念的东西了。”
“这么说，你也有朋友在谷歌工作。几年前，你曾来过我们的纽约办公室看望一个朋友。”
“我们宣布的是一共8个，”杰克逊说道，“但多数情况下，媒体讨论的是这些机器人与亚马逊及其无人机等相竞争的事情。许多探讨都把注意力集中在了商业领域，而不是在人工智能上。”
而我对这种无意义的担忧在于，它歪曲了人们对幸福的追求。对个人的真实或虚拟活动的无所不在的操纵会造成一定的负面影响。我在Mashable网站上发表过一篇文章，题目为“如果我们不控制自己的数据，人工智能便在劫难逃”。我在文章中写道：“那些专门赶在我们之前了解我们意图的个性化算法，构成了互联网经济的支柱……基于广告的人工智能通过购买渠道限定了我们的生活，在这些渠道中，我们的欲望只有在和投资收益存在联系时才会有存在的意义。”如果我们正朝着自动化智能掌控我们大部分生活的未来前行的话，那么我们有必要摒弃把购买当作主要功能的偏见。
“没人在乎你的房子，约翰。”他转过头来看我，“但当你提醒人们，相比人工智能来讲，我们更关注广告，这时我们就比较在意了。人们应该把注意力放在技术上面。”
1.我会知道我成了一名真正的作家。
这里有一些好消息——在本书初步定稿时，奥莫亨德罗、拉塞尔等思想领袖，以及众多人工智能领域的专家共同签署了一份请愿书，由未来生命研究所编写，名为“稳健有益的人工智能的优先研究项：一封公开信”。文中包含一个关于优先研究项的文本链接，突出强调了人工智能领域应该关注的诸多问题，例如道德问题及有关遏制的想法。以下是摘自此公开信上的一段话：
下文节选自谷歌的一篇题为“不作恶”的文件，在美国国家公共电台的采访中曾谈论道：
“你看，约翰，我们只需要再有大概两年多的时间，就能完成我们的人工智能战略了。对于是使用语义方法还是贝氏定理来打败图灵测试或者其他试验，学术界一直在互掐，但我们真的不在乎。以强力方法解决了数据问题就可以解决许多其他问题。如果我们只关注书面搜索查询的话，这或许是个要考虑的问题。但对于我们在做的这一切，大多数人都会认为我们的算法是有感知力的，因为他们想这样以为。”
以下是促成人工智能神话诞生的几个事实因素：
我们走过十来张桌子，情绪高涨的技术爱好者们正大口大口地吃着超大份的肉，同时还尝试发自拍照或者用油乎乎的手发信息。我们走出了餐厅，傍晚的空气有些凉，然后径直往后面的露台走去，从这里可以看到公牛溪。杰克逊向服务生示意，“请来两瓶孤星啤酒。”
我已经在得克萨斯州奥斯汀郊区湖边的“县界”烧烤酒吧吃过了。在过去的6年里，我每次来参加SXSW大会几乎都会去那里吃饭。在其中的5次会议中，我都参加了小组讨论或者进行专题发言，而在另外一次会议上，我负责业务拓展。这次大会规模宏大，包括三个不同项目，分别关注电影、音乐和互动技术。我向来只参加SXSW互动大会，该大会在奥斯汀举行，为期5天的会议吸引了4 000多人来参加。
“不行。”他摇摇头，“我们并没有创造资本主义，约翰，我们只是在利用它。当机器人接管所有人的工作时——反正这是不可避免的——我们还是要印钱的。我们之所以雇用库兹韦尔，是因为奇点是个非常强大的神话，能够让很多书呆子夜以继日地在谷歌总部工作。这样，他们就可以构建出我们所需的可以自我复制的算法，然后我们再把他们解雇。这就是生命循环。”
我指了指自己外套里面。“但如果我从离开厕所就一直在用手机录音呢？”我拉起外套，靠近手机说，“来自谷歌的杰克逊·史密斯。”
杰克逊拍拍我的肩膀，“跟你开玩笑的，约翰。我们不会采取任何官方措施。沉默是我们最有力的武器。你曾在公关行业待过，你知道那些手段。让他们从我们的行动中随意揣测，把他们分成两个阵营——谷歌迷或是疯狂的浑蛋。当然，你属于后者。”
杰克逊看出了我脸上的害怕。“只不过想跟你说几句话而已。”他打开厕所的门，伸出大拇指，朝餐厅指了指，“请你喝一杯？”
我们可以采用类似的方式来发展自动化技术。我们可以先构建一系列可以证实很安全的自动化系统，然后将之用于构建更为强大且限制更少的后继系统。之前的系统用来模拟人类价值观和治理结构。同时，它也用来证明安全性及其他更为复杂且限制更少的后继系统可能需要的特性。这样，我们便可以逐层地建起强大的技术高楼，从而更好地为人类的福祉而服务，而且在发展的过程中也不会存在较大的风险。
对此，我非常赞同。就人工智能和我们的未来而言，这份文件使我燃起了前所未有的深切希望。然而，对于该文档的这一条款，我可以做进一步补充，不管是人工智能经济，还是以人为中心的经济，实际的国内生产总值都“绝对无法精确地捕捉”其广度。或许，谷歌和人工智能领域中的好人能够通过某些算法一劳永逸地证明追逐短期利润不能带来未来的幸福。这个神话蒙蔽我们的全局意识的时间已经够长了。
“所以，当谷歌、亚马逊和IBM用机器人让所有人都失业后，我们一家子可以住在你们的办公室吗？那样的话，我就可以追求自己的爱好，享受你们的技术专家所说的自动化能带来的所谓的好处，可以吗？”
2.机器人必须服从人给予它的命令，当该命令与第一法则冲突时例外。
平心而论，我们常常听到人工智能领域的专家们说，在未来四五十年里，通用人工智能或强人工智能是不大可能出现的，对此我在开头的故事片段中已有所提及。他们会举出无数的例子，说明要达到那个地步还需要克服多少障碍。但是，这种行业内部对具有感知能力的人工智能所持有的谦虚态度，分散了公众对现今自动化系统中存在的缺点的注意力。
尽管这些“法则”为人们探讨应该如何创造自动化系统提供了一个起点，但令人心酸且具有讽刺意味的是，阿西莫夫创造出这些“虚构”的法则，试图以此说明它们所体现的道德难题。例如，多年来，无人机机器人一直在军事行动中杀害人类。这一下子就推翻了阿西莫夫的所有法则。这生动地说明，我们不能再依赖这种神话来推动人工智能行业的管制了。
当然，若要创造“可被证明能与人类价值观保持一致”的人工智能，人类应该首先弄清楚要把哪些价值观编入对我们生活的影响日益深入的机器中。同时，我们每个人也要追踪并梳理个人的价值观。而且，我们还要确保每一个创造自动化系统的人，能够以和开发核技术同样强的责任心来对待自己的工作。
“差不多吧。你们辩解说，隐私已经死去，但很显然，隐私仍然大有赚头。”这时，有个“索尼姑娘”打断了我们，递给我一个印着她们新电脑商标的闪存盘。她转过头去，一股草莓的香气从她头发中散发出来。“在那个谷歌教育应用程序的争议中，你们挖掘学生的数据。那是你们自己预谋的，谷歌街景和‘Wi-Spy’频谱分析丑闻亦是如此。你们一直让人们把注意力集中在搜索上，而忽略你们在挖掘他们的数据这一事实。这就跟凯文·史派西在《非常嫌疑犯》中说的一样：‘坏蛋耍的最大的花招就是让人们相信他并不存在。’”
“你真该看看。”我说道，注意到乌龟中间游来了一群鸭子。穿着帽衫的一群年轻人向它们扔面包，当砸到一只鸭子的脑袋时，他们大笑起来。
整个领域里还没有人号召对基础研究进行规范。鉴于人工智能可能为人类带来的好处，目前这种做法似乎是行不通的，而且走错了方向。正确的做法似乎应该是改变领域本身的目标，我们应该开发可以被证明能与人类价值观保持一致的智能，而不是纯粹的智能……如果我们能明白这个问题是人工智能内在本质的一部分，就好比遏制政策是现代核聚变研究内在本质的一部分一样，那么我们还是有理由保持乐观的。我们不能把这个世界带往不幸的结局。
他倚在露台的栏杆上。我也倚在了上面，我们盯着时而浮现、时而躲进水里的一家子乌龟看了一会儿，气氛有些尴尬。
他轻蔑地哼了一声，“就跟杰克逊·史密斯真是我的名字似的。如果你只是在录音，人们不会相信这是真的。而如果你也戴着增强现实的隐形眼镜录视频的话，我也不怕，反正我的眼镜可以阻止面部识别。”
1.机器人不得伤害人类个体，或目睹人类个体将遭受危险而袖手不管。
“对广告的‘关注’？”我哄笑道，“你们可是一家广告‘公司’。这都在你们的财报网站上写着呢——‘该公司主要的收入来自在线广告收益。’”
“你也是来参加大会的。”他说道，眼睛盯着面前的墙。
就谷歌及众多支持基于监控的广告的公司而言，这两层释义很好地解释了为什么说就人工智能而言，我们正处于人类历史的转折点。
杰克逊笑了笑，“是的，但这感觉很像你文章里写的东西。另外，如果你真写了的话，也不会有人相信你的。”
“是的。”
“吃了吗？”，这句带着浓厚的得克萨斯口音的话从男厕所的扬声器里传来，我便笑了。
我曾接受《赫芬顿邮报》一次关于人工智能的网络视频（Huff Post Live）采访，该视频题为“为何毫无限制的技术会带来灾难”。视频的制作是受到知名科学家斯蒂芬·霍金发表的一篇帖子的启发，他先前曾表达了自己对于人们不把人工智能当回事儿的担忧。文章最后，他指出，“那么，面对未来这些无法预估的好处与风险，只要有专家们在想尽一切办法以确保取得最好的结局，这就够了，对吗？错……我们所有人都应该质问自己，现在我能做什么，才能尽可能地获得益处而避免风险。”
或许人类与机器合为一体是我们注定的命运，但因为计划不周而产生的生存威胁可能会带来资源被摧毁的风险，而这可能让所有相关方一同毁灭。只看重眼前利益的短浅目光正一步步无情地把我们推向毁灭。是时候把价值观当作我们工作的基础了，不管是以生物还是机器的形式，它都可以增强我们长远的幸福感。
他冲了冲小便池，走到洗手台边上，“是的，我知道你发言。主题是关于你那本书。”
2.如果对峙时还有烧烤和孤星啤酒的话，那简直太酷了。
“当然了，它们肯定会有！可恶的谷歌。”我抿了口啤酒，“嗨，那个说人工智能四五十年里都不会出现的视频剪辑是不是叫专家经验撷取？就是说，你们把人工智能领域最厉害的人集合起来，让他们全都给出自己的预测，然后你们再得出一致意见对吗？还是通过其他办法？”
但对于人工智能程序的运行，也存在着某些不变的东西，对人工智能道德规范的建立会有所帮助。对此，著名科学家史蒂夫·奥莫亨德罗在其文章《自动化技术与更远大的人类福祉》中已经提及。他因在机器学习和人工智能的社会影响等方面的研究而为人们所知。他指出，大部分的自动化系统都具有“以自我保护、资源获取、复制和高效为统一驱动目标”的特点。对于人工智能来说，这些细节特点是有好处的，能为我们提供一个实际框架来弄清楚如何约束系统，从而避免产生人类干预控制之外的危害，而不是去研究如何限制创新。
价值观是未来的关键。不管是否违反直觉，人类的价值观都需要被编入人工智能系统的核心，从而控制它们可能带来的危害。没有什么简单的变通方法。我们要用务实的、可扩展的解决方法，取代那些像阿西莫夫虚构的机器人法则或谷歌已经过时的使命宣言一样出于善意的神话。
伦斯勒理工学院认知科学学院院长塞尔默· 布林斯约尔德在本书的一次采访中指出：“问题说起来真的很简单。在医疗卫生领域，我们绝对希望机器人能够给人类带来伤害和疼痛。”布林斯约尔德举例说，医用机器人必须能够给病人打针或者做一些小型手术，而这就会给人带来疼痛。他研究的一个重要内容就是关注机器人在什么情况下可以充当战时医务助理的角色。这也说明了为何我们需要立刻用人工智能科学家能够普遍采用的标准来取代那些任意虚构的法则的原因。这种指导方针必须根据机器人或算法的使用语境考虑道德因素，并直接编入运行系统中。这意味着，对于机器人或硬件，这些道德伦理指导方针不会被购买者或使用者以程序员设计之外的方式轻易地进行更改。正如布林斯约尔德所指出的：“你不能简单地在某个软件上加一个代码模块——拥有部署权的人只会把它扔掉。”
“尽管你们的波士顿动力公司生产的机器狗可以和谷歌街景一样毫不费力地拍照片，但它比谷歌街景汽车更能靠近我的房子。现在，你只需把它们变得比贝佐斯的配送无人机看起来更可爱就行了。”
“是的，没错，”我答道，“在我们说话时，她看起来不大热情，非常疲惫。对于我写的那篇文章，从她给的每个答案中，我都感觉到有大概十多个保密协议的存在。”
“这是有可能的，跟对待其他任何人都是一样的。有时候人们会忘记我们不是某个公共设施，我们不是公共图书馆，我们是个企业！我们经营着人类所知的最大的搜索引擎，而且它还是我们创造的。这是范式中的范式。所以，要更改跟你文章排名相关的算法之类的东西是再简单不过的事了。”
• 关于人工智能的创造，尚未形成共同的道德准则或政策。
我没有立即回应。
这正是大多数人工智能程序员不愿处理这些道德问题的真正原因。这些问题实在是太难了。
[1] 即“零规则”，超越了此前的三大法则。——编者注
对此，我们更大的担忧在于，在封闭或受保护的系统之外进行“学习”的软件创造尚且缺乏行业标准。打个比方，想象一种身体病毒，它非常危险，且有可能致命。但如果把它控制在医院里的话，它就不会产生大范围的危害。自动化系统与此类似。奥莫亨德罗在文章中用古建筑家们修建石拱的过程来比拟创造安全的人工智能系统的过程：在不使用木模板的情况下修建石拱，不仅危险，而且效率低下。但如果先搭建木质结构，然后把石头嵌进去，建筑家就可以更加安全地工作。他在文中写道：
“如果真是我妄想的话，那我们就不会在这谈话了。”我指出。
“别忘了谷歌的‘潜鸟计划（Project Loon）’。我很喜欢那些热气球，它们一方面给第三世界国家提供免费的无线网络服务，另一方面，也在大肆收集他们的个人数据。”
杰克逊咔嗒咔嗒地玩弄着他的索尼闪存盘，它的形状宛如一个迷你小电脑。“从没看过那个电影。这句话说得倒是不错。”
第二，正如我在本章开头的虚构故事中提到的，奇点的神话具有强大的力量和丰富的哲学含义。对于机器何时能获得感知能力，或者我们何时能实现强人工智能，我们尚且无法达成共识。然而，如今有很多人相信，为基于偏好的广告创造的算法正对人工智能整体的未来产生着决定性的影响。这是个非常危险的神话。正如知名技术专家、《互联网冲击》一书的作者杰伦·拉尼尔在Edge.org网站对其的一次采访中指出：
“没人会在乎的，约翰。你会听起来像个有妄想症的怪人。另外，正如我前面说的，你会让人们疑惑的。”他指指旁边的水，“人们希望事情简单。鸭子是坏的，乌龟是好的。就这样简单。”他指指自己，“要么谷歌好，要么谷歌坏。这才是媒体比较欣赏的故事。”他又指指我，“没人想要难以理解，甚至更难实施的潜在解决方案。这样做出来的新闻是没有价值的。”
然而，还有一点是人工智能领域没有广泛讨论的，它让公众有正当的理由害怕：对于如何控制自动化机器或驱动机器运转的算法，我们尚未建立统一的准则或标准。在这里，“控制”指的是人类干预或关闭机器的可能性，这涉及军事人工智能、医学人工智能、基因组人工智能等领域。
“是的，约翰，”当我盯着杰克逊的眼睛时，他答道，“我戴着智能隐形眼镜呢。我正在读取你的生物识别数据，而且我可以看到你的心跳正在加速。”
“是的。”我把用过的纸巾扔到垃圾桶里，发出了一声金属撞击声，“我明天发言。”在参加SXSW大会时，我总是这样介绍自己，因为能够得到发言机会是十分难得的。这样说会显得有些骄傲自大，但来参加SXSW大会就是为了广交好友。互动大会上最常说的一句话就是“最有价值的会议常常发生在走廊里”，所以，我向来都是大胆地结交工作上的朋友，从不会害羞。
人工智能研究取得的进展证明，先前的研究仅仅关注如何让人工智能更加强大，而如今正是开始关注如何让人工智能的社会效益最大化的恰当时机……我们建议扩大研究范围，确保越来越强大的人工智能系统既保持勃勃生机，又能带来好处：我们创造的人工智能系统必须能做我们想让它们做的事情……这类研究必然是跨学科的，因为它涉及整个社会和人工智能，包括经济学、法律、哲学、计算机安全、形式方法等，当然也包括人工智能本身的各个分支领域。
算法的创造需要道德的指导，这种想法似乎有违直觉。毕竟算法看起来只不过是毫无害处的代码而已。但是，我们应该把重点放在梳理我们不想失去的人类价值观上面，而不是担心将来的某天人工智能机器会统治世界。
首先，尽管很容易把谷歌妖魔化，但我没有任何理由怀疑谷歌创始人希望“避免作恶”的基本原则。而如果哪天他们真的派人威胁我的话，那我要说清楚几点：
杰克逊大笑道：“约翰，你没有那么重要。我本来就要来参加SXSW大会的。有无数个像我这样的人在和各种不同的人谈话。所以，你不要觉得自己很特殊。我们有一些人负责调查我们可能会收购的公司，还有一些人负责跟有妄想症的愤怒作家打交道。我只不过是不幸被抽中了，仅此而已。”
我耸耸肩，“我有几个朋友在IBM工作，所以我猜我一直避开他们就是因为这个。”
• 该领域的大多数专家都明白实现强人工智能的困难，并且常常因为普通大众对其可能的到来怀有“非理性的恐惧”而感到恼怒。
“是的，我们的饮食是全世界最好的。”杰克逊表示赞同。
我们很难判断在这些体制下，测量与操纵的界限在哪里。如果按照理论上的说法，我们可以通过观察很多人的决定而获得大数据，然后分析此数据与更多人的相关性，从而提出一些建议。如果这些人中的大多数是在这个体制中成长起来的，并且对所给的任何建议都积极响应，那么我们就无法再获得足够多的新数据。因此，即便是最为理想或最为智能的推荐引擎也不能给出任何有意义的建议。这与其说是恶的兴起，倒不如说是无意义的产生。
我盯着他看看，想找出一丝嘲讽的痕迹。但我只看到了轻蔑。
3.我们双方都可以对我的妄想一笑了之，然后畅谈宣扬人工智能道德伦理的事宜。
我仔细看了看他的眼睛，“有红外线？”
“那好吧，”我对自己说，看着那群鸭子从穿着帽衫的家伙跟前游过，一面尖叫，一面逃离，“那就说明你们坏。”
“那么，每天在你们自助餐厅吃一两顿饭如何？”我在他身后喊道，“或者来点儿能多益巧克力馅饼？”
值得庆幸的是，奥莫亨德罗的观点逐渐引起了人工智能领域的注意，而且统一控制自动化系统的概念也渐渐获得关注。加州大学伯克利分校计算机科学和工程学教授斯图尔特·拉塞尔赞同奥莫亨德罗的观点，认为智能系统将会竭力获取完成指定任务所需的任何资源，以保证其自我的存在。在针对Edge.org网站对杰伦·拉尼尔的采访的一篇评论中，拉塞尔从实用主义出发，号召人工智能行业避免陷入进一步的神话误导：
关于这封请愿书，后文还会详细论述。但这里有必要提一下，请愿书中的优先研究项列表为研究人工智能提供了一系列卓越的指导方针。我尤其喜欢该文第2.4部分的条款，重点讨论了人工智能经济效益的最优化：“实际人均国内生产总值等经济衡量方法可能无法精确地反映深度依赖人工智能及自动化的经济所具有的优缺点，从而说明这些度量指标不适合用于政策的制定。研究优化的度量指标可能更有利于决策。”
• 没有人知道机器是否或何时会具有感知能力，或者获得通用人工智能（AGI），通常也被称为强人工智能。
而作恶又指什么呢？很多人在引用谷歌的“不作恶”规定时，都会把上述这段话的其他部分省略。从这个语境来看，把短期利润当作公司的愿景即为“恶”。而为了“为这个世界做好事”，牺牲短期利润是制定企业战略的优先指导原则。
关于自动化与人工智能之间的关系，我相信在不远的将来，我们的个人数据可能对收集数据的体制不再有用处。换句话说，我们的生活将不再被看作对这种无意义有贡献价值的因素。一旦算法发现其操控可以有效地引导我们购物时，我们便只有在能够买得起他们推荐的东西时才会对该体系有价值。如果支撑互联网经济的人工智能体系关注人类幸福的增长的话，那么衡量成功的标准便要建立在“意义”（purpose）而非“购买”（purchase）的增长的基础上。同时，由于追求幸福的旅程贯穿了我们的一生，因此，这种衡量标准还应该是不受限制、无穷无尽的。可悲的是，谷歌等公司已经偏离了其基本价值观，并选择了短期利润的神话作为其发展途径。
2004年7月26日，谷歌向美国证券交易委员会上报了2004年度公开招股说明书。这是私有公司上市的必要文件之一。通过该说明书，准备上市的公司可以向股东宣布其公司愿景和道德理念，以及所要求的财务细节。
3. 机器人在不违反第一、第二法则的情况下要尽可能保障自己的生存。
他耸耸肩，“我是谷歌内部的人，约翰。而其他所有人，包括我们的许多员工，他们只不过在努力往里看而已。所以，你可以假装自己在做调查新闻，假装你做的有用。你也只不过和其他所有的猴子一样，趴在窗前，隔着几步远的距离，试图猜测我们下一步将会做什么。”他盯着我看了很长时间，然后走开了。
令人惊奇的是，关于弱人工智能或强人工智能的讨论，大多会从对艾萨克·阿西莫夫的“机器人学三大法则”的探讨开始，该理论于1942年在阿西莫夫的短篇小说《转圈圈》中提出。阿西莫夫最终又在三条法则的基础上加上了第四条法则[1]：
“正是。我们没有必要根据人们所写的东西来弄清楚他们的想法。我们会测量他们的面部表情，检查他们的上一封邮件，记录他们开车去哪里。90%的情况下，我们的推断都是正确的。而对于广告这类的东西，我们还会给出建议，这就可以消除剩下的10%的误差。这才是图灵测试的真正魔力所在。它是人工智能最好的营销手段，因为人们非常想知道自己能否被技术的花招所欺骗。”他指了指我，“但如果人们掌握自己的数据的话，这一切便不可能发生。所以，不要再写有关个人云端数据的东西了。一旦人们意识到我们如此频繁地使用其数据，他们就会被吓跑，然后躲在幕后观望。”
我喝着自己的孤星啤酒，品味着我卡在瓶口上的酸橙的味道。“真是一针见血。”我指了指他，“但你们在2013年收购机器人公司是怎么回事？多少来着，一共6个？那可是引起了众多媒体的关注，所以人们可能不会相信这个几十年的故事。”
杰克逊注意到了我的表情。“但你别灰心，约翰。你随时可以找别人的碴儿。比如，IBM怎么样？他们的沃森研究比我们更加关注自动化，至少公开的情况是这样的。他们让很多的医生失业了，数量比医疗事故引起的还要多。”
“所以，你们不会在我的文章排名等问题上面搅局？”
“我是追随着你来这里的，约翰。我来SXSW是为了拜访一些人，你就是其中一个。”他把手伸进西装，掏出了自己的名片。上面写着“杰克逊·史密斯，谷歌公关部，press@google.com”。
“你就真的这么愤世嫉俗吗，约翰？你觉得我们有那么邪恶吗？”
我相信，脸谱网和硅谷的大多数公司也不希望“作恶”。但搜索技术或基于机器学习的人工智能和广告捆绑在一起的事实却意味着我们这个体系是在短期利润的驱动下运行的。根据谷歌的说法，这正符合该公司对“恶”的定义。这也说明谷歌自己定义的企业精神已经成为过去，因为当前推动人工智能技术发展的动力不是帮助我们成为更好的人，而是成为更好的消费者。我们的个人数据就是促进短期利润上涨的燃油。
杰克逊摇了摇头，“不是的，那太费时间了。我们根据认知偏差和预测算法做了一次内部报告。我们发现，四五十年的时间跨度是透露给媒体的最佳时间，那样他们就真的不会管我们在做什么了。这个时间足够具体，听起来有那么些可信度，而且也足够长，可以让大多数读者都以为这个新闻或许在他们有生之年都不会产生任何影响。”
“没问题。”当我从他跟前走过时，我盯着他的眼睛看了看，看他有没有戴着增强现实隐形眼镜。不得不称赞谷歌，我从来没有想到他们的第一代眼镜只不过是一种公关噱头，目的就是为了进一步激发有关隐私的争论，而他们也成功地做到了。如果你一只眼睛戴着极客范儿十足的摄影机，这简直就是找打，而不幸的是，已经有一些人因此挨打了。虽然我曾经大篇幅地写过谷歌眼镜利用面部识别技术挖掘人们的个人数据，但我永远不会赞同对穿戴该设备的人采取暴力行为。
厕所的门吱吱嘎嘎地开了，一阵爽朗的笑声伴随着乡村音乐从餐厅里传来。“咔嗒”一声，门又关上了，声音也渐渐听不见了。一个将近30岁的硬汉走到小便池边，我对他点点头。他穿着牛仔裤、T恤衫和运动夹克，这种搭配在SXSW大会上很常见，而且应该是有技术背景的。他对着镜子也向我点了点头，这时我已经洗完手了。
