我们应该花大量时间思索让一个虚拟世界变得有趣意味着什么。而新知识的创造是这个评估中最重要的部分。虽然我们很难猜测什么才能使我们假想的监测者感兴趣，而奇点似乎和我们想象中的任何新进展一样令人兴奋，能以一个令人吃惊的速度创造新知识。事实上，实现知识爆炸的奇点可能正是虚拟世界的目标。因此，确保一个“建设性的”奇点（避免像被灰雾毁灭或被邪恶的人工智能统治等这样的悲惨结果）是避免虚拟世界被关闭的最好方法。当然，我们还有很多其他理由作为实现一个建设性的奇点的动机。
2003年，世界成功击败了SARS病毒。SARS病毒是由一种古老病毒（该病毒可能是人类与珍奇动物（可能是果子狸）的亲密接触中传播到人体的）和一种现代病毒（通过空气迅速传播到全世界）相结合而产生的。SARS病毒具有易传播、离开人体后能长时间生存、能够造成14%～20%的高死亡率等特性，它给我们提供了一次人类对抗新病毒的演练。这又是一次古代和现代技术相结合的反应。
有一些问题不是生存危机但仍然很严重，包括“谁来控制纳米机器人？”和“谁与纳米机器人交谈？”未来的组织（无论是政府或极端组织）或只是一个聪明的人可以把数以亿万计的隐形的纳米机器人放在一个人或所有人的水或食物里。那么这些间谍机器人就可以监测、影响甚至控制人们的思想和行动。另外，现有的纳米机器人会受到软件病毒和黑客技术的影响。当软件在我们的身体和大脑中运行（我们讨论过的，一些人已经可以这样做），隐私和安全问题将迅速涌现出来，我们需要设计出对抗这种入侵的反监视方法。
正如我下面所说，21世纪20年代，当我们完全掌握基于纳米机器人23的反病毒技术后，生物工程病毒（无论存在与否）的作恶之窗将最终关闭。然而，因为纳米技术比生物体强大、快速、智能上千倍，能自我复制的纳米机器人将带来更大的风险和生存危机。恶意的纳米机器人将最终被强大的人工智能终结，但毫无疑问，“不友好的”人工智能将会带来更大的生存危机，我会在后面的内容中讨论。
如果说一知半解很危险，那么到哪里去寻找知识丰富到足以摆脱危险的人物呢？
对这些情形的分析，表明其发生的可能性极低，尽管也有物理学家对此并不乐观。25这些分析在数学上看起来似乎合理，但是我们对这个公式描述的物理意义层面没有达成共识。如果这些危险听起来太不着边际，那试想一下这种可能，我们的确在物质衰减中检测到了日益剧烈的爆炸现象。
SARS是致命的，但是绝大多数感染者都幸存了下来。恶意制造病毒变得越来越可能，而制造出的病毒比SARS更易传播、具有更长的潜伏期并且对几乎所有感染者都是致命的。天花几乎具有所有这些特点。尽管我们有疫苗（虽然很原始），但并不能有效防止天花的变异。
阿尔弗雷德·诺贝尔探测到分子的化学反应而发明了炸药。原子弹的威力是炸药威力的数万倍，它基于大型原子的核反应，这些原子比大分子小很多。氢弹基于更小的原子的相互作用，威力比原子弹大上千倍。虽然这种认识并不一定意味着通过利用亚原子粒子还可能制造出威力更强大的毁灭性连锁反应，但是它证明了这种猜想是有道理的。
SARS的经历表明大多数病毒，即使相对容易传播并具有高致命性，看起来很吓人，但不一定带来生存危机。然而，SARS病毒并不是被设计出来的。SARS容易通过体液传播但不易通过气体微粒传播。它的潜伏期从一天到两周不等，较长的潜伏期会使病毒在携带者被确认前就通过快速繁殖而得到广泛传播了。22
在讨论如何应对新的生存危机挑战之前，有必要来回顾一下波斯特拉姆和其他人提出的假设。
这种场景并不在我所担心的清单中。因为这是我们可以避免负面结果而遵循的唯一策略，这也是我们无论如何必须遵循的。
转变未来的必然性。不同的GNR技术在许多方面取得了进步。GNR得以完全实现源于一次次良性的进步。对G来说，我们已经掌握了设计病原体的方法。生物技术将得益于伦理和经济的诸多好处而持续加快发展，这些好处源于人们对构建生物体的信息处理过程的掌握。
我们的虚拟世界已经关闭。波斯特拉姆等人曾指出另一个已被证实的已经存在的危机：我们实际上生活在一个虚拟世界中，而这个虚拟世界将被关闭。似乎我们对此无能为力。但是，既然我们成为这个虚拟世界中的元素，那么我们就有机会影响其中发生的一切。避免被关掉的最好方法就是引起虚拟世界监视者的兴趣。假设某人正注视着这个虚拟世界，完全可以推测，如果它更能激发此人的兴趣，那么这个虚拟世界被关闭的可能性会大大降低。
正如我在第6章所提到的，有人推测一个先进的文明可能会创建一个新的宇宙进行计算（或换一种方式继续膨胀它自己的计算）。我们在这个宇宙的生活（被另一种文明所创建的）可以被认为是模拟场景。也许其他文明正在我们的宇宙中运行一种进化算法（我们正在见证的进化）来创建一种来自于奇点科技的知识爆炸。如果这是真实的，那么当知识奇点发生错误或不像预期那样发展的时候，正在注视着我们的“文明”可能关闭我们的虚拟世界。
相互作用越小，爆发的可能性越大。近来正在争论用未来的高能粒子加速器会不会造成亚原子级的能量状态转换的连锁反应，其结果可能是破坏面积呈指数级扩散，分裂银河系内的所有原子。已经提及很多这种情形，包括可能制造出一个吞食掉整个太阳系的黑洞。
大脑逆向工程中的努力蕴含了这样的道理：发展人工智能算法的整个研究以及计算平台持续的指数增长，使得更强大的人工智能（和人类一样甚至超越人类的人工智能）的产生成为必然。一旦人工智能达到人类的水平，它一定会很快超越人类水平，因为它会把人类智能的力量和非生物展现出来的智能（包括速度、内存容量、知识共享）结合在一起。这不同于生物智能，非生物智能也将从规模、能力、性价比的指数级的持续增长中受益。
预防原则。正如波斯特接姆、弗雷塔斯以及包括我在内的观察员指出，我们不能用试错法来处理生存危机。对预防原则的解释还存在争议（如果一个行为的后果未知，但是据科学家判断有极小可能会带来巨大的负面风险，这一行为最好不要进行）。但很明显，在我们的战略中需要尽可能提高自信以对抗这种风险。这就是越来越多的声音要求我们停止技术发展的原因之一，这也是在新的生存危机发生之前将其消除的主要战略。然而放弃并非合适的行为，只会阻止新兴技术带来的好处，而且实际上还增加了灾难性结果的可能性。麦克斯·摩尔阐明了预防原则的局限性，并且主张用他的所谓“行动原则”来取代预防原则，以平衡“行动”与“不行动”间的风险。24
如今我们可能面临另一种生存危机，生物工程可能制造出一种易传播、潜伏期长且致命的病毒。有些病毒很容易传染，如普通的和流行性感冒病毒。有些病毒是致命的，如艾滋病病毒。但很少有病毒同时具备这两种特性。现在的人类是已经对大多数流行病毒免疫的人类的后代。一个物种能从病毒爆发中生存下来，得益于有性繁殖，它保证了人类的基因多样性，所以人们对特定病毒的反应千差万别。所以，尽管是灾难性的，腺鼠疫并没有杀死所有欧洲人。其他病毒如天花等具有双面特性——很容易传染和致命——但是它们存在了很长的时间，人类已经研制出了对抗它们的疫苗。但是基因工程可能绕过进化保护突然产生一种新的病毒，而对这种病毒我们没有任何自然或技术上的保护措施。
——托马斯·亨利
危险列表中的另一项是被外星智能（不是我们已经创建的）破坏。我在第6章讨论过这种可能性，我认为这也是不可能的。
将致命毒素的基因注入诸如普通感冒或流行感冒等容易传播的普通病毒中，这会带来另一个生存危机。正因如此，阿西罗马会议商议如何应对这种威胁，并且起草了一系列安全和道德准则。这些准则沿用至今，但遗传操作基本技术的复杂性正在迅速增加。
同样，我们在人脑逆向工程所做的努力也是被各种预期的益处所驱动的，包括理解和扭转已认知的疾病和衰老。监视大脑的工具在时空决策方面呈指数方式增长，而且我们已经证明了，这些工具有能力将大脑扫描和研究获取的数据转化成工作模型并进行仿真。
我们的世界似乎有着悠久的历史。这意味着我们的世界要么不是虚拟的（确实也不是），要么是虚拟的（这个虚拟世界已经运行了很长时间，并且也不会很快停止）。当然，也有可能这个虚拟世界并不像它所展示的那样具有悠久的历史。
只有集权制度才能贯彻广泛放弃的实施，但由于日益强大的分布式电子和光子通信的民主化冲击，对抗新世界的一个极权主义是不可能产生的。在世界范围内，互联网和手机等分布式通信的蓬勃发展，代表了一个遍布各地的民主力量。这不是推翻原有政权的政变，而是由传真机、复印机、录像机以及个人计算机组成的秘密网络打破了几十年来极权主义者对信息的控制。2620世纪90年代的特点是民主、资本主义的运动以及随之而来的经济增长，而这些都得益于人与人之间通信技术的加速发展。
尽管国际事务非常混乱，但是我们还是应该感谢战争中没有使用核武器。但是我们显然不能轻易放松，因为现存的氢弹数量仍然足以毁灭人类很多次。21
纳米技术是各种技术持续微型化的必然结果。包括电子、机械、能源、医学在内的广泛应用的重要特征是其以每10年4%的速率线性地缩小。此外，寻求理解纳米技术及其应用的研究也在呈指数方式增长。
极权放弃。要想终止各方面加速进步的步伐，我们唯一能想到的方法就是一个放弃进步的全球极权制度。但是这不能避免GNR带来的危害，因为它会导致地下活动，而这样会带来更具有毁灭性的应用。因为我们所依赖、能够快速开发出防御技术的人将很难获得必要的研发工具。幸运的是，极权主义是不太可能出现的，因为知识的日益分布是一种内在的民主化力量。
我对这种危险的评价是：我们不可能只是简单地偶然发现了这种破坏性事件，就如原子弹的产生不可能是偶然的一样。这种设备需要精确地配置材料和动作，而且原料也需要通过大型且精密的工程来开发。无意中制造出氢弹的说法则更不可信，因为想要制造出氢弹，必须将原子弹、氢核及其他物质进行特定精确的安排。而在亚原子级偶然制造出新的毁灭性连锁反应更加不可能。其后果将十分严重，然而预防原则会引导我们认真对待这些危险的可能性。在进行新的加速器实验之前应该仔细分析。但是这种风险并非是我所列的21世纪风险名单中处于最高级的。
如果我们生活在一个计算机的虚拟世界中，这是一个很好的情景：如此详尽以至于我们也可以接受它是我们的现实。不管怎样，这是我们唯一可以接触到的现实。
虽然不足以威胁文明的存在，但是我们仍然密切关注着核扩散和核材料及核技术的广泛传播（也就是说，只有使用洲际弹道导弹的全面核战争的爆发，才会给人类的生存带来威胁）。核扩散和核恐怖主义属于“严重、本地”风险类别，即种族灭绝。不过我们仍然严正关注，因为双方均能摧毁对方的逻辑不适用于自杀式恐怖主义者身上。
氢弹的出现和随后在冷战中建造的热核武器使地球上的生物在20世纪中期第一次遭遇人为制造的生存危险。据报道，肯尼迪总统曾估计，古巴导弹危机中全面爆发核战争的可能性在33%～50%19。作为空军战略导弹评审委员会主席和核战略政府顾问的传奇人物，信息理论家约翰·冯·诺伊曼估计，大规模核战争的可能性（前古巴导弹危机之前）接近100%20。以20世纪60年代的观点来看，是什么使那时的观察者预测到在接下来的40年内世界不会爆发另一次非实验性的核爆炸？
接下来我们将讨论用于解决这些严重危机的步骤，但是我们不能保证今天设计的策略完全有效。这些风险即尼克·波斯特拉姆所谓的“生存危机”，他将此定义为表8-1右上角的危险深度。18
GNR：希望与危险的合理聚焦。GNR是最令人担忧的技术。不过，我们需要认真对待错误的、日益尖锐的路德的声音，他们倡导放弃科技进步来避免GNR带来的危险。原因我将在后面的内容中讨论，放弃不是解决问题的方法，理性的恐惧可能导致非理性的解决办法。在克服人类苦难时，拖延会产生严重后果。
组织的崩溃。另一个经常被引用的忧虑是一个大型的行星或彗星撞击，在地球历史上这种情形多次发生，它们代表了那些时代物种生存的结局。当然，这不是危险的技术造成的。相反，技术将保护我们避免这个风险（当然是在一至几十年中）。虽然小的影响会经常发生，然而大的、来自太空的有破坏性的风险却很罕见。我们无法预期它到来的时间，几乎可以肯定的是，这种危险来临之时，我们的文明将很容易在入侵者摧毁我们之前便能摧毁他们。
