他补充说，在一个工厂，“你在工作时视野可能会很狭窄。但是如果机器也可以帮你注视着周围呢？我们可以在所有物品上安装摄像头，一切事物都有了眼睛和耳朵。我们谈论五种感知。但人们还没有意识到的是，这五种感知可以赋予机器，从而使其与人类互动，就像我们和同事之间互动一样”。
摩尔向我解释道：“我当时一直专注于集成电路——它们在当时还很新潮，才发展了短短几年——并且它们十分昂贵。有很多人认为它们永远无法变得廉价，然而作为实验室的领头人，我认为技术发展使我们可以在芯片上安装越来越多的东西，从而使电子产品变得更便宜……我并不知道它会变成一个精确的预言，但是我知道总体趋势是朝这个方向发展，并且我需要给出相应的理由解释为什么降低电子产品的成本十分重要。”这个最初的预测看的是未来10年时间。也就是说，在此期间一块集成电路上的元件数量将在10年内增长1000倍，即由60个增长到6万个。这一预测最终成为现实。摩尔意识到这个速度不可能维持下去，于是他在1975年更新了这一预测，提出翻倍将大体上每两年发生一次，同时价格几乎保持不变。
好吧，这并没有那么简单。他想要谈论的是“联网的奶牛”。
吉特港最初由三个优秀的怪才创立——汤姆·普雷斯顿·维尔纳、克里斯·万斯特拉斯和P.J.海耶特，现在已经成为世界上最大的代码主机。现在我找不到任何一家不使用吉特港平台开展协作的大公司，于是我决定去探访吉特港位于旧金山的总部，探索一下诸多源代码的源头。巧合的是，我在一个星期前刚在椭圆形办公室就伊朗问题采访了奥巴马总统。我之所以这么说，只是因为吉特港的访客大厅一模一样地复制了椭圆形办公室，甚至连地毯都一样！
装在车辆中的超过200个传感器会告诉我们司机是否系着安全带，车辆行驶有多快，刹车制动何时启动，发动机舱壁门是否打开，运货车是前行还是后退，行驶街道的名称，甚至车辆静止与行驶的时间对比。遗憾的是，我们不知道那只坐在门前、貌似天真无邪的狗会不会咬人。
在同一块材料上制造所有组件，并且将连接不同组件的金属导线并为一层叠于其上方，不再需要单独的、分离的组件，也不再需要手动组装电线和组件。电路可以被制造得更加小巧，制造程序也可以实现自动化。
花几秒钟想象一个软件应用，比如“谷歌相片”。它能够非常好地识别你存储在电脑里的照片。20年前，如果你的配偶对你说：“亲爱的，给我找一些我们在佛罗里达度假的照片。”你将不得不一个相册接着一个相册，翻箱倒柜地找。当相册被电子化之后，你就可以将你的所有照片上传到网上。今天，谷歌相册备份了你所有的电子照片；一一整理并对它们作了标记。利用图像识别软件，你只要点击几下鼠标或使用几个手势，就可以找到想要找的任何一张照片，或者甚至发一条语音，电脑就能帮你找到想要的照片。换句话说，软件可以抽象并简化分类检索过程中所有的复杂步骤，简化到只用几个按键、触碰或语音命令。
半年后，另一位工程师罗伯特·诺伊斯巧妙地解决了奇尔比的电路中存在的一些问题，从而可以在一个硅片上以更加无缝的方式连接所有组件。就这样，数字化革命诞生了。
我们才刚刚处于开始阶段。哈度普之所以能够出现，是因为摩尔定律使得硬件存储芯片更加便宜，因为谷歌分享了它的一些核心技术并且向开源社区发出了挑战，看看其他人是否能够赶上并且超越它，还因为开源社区通过哈度普不断克服这些挑战。哈度普的开源资源从来不是单纯地复制谷歌，它在很多方面的创新已经偏离了谷歌的模式。正如卡丁所说：“想法很重要，但是把想法变为现实并交付公众的实施过程同样重要。”施乐公司帕克研究中心发明了图形式用户界面（带有视窗和鼠标），发明了网络工作站、激光打印，等等，但还是要靠苹果和微软提出的更加容易市场化的实施方案，使这些想法最终能够改变世界。
戈登·摩尔
“有一天这一进程终将停止。”摩尔说道，“像这样的指数级增长不可能永远持续下去。”
这就是为什么哈度普现在成了结构化和非结构化数据分析的主要操作系统。我们曾经丢弃数据，因为它的存储成本太高，尤其是非结构化数据。现在我们可以存储它并找到蕴含在其中的模式，一切都值得吸收和保存。“如果你看一看人们正在创建和连接的数据数量以及用于分析这些数据的新软件工具，你会发现它们至少都呈现出了指数级增长。”卡丁说道。
斯坦福大学物理系自然科学教授菲尔·巴克斯鲍姆解释道，这场二重奏同样也是光纤科学领域加速突破的一个副产品，这场突破就发生在过去几年里。巴克斯鲍姆是光学学会的前任主席，他专攻激光科学，这是光通信的基础。20世纪80年代，他曾在贝尔实验室工作。在那些日子里，计算机科学家使用一个叫作“Ping”的命令来确认他们想要通信的、位于贝尔实验室大楼另一端的那台计算机是否“清醒”。“Ping”会发出一个电子消息并从另一台计算机弹回来，来显示后者是否已“清醒”着以及是否准备好进行双向对话。“Ping”也带有一个时钟，它会告诉你电脉冲在电线里往返所用的时长。
正如卡丁所说，哈度普来了，它告诉用户们：“给我你的结构化和非结构化数据，我们会从中找到意义所在。”例如，像维萨这样的信用卡公司不断地寻找欺诈线索，它的软件可以在30天或60天的时间窗口内进行查询，但不能再延长查询周期了。哈度普给维萨公司带来了以前没有的规模。一旦维萨安装了哈度普，它就可以查询4年或5年的数据，于是突然之间，在一个更长的时间窗口下，它发现了迄今为止最大的欺诈行为模式。哈度普使人们可以在前所未有的更大规模和更低成本基础上运行那些他们已经知道如何使用的工具。
再想一想5年前我们是如何叫出租车的。“出租车！出租车！”你在路边大喊，也许还站在雨中，看着一辆辆出租车载着别的乘客呼啸而过。于是，你在附近一个电话亭里或用手机给出租车公司打电话，等了5分钟之后，他们告诉你还要继续等20分钟——你不相信他们说的，其实他们自己也不相信自己。今天，我们都知道事情变得大不一样了：所有与呼叫、定位、排班、派车、付款甚至与给出租车司机打分相关联的复杂步骤都变得简单了。如今简化到只需在你的智能手机上点击几下“优步”软件应用即可。
这将会带来无尽的利润，钱会堆成一座山。通用电气公司的首席执行官杰夫·伊梅尔特在2015年10月麦肯锡咨询公司的一次采访中解释道：
当今科技变化的速度之所以超乎寻常，是因为不仅微芯片的计算速度呈现出非线性增长，而且计算机的所有其他部件也是如此。如今每一部计算设备都有五个基本组成部分：
然后，贝尔实验室和斯坦福大学等地的科学家们开始研究使用激光器，通过光纤发送光脉冲形式的声音和数据。这些光纤通常是长长的、纤细的、柔软的玻璃管。从20世纪80年代末和90年代初开始，光纤又发生了新的演变。最初光纤光缆是由一节一节的电缆链接而成，每一节电缆长度有限。由于信号在行进一定距离之后会衰减，因此必须在信号放大器处停留，信号放大器会将光信号转换成电子信号并放大，然后再转换回光信号并再次发送。随着时间的推移，行业发明了新的方法，即使用化学物质对光纤进行拼接，这样既增加了语音和数据的容量，传输的光信号也不会衰减。
软件生产正在加速，不仅仅是因为编写软件的工具以指数型的速度增加，而且这些工具还使得越来越多的公司和人能够合作编写更加复杂的软件和API代码。现在并不仅仅是100万个聪明人在写代码，而是100万个聪明人在一起合作写代码。
今天，有超过1200万名程序员使用吉特港来编写、改进、简化、存储和共享软件应用程序，并且这一人数还在快速增长。在我2015年初的第一次采访到2016年初的最后一次采访之间，它增加了100万用户。
想象一下，有这样一个地方，它是维基百科和亚马逊的混血儿。你上网来到吉特港数字图书馆，并且从书架中挑选出你所需要的软件——例如，库存管理系统、信用卡处理系统、人力资源管理系统、视频游戏引擎、无人机控制软件或机器人管理软件。然后将其下载到公司或自己的计算机上，根据你自己的特定需求调整和改进，再将你的改进上传回吉特港数字图书馆，以便下一个人可以使用这个新的改良版本。现在想象一下，世界各地的最好的程序员都做着同样一件事情。这就形成了一个良性循环，可以快速学习和改进软件程序，进而推动越来越快的创新。
由于神奇的摩尔定律，这五个基本组成部分的处理能力稳步加速，这五个部分最终融合在一起，形成了我们现在称之为“云”的那个东西。我们现在已经被带到了一个新的疆界——也就是阿斯托·特勒所说的——科学和技术的变化速度超越了人类及其社会适应速度的临界点。
当这个世界是平的，你可以将所有的工具陈列出来，供每个人使用，但是这个系统仍然充满摩擦。但当这个世界变快了，工具消失了，你所需要想的所有事情就是项目本身。“在20世纪，硬件是最大的约束，人们都在思考怎样使硬件变快：更快的处理器，更多的服务器。”万斯特拉斯说道，“21世纪的关键是软件。我们不能创造更多的人，但是我们可以培养更多的软件开发者，我们希望赋予人们力量，创建更好的软件，提升已有软件的能力。我们希望开放软件开发的世界，培养更多的程序员，这样，他们就可以创造下一个伟大的创业企业或创新项目。”
“APIs使得越来越多的网络服务的混搭成为可能，开发人员使用来自谷歌、脸书或推特等公司的APIs，通过对它们进行混搭，创建全新的应用和服务。”开发者网站“读写网”（ReadWrite.com）解释道：“在许多方面，主要服务活动APIs的广泛可用性造就了我们今天的网络体验。比如，当你在安卓系统里用Yelp（点评软件）搜索附近的餐馆时，它会通过与谷歌地图的API进行交互，将餐馆的位置标注在谷歌地图上。Yelp无须创建它自己的地图。”
吉特港的开源模式是“一个分布式的版本控制系统：任何人都可以做出贡献，这个开源社区每天决定谁做出了最好的版本”。万斯特拉斯说道：“在这里编程具有社会属性，最好的程序能够自动置顶，就像书籍在亚马逊上被买家打分评级一样。在吉特港上，开源社区对不同的版本进行评估并给出星星或点赞，或者你可以跟踪下载的数量来看看谁的版本被接受的次数最多。你编写的软件版本可能周四的时候最受欢迎，然后我加入进来并在你的版本基础上进行加工，那么我的版本在周五就可能到排行榜首，整个社区将会从中受益，消费者可以有更多的选择。”
实话实说，克扎尼克说道，摩尔定律的最后两次迭代用了大约两年半的时间，而非两年，所以速度确实有所减慢。即便如此，无论指数增长是每1年、每2年或者每3年发生一次，最重要的是，由于芯片的持续改善，我们才能够不断地创造出机器、机器人、电话、手表、软件，以及更智能、更快速、更小巧、更便宜和更高效的电脑。
在过去，我们检测微弱信号的方法是依靠直觉，只有那些对“处理数据有着丰富经验的人才能够从众多数据中发觉微弱的信号。那就是直觉。我们的大脑无时无刻不在处理那些信号微弱的数据”。但是现在，有了大数据，“具有更精细的精确度，我们可以让大海捞针变为一种常态”。“然后我们可以利用机器增强人类的工作，所以机器和人类就可以作为同事一起工作，使他们能够一起处理微弱信号并且在一夜之间，变得像一个有着30年经验的老将。”
“我们已经达到了物理学所允许的极限速度的一半那么快，但是进一步加速会遇到收益递减定律。”他解释道，“过去20年来，我们从这可能是一个好主意到不断突破物理的限制……通过‘Ping’我发现了我们距离物理极限是多么近，这非常令人吃惊。这是一个伟大的革命。”
为了更好地理解传感器的世界，我访问了通用电气公司位于加利福尼亚州圣拉蒙的规模巨大的软件中心，并采访了通用电气首席数字官比尔·鲁赫。这次采访本身就是一个很好的故事。通用电气正在变得越来越像软件公司，并在硅谷设有一个很大的基地。通用电气在其制造的工业设备上布满了传感器。忘了洗衣机吧，想象一下智能机器。通用电气在任何地方安装传感器的能力正在帮助“产业网络”成为可能，这也被称为“物联网”（Internet of things，简称IoT）。通过给每件“物体”安装传感器，就可以及时调整这些物体的运行状况或预测其可能做出的反应。这个所谓的物联网，鲁赫解释道：“正在创建一个神经系统，让人们能够紧跟变化的步伐，使得大量的信息变得更加可用”，并且基本上“使所有事物智能化”。
蒙迪解释道，这种类型的集成被称为“无缝”集成，因为用户从来没有注意到软件功能是从一个底层的网页服务器转移到另一个网页服务上的……一层一层的APIs将单个计算机内部正在运行的复杂程序隐藏了起来，传输协议和信息传递格式让你看不到将所有这些计算机融入一个网络之中的复杂之处。“这种垂直堆叠和水平相互连接创造了你在计算机、平板电脑或手机上每天享受的体验。微软云、惠普公司，以及脸书、推特、谷歌、优步、爱彼迎（Airbnb）、Skype、亚马逊、猫途鹰、Yelp、Tinder（交友软件）或《纽约时报》的所有服务，它们都是运行在数以百万计的计算机上的上千个垂直和水平的APIs及协议通过网络来回对话的产物。”
到那时为止，开源社区非常开放，但也非常碎片化。“当时开源的群体还没有形成一个社区。”万斯特拉斯回忆道，“不同的开源社区是以项目为基础的。这就是当时的文化。所有的工具、所有的想法，都专注于你如何运行和下载这个项目，而并不关注人们如何一起工作或彼此如何交流。”万斯特拉斯的新想法是：为什么不能在同一地方、同一时间做10个项目，并且它们都共享一个底层语言，所以它们之间可以互相说话，程序员也可以在项目之间来回穿插呢？
对不起，沃纳梅克先生。你生活在错误的年代。猜测是20世纪的事情。猜猜看的时代已经正式结束了。
图3-1 英特尔处理器所验证的摩尔定律
“让我来告诉你它不是哪些东西。”斯达什克继续说。
但是，使数据变成“大数据”不仅依靠硬件的突破，还取决于软件创新——这也许是过去10年里出现的、但你从未听到过的最重要的事情。那种软件使数以百万计的计算机串在一起并像一台计算机一样运行，它还使得对数据进行大海捞针式的搜索变得简单可行。这个软件被它的创始人命名为哈度普（Hadoop），这也是他两岁的儿子最喜欢的玩具大象的名字，所以这个名字很容易被记住。记住这个名字：哈度普。它帮助改变世界，当然谷歌也为它提供了巨大的帮助。
“在开始的20年里，我无法完全说出‘摩尔定律’一词——这有些尴尬。”他回答道，“这不是一个定律。后来，我终于习惯了它，现在我能够很平静地把这个词说出来。”
我们如今天天要用软件，以至于我们忘记了它实际是做什么的。“什么是软件的经营之道？”克雷格·蒙迪问道。很多年来，他一直是微软的首席研究和策略官，也是我时常求教的老师。“软件是个神奇的东西，它将出现的每一种复杂形式都加以抽象和简单化。这就创造了一个新的基准线，人们可以在此基础上着手解决问题，不必劳神掌握更基础层面的复杂性。你只需要在新的层面开始，并添加你的价值。每次你将基准线提高，人们就会创造新的事物，这种复合作用导致软件如今可以将各种复杂事物简单化。”
尽管处理器、传感器、内存、软件的加速发展都非常重要，但它们发展到目前这种程度离不开连接性的加速进步——那就是，世界陆地以及海底光纤和无线网络的容量和速度，这些都是互联网和移动电话的主干。在过去的20年里，这个领域的进步也接近摩尔定律的速度。
微芯片，正如我们上文提到的，是越来越多晶体管的简单集合。你可以对这些晶体管进行编程并用它们来计算、传输或存储。存储芯片有两种基本形式：一种是DRAM，即动态随机存取存储器，用来处理和移动正在运行的临时数据；另一种是“闪存”存储器，当你点击“保存”按钮时就是用它来永久地存储数据。摩尔定律同样适用于存储芯片——我们持续地以更低的成本和更少的能量将存储能力更大、数量更多的晶体管安装到每一块芯片上。如今一台手机平均拥有16G内存，意味着它能够在一个闪存芯片上存储160亿个字节的信息（1个字节是8位数字）。10年前闪存密度甚至还不足以在手机上存储一张照片。这就是所有这一切加速的结果，其他很多事物也因此得以加速发展。
我们可以做一个类比：如果一台1971年的大众甲壳虫汽车像微芯片在摩尔定律下一样不断改进，那将会发生什么？英特尔的工程师做了一个粗略的计算。按照他们的估算，如果汽车业同样适用摩尔定律，那么到了今天，甲壳虫汽车的时速应该达到每小时30万英里，每加仑汽油可以跑200万英里，并且只要花4美分！英特尔的工程师还做了另一项测算：如果一辆汽车的能效按照摩尔定律的速率改进，那么，到了今天，你开一辈子车，只需消耗1箱油。
鲁赫讲道，过去的通用电气是基于机械工程师的信念，即可以通过物理学为整个世界建模并且洞察事物运转的规律。如果你看到燃气轮机和内燃机，你会想到如何运用物理学定律解释它们的原理，并预测它们将于何时发生故障。很多传统的工程师都不相信数据能够提供更多的信息。他们运用数据的时候，只是用来核实物理模型。新生代数据科学家说：“你无需通过理解物理学来寻找和发现行为模式。有一些行为模式是人类无法找到的，因为信号弱到你根本无法看到。但是，现在我们拥有这么强大的处理能力，那些微弱的信号也能被我们发现。因此当你看到那个微弱的信号时，你就会清楚地知道这是一些事物发生故障或变得低效的早期迹象。”
2007年10月，他们三人创建了一个Git中心——“吉特港”诞生了。它于2008年4月份正式启动。“它的核心是分布式的版本控制系统，这个系统带有一个社交层面，可以连接所有的人和所有的项目。”万斯特拉斯说。当时的主要竞争对手“铸源”（SourceForge）需要5天时间来决定是否接受你的开源软件。相比之下，吉特港是一个与全世界分享你的代码的地方。
毫不夸张地说，摩尔预测到了个人计算机、手机、自动驾驶汽车、iPad、大数据、苹果手表的出现。我开玩笑地和他说，只有一件事他没有预料到，那就是“微波炉爆米花”。
每一个铁路公司的首席执行官都能够告诉你他们列车的速度。速度为20～25英里/时。这基本上也是一台机车运行一天的平均时速——22英里/时。似乎不是很好。举个例子，对于诺福克南方铁路公司来说，时速22英里和23英里，1英里之差的影响年化之后相当于2.5亿美元的利润。这对于诺福克公司来说就是一个巨大的数字。这还只有1英里（每小时）的差距。所以关键就在于把时刻表编排得更科学，关键就在于减少停机维修时间。关键就在于车轮不要坏掉，并且更快速地通过芝加哥。这些都靠分析。
现实中有很多关于摩尔定律的精彩案例，很难从中选择出一个最佳的例子。在我曾经遇到过的最佳案例中，有一个是科技专栏作家约翰·兰彻斯特于2015年3月15日在《伦敦书评》杂志中一篇题为《机器人来了》的文章中提出的。
“谷歌生活在未来几年。”卡丁总结道，“他们从未来以信件的形式把这些文件寄给我们，我们所有人都在跟随着它；而现在他们也在跟随我们，这一切都开始成为双向的了。”
通用电气可以从超过150000台通用医用设备、36000个通用喷射发动机、21500辆通用火车头、23000个风力涡轮机、3900个燃气轮机以及20700个油气设备零件上搜集数据，这些设备都可以向通用电气报告它们每一分钟的感受。
在开源社区里，有一些非常棒的人。究其本源，驱动开源社区的是人性深处对协作的渴望以及对工作得到认可和肯定的渴望，而不是金钱奖励。“嘿，你补充的非常酷。做得非常好。加油！”这些话语能创造出神奇的价值。通过激发人们内心深处想要创新、分享并获得认可的渴望，无数的免费劳动被释放出来。
“摩尔定律被预测即将死亡已经不下十几次了。”英特尔公司的首席执行官布莱恩·克扎尼克告诉我：“当我们在3微米级别进行生产和制造时（1微米是1/1000毫米，约0.000039英寸），人们说道：‘我们如何才能再缩小一些——我们可以生产出足够薄的薄膜来制造这样的设备么？我们能够缩短光的波长来模仿这些如此微小的特征吗？’但是每次我们都找到了突破。答案事先并不清晰，也并不总是第一次提出解决方案就能够取得突破。但是，每一次我们都突破了障碍。”
我们先从微芯片开始说起。微芯片也被称为集成电路或微处理器，用来运行计算机的所有程序和存储的内容。在字典里，微处理器被形容为一个装在一块独立硅片上的迷你计算引擎，因此它们被简称为“微芯片”或“芯片”。微处理器是用晶体管制造而成，晶体管是许许多多可以控制电流通过的小型开关。一块微处理器的计算能力取决于晶体管开关的实际速度以及一片硅片上能够装下多少个晶体管。在晶体管发明之前，早期计算机设计者依靠灯管状的真空管——也就是老式二级显像管，电视机背后的那种东西——来控制电流开关并进行计算，但这种老式的真空管计算速度十分缓慢，并且制造难度很大。
万斯特拉斯总结道：“使用优步时我想的是要去哪里，而不是怎样到达那里。这同样适用于吉特港。现在你只需要思考想要解决什么问题，而不是使用什么工具。”你可以去吉特港书架找到你需要的，取下它，改进它，然后放回书架以便下一个人浏览。在这个过程中，他补充说：“我们避免了所有的摩擦。你从吉特港上看到的，也正在每一个其他行业中发生。”
万斯特拉斯将他的简历和工作样本发送给了硅谷的很多软件作坊，想找一份初级编程工作。最后，科技资讯网（CNET.com）——一个媒体平台的宿主网站——的一位经理决定给他一个机会，不是基于他的大学成绩，而是基于他所编写的程序在不同开源社区获得的点赞数量。“我不了解旧金山。”他说道，“我以为那里满是沙滩和旱冰鞋。”他很快发现那里都是比特和字节。
除了摩尔定律，还有没有某些事情是他本来能够预测，却没有预测出来？我问他。
但是，个人隐私可能也成为过去。一想到那些大型公司——脸书、谷歌、亚马逊、苹果、阿里巴巴、腾讯、微软、IBM、奈飞（Netflix）、软件营销部队（软营）、通用电气、思科，以及所有的电话公司，他们像抽真空一样吸干了所有的数据，并且能够高效挖掘这些数据从而洞察先机，你不得不思考这样一个问题：人类怎样做才能与它们匹敌。没有人能够拥有如此之多的、可以作为原材料的数据，分析这些数据，并做出越来越准确的预测。如今，数据就是力量。我们需要密切关注大数据为大型公司所创造的垄断能力。他们不仅可以让他们的产品统治市场，而且还可以通过所收集的大量的数据来加强对市场的统治力。
（5）传感器——摄像头和其他能够探测动作、语言、光线、热度、湿度和声音的微型设备，可以将其中任何一项信息转为数字化数据供深度挖掘和分析。
巴克斯鲍姆解释，这次革命之所以会发生，是由于数据和语音通过光纤电缆传输的速度也遵循了一种类似摩尔定律的规律。“我们通过海底电缆传输数据的速度不断加速。”巴克斯鲍姆说。他解释道，故事的简短版本是这样的：我们开始的时候使用的是数字射频通过同轴电缆——主要是铜线——发送语音和数据。这就是你的第一个电视公司/电话公司铺设到你的房子并且进入你的电视机机顶盒的东西。他们还曾经使用同样的同轴电缆通过海洋底部将语音和数据传送到地球的每个角落。
对长达199位数字的不同送货路线做出安排，并同时考虑联合包裹公司卡车中200个传感器所传回的数据，这需要很大的内存空间、计算能力以及软件能力——对于一家普通的公司而言，这在15年前是不可获得，甚至是不可想象的。如今任何一家公司都可以获得这种能力。这背后有一个非常重要的故事，存储芯片和一个以玩具大象命名的突破性软件的结合，使人们得以对“大数据”进行“大”分析。
人类大脑最难理解指数型增长的威力——任何一个事物，如果多年保持2倍、3倍或4倍的增长，将会发生什么？最终的数字会有多大？摩尔定律讲的就是指数型增长：每两年微芯片的处理能力就能翻一倍。如果摩尔定律持续50年，将会发生什么？每次英特尔公司的董事长布莱恩·克扎尼克试图解释摩尔定律的时候，他都会用下面这个例子：如果把英特尔1971年生产的第一代型号4004的微芯片与英特尔目前在市面上销售的最新型号的第六代英特尔酷睿处理器做一个对比，你会发现与第一代芯片相比，英特尔最新型号的芯片性能提高了3500倍，能效提高了90000倍，而成本则只有原先的1/60000。
非结构化数据是那些你无法使用SQL查询的内容。非结构化数据是一团糟。这意味着你把所有可以数字化和存储的信息都一股脑地吸了进来，没有任何特定的结构。但哈度普使数据分析人员能够搜索大量的非结构化数据并从中找到模式。这种在不知道要找什么的情况下从堆积如山的非结构化数据中进行筛选、查询并获得答案以及识别模式的能力，是一个意义深远的突破。
但是随着雅虎和美国在线的出现，数十亿比特与字节的数据在网上累积起来，要驾驭这些数据需要持续扩大内存空间并不断提高计算能力。所以人们开始将多台计算机组合起来。如果你能够将两台计算机组合在一起，你将有两倍的存储空间和两倍的运行速度。多亏了摩尔定律，随着计算机内存硬盘和处理器变得越来越便宜，企业开始意识到它们可以建造足球场那么大的建筑，从地板到天花板堆满处理器和硬盘，这被称为服务器集群。
多亏了传感器小型化的加速发展，我们如今能够将四种感观数字化——视觉、声音、触觉和听觉——并且正在为第五个努力：嗅觉。消防栓压力传感器可以创建数字化监测结果，并通过无线网络与公共事业服务单位连接，当压力过高或过低时传感器会向后者报告。温度传感器可以跟踪温度计中液体的扩张和收缩，并创建数字化的温度显示。运动传感器有规律地释放能量流——微波、超声波或光束。当有人或车或动物进入能量流轨道并对其造成干扰时，传感器就会发出数字化信号。警方现在通过车身反射回来的传感光束来测量汽车的时速，通过建筑表面反射回来的声波来定位枪声来源。计算机上的灯光传感器测量你工作区域的灯光，然后据此调整屏幕亮度。你的Fitbit手环（一家美国科技公司的智能健康设备）其实是众多传感器的结合：测量你的步数、你行走的距离、你燃烧的卡路里，以及你四肢运动的活跃和激烈程度。你手机上的摄像头是一个照相机加摄像机，可将捕捉到的图像从一个地方传输到任何其他地方。
“我们不断地丰富和训练我们的神经系统，每个人都从数据中获益。”鲁赫说。你不仅可以用传感器和软件来学习，还可以通过运用传感器和软件来改变。今天，鲁赫解释道：“我们不再需要对每件产品做出物理性改变来提高它们的性能，我们只需要用软件来实现。我给一辆无声的机车装上传感器和软件，突然间我就可以展开预见性维修了。我可以让其以最佳的速度行驶，节省更多的汽油。我可以更高效地编排所有火车的时刻表，甚至以更高效的方式对它们的停放做出安排。”突然一辆无声的机车变得更加快速、便宜、智能——而无需更换螺丝钉、螺栓或引擎。“我可以运用传感器数据和软件来使机器运行更加高效，就好像是我们制造了全新一代的设备。”鲁赫补充道。
在哈度普之前，大多数大公司很少关注非结构化数据。相反，他们依靠甲骨文公司的SQL——这是20世纪70年代IBM发布的一种计算机语言——来存储、管理和查询大量的结构化数据和电子表格。“SQL”的意思是“结构化查询语言”（Structured Query Language）。在一个结构化数据库中，这个软件会告诉你每一条数据是什么。在银行系统中，它会告诉你“这是一张支票”“那是一笔交易”“这是一项余额”。所有这些信息都在一个结构里，所以软件可以快速找到您的最新支票存款。
蒙迪解释道，计算机和软件的历史“其实就是软件和硬件相结合，共同将越来越多的复杂事物简化的历史”。应用程序员之所以能够完成这项魔法，靠的是APIs（application programming interfaces），即应用程序接口。APIs是计算机为实现你的每一个愿望而实际执行的应用命令。如果你想给正在编写的应用程序加一个“保存”按钮，当你按下它时，你的文件就会被储存在闪存硬盘里，你可以通过一系列的APIs来做到这一点。如果你要“创建文档”“打开文档”“发送文档”或者进行其他动作，也可以如此效法。
存储/内存
15年前，微软创造了一项叫作“.NET”的技术——一个为银行和保险公司开发重大企业软件的专有闭源平台。2014年9月，微软决定将其在吉特港上开源，来看看开源社区有什么可以补充的。6个月内，有非常多的人无偿地为微软改进“.NET”，人数之多要超过自“.NET”创立以来微软公司内部负责该项目的工作人员总数。
（4）软件应用，使得不同计算机或独立，或共同地完成数不胜数的任务；
我昨天就在“ASCI红”上玩游戏——其实我没有，但我的确操作了一台可以每秒处理1.8万亿次浮点计算的机器。这个和“ASCI红”极其相似的机器叫作PS3（PlayStation3），由索尼公司于2005年发布，并于2006年开始销售。“ASCI红”的占地面积只比一个网球场略小一点，耗电量相当于800座房子的用电量，并且造价高达5500万美元。PS3可放置在一台电视机的下面，使用正常的电源插座供电，并且一台机器只需要花费不到200英镑。10年内，一台每秒能够处理1.8万亿次浮点计算的计算机，从一个只有世界上最有钱的政府出于实现计算能力极限的目的才能创造出来的东西，发展到一个小孩子可以期待得到的圣诞礼物。
富士通公司想出来的解决办法是给奶牛装上电子计步器。这些计步器通过无线电信号与农场相连。数据被传输到一个叫作GYUHO SaaS的机器学习软件系统，这个系统在微软Azure上运行，即微软的云端。富士通的研究表明，每小时步伐数的大幅增加是奶牛发情的信号，准确率为95%。当GYUHO系统发现一头奶牛发情时，它会给农场主的手机发送一条短信，使农场主能够在正确的时间进行人工授精。
卡丁说“谷歌脱颖而出之后，我利用业余时间，写了一个开源搜索程序”，与谷歌的专有系统竞争。这个程序叫作“卢瑟恩”（Lucene）。几年后他和几位同事创建了“纳驰”（Nutch），这是第一个大型开源网页搜索引擎，并成为谷歌的竞争对手。
在电话通信中，电子滤波器中的集成电路将分离多路传输设备上的频道，也可以转接电话线路并且进行数据处理。
这个新型产业神经系统最初是由消费领域的进步所推动——比如带有全球定位系统和照相能力的智能手机。鲁赫说，它们对于21世纪的产业网络，就相当于登月探测对于20世纪的产业进步的影响一样，驱动了一系列相互关联的科技和材料向前飞跃了一大步，让它们变得更加小巧、智能、便宜、快速。“智能手机使传感器变得非常便宜，以至于我们能够把它们放在任何地方。”鲁赫说。
使得消防栓和垃圾桶变得如此聪明的是另一个领域的加速发展，它和计算本身虽然没有直接的联系，但是对拓展计算范围至关重要，这个领域就是传感器。WhatIs.com网站将传感器定义为：“能够从物理环境中探测某些类别的输入信号并做出回应的设备。这些特定的输入信号可能是光、热、动作、湿度、压力或大量环境现象中的一个。而输出的通常是一个转换成可供人类读取的信号，这些输出信号或者是在传感器的所在地显示，或者通过网络电子传输到另一个地方可供人类读取或进一步操作。”
科技加速发展的结果是，现在的消防栓和垃圾桶都变得非常聪明了。以特罗格消防栓压力记录仪为例，它被固定在一个消防栓上，并且可以将水压通过无线网络直接传输到当地供水部门的电脑桌面上，极大地减少了水管爆裂和消防栓故障的发生。和它有得一比的还有“大胃王”垃圾桶，它们装有无线传感器，当垃圾桶装满了需要清空时，传感器就会通过无线网络进行播报，清洁工就可以优化他们的服务路线，使整个城市花更少的钱并变得更加干净。是的，如今清洁工也变成了技术工人。大胃王的公司网站上写着：“每个大胃王的容量为宽25英寸（1英寸=2.54厘米）×长26.8英寸×高49.8英寸，并且装有通过内嵌式太阳能面板供电的压缩机，可以显著地压缩废弃物的体积，有助于营造更加绿色、更加清洁的街道……这些垃圾桶拥有内嵌式云计算技术，通过数字信号告诉清洁工，它们已经达到容积上限并且需要立即关注。”
“一旦不再需要中断激光信号，传输信息的速度就不再受电的属性所约束，而只是由光的属性所决定。”他解释道，“然后我们这些研究激光的家伙就可以做一些很酷的东西了。”他们找到了各种新的方法用激光和玻璃传输更多的信息。一种方法叫时分复用（time pision multiplexing, TDM），即分时段打开或关闭发光器或脉冲激光器，以释放更多的容量。还有一种方法叫波分复用（wavelength pision multiplexing, WDM），即使用不同颜色的光同时传输不同的语音通话；还有些方法是尝试将以上两种方法结合起来。
我问摩尔，他是从什么时候告诉妻子贝蒂：“亲爱的，他们以我的名字命名了一个定律。”
一头装有传感器的奶牛使得畜牧工人成为天才，而火车上装了传感器，就不再是传统的火车，而是装了车轮的IT系统。它可以在运行中，每走100英尺（1英尺=30.48厘米）就感知和播报铁轨的质量。它还能够感知坡度的大小，以及在这样的地形下行驶每英里需要消耗多少能量，这就使得两地间运输的燃料效率或行驶速度最优化。如今所有通用电气的机车都装有摄像头，以便更好地监测司机在每一个转弯处是如何操作引擎的。通用如今还知道，如果你不得不在炎热天气下以120%效率让引擎高速工作，一些特定零件将会需要提前进行维修保养。
“因特网的重要性使我很吃惊。”摩尔说道，“它本来看起来像是另一个次级通信网络，只能解决特定的问题。我当时没有意识到它将会带来各种各样的机遇。我希望我曾预测到这会发生。”
传感器：为什么猜猜看的时代正式结束了
随着数字信息的出现，信息的记录、存储、传输实际上已经变得完全自由。上一次在传输信息的成本结构方面发生如此重大的改变还是书本变得流行起来的时候。印刷术在15世纪发明，几个世纪后流行开来，并产生了重大影响，使我们得以将文化知识从人脑转移至印刷品。此刻，我们正面临着同样类型的革命，它方兴未艾，正在影响着人类生活的方方面面。
摩尔对我说：“一个趋势能够持续50年，这确实非常神奇。我们一直认为，会有各种各样的障碍阻止摩尔定律，但当我们距离下一个关键时点越来越近时，工程师们总能找到解决问题的办法，这一趋势依然如故。”
“没有摩尔定律就不会有大数据。”英特尔公司资深研究员马克·玻尔说，“它给了我们更大的内存、更高强度的运算，以及大型服务器集群处理如此强大的运行能力所需要的能量、效率和可靠性。如果那些服务器由真空管制造，那么就算是一个胡佛大坝也只能容纳一个服务器集群。”
这自然而然就引出了吉特港——当今最前沿的软件编写平台之一。吉特港是一个通过协作创造软件的最受欢迎的平台。这些创造活动可以采取任何形式——个人与个人合作，公司内部的封闭团队，或非常开放的开源社区。自2007年起，吉特港出现了爆发式的增长。众人拾柴火焰高，于是，越来越多的个人和公司依赖吉特港平台。它使人们能够充分利用通过合作产生的最优的、已经具有特定商业价值的软件，实现更快速的学习，然后在此基础上与公司内部和外部的智力资源开展团队协作，以进一步创新。
50年来，半导体行业一直在寻找新的方法，要么在维持大体相同制造成本的同时将晶体管尺寸缩小50%，从而以相同的价格提供两倍数量的晶体管；要么将相同数量晶体管的制造成本降低一半。他们可以缩小晶体管体积并把导线造得更薄、布局更加紧密。工程师们也会尝试开发新的结构和材料。比如，最早的集成电路使用一层铝制导线管；而今天使用的是13层铜制导管线，每一层叠在另一层上面，使用纳米级的技术进行制造。
“有了哈度普，他们可以将所有数据存储在一个地方，并按用户和时间排序，突然之间，他们就可以看到每个用户在一段时间内做了些什么。”卡丁说道，“他们可以了解人们是怎样从网站的一个部分跳转到另一个部分。雅虎不仅会记录你对某个网页的点击，还会记录该网页上可点击的所有内容。然后，他们可以看到你点击了什么，以及跳过而没有点击什么，这些都位于网页的什么位置，包含了什么内容。这就是大数据分析：当你看到更多，你就可以了解更多；而如果你了解更多，你就可以做出更好的决定。因此，数据与分析相结合为我们提供了更广的视野。哈度普让谷歌以外的公司也能做到这一点。于是，大家围绕哈度普编写更多的程序，这就启动了一种良性的能力升级。”
我问31岁的万斯特拉斯，他是如何进入这个领域工作的。他说：“我12岁或13岁的时候开始编程。我想制作视频游戏。我热爱视频游戏。我的第一个程序是一个伪人工智能程序。但视频游戏编程当时对于我来说太难了，所以我学会了如何制作网站。”万斯特拉斯在辛辛那提大学学习英语专业，但他花了大部分时间编写代码，而不是阅读莎士比亚，并参加了网上的基础性开源社区。“我渴望获得指导，并寻找需要帮助的项目，这就把我引到了创建开发者工具的道路上去了。”
“我10多年没有使用‘Ping’了。”2015年9月我与巴克斯鲍姆共进早餐时他告诉我，但是出于好玩的目的，“有一天，我坐在位于门罗帕克家中的电脑前，向全世界的一些电脑发送了‘Ping’指令。”目的就是要看看脉冲来回有多快。“我从密歇根州安娜堡计算机所的计算机开始‘Ping’，接着是伦敦的帝国学院、以色列的魏茨曼研究所以及澳大利亚的阿德莱德大学。结果是惊人的——脉冲速度达到了光速的一半以上，也就是2亿米/秒。”脉冲从巴克斯鲍姆敲击计算机键盘再到他的本地光纤电缆，然后进入地面和海底光纤，接着以达到光速一半以上的速度进入地球另一半的一台电脑里。
它不是与我们隔一条街的著名的瓦西提餐馆从1928年开张以来卖掉的热狗数量，也不是周五下午五点亚特兰大拥挤的州际公路上行驶的汽车数量。实际上，这个数字，总共199位，代表了联合包裹公司的一位司机每日送货平均停留120站的情况下，可能经过的不同的送货路线的数量。再想象一下，用那个数字乘以5.5万，得出来的数字是我们的司机每个工作日可能选择的美国公路路线的数目。如果要展示这个数字，我们可能需要位于达拉斯的美国电话电报公司体育场那块高清晰屏幕。但是不管怎样，联合包裹公司的司机们有办法每天给超过900万的顾客投递近1700万个包裹，从寄给得梅因的一名高中毕业生的iPad到寄给丹佛的一位糖尿病患者的胰岛素，还有那两只从北京运往亚特兰大动物园的大熊猫。他们是怎么做到的？答案就是运营研究。
吉特港的首席执行官克里斯·万斯特拉斯给我讲述了“Git”如何成为Github的故事。他解释道，Git是一个“分布式的版本控制系统”，是由林纳斯·托瓦兹于2005年发明的，他是我们这个时代最伟大的但却被忽视的创新者之一。托瓦兹是开源精神的布道士，他创造了Linux操作系统，这是第一个能够与微软的视窗操作系统竞争的开源操作系统。托瓦兹的Git程序允许一组程序员一起工作，所有人都使用相同的文件，每个程序员可以在其他人的工作基础上或旁边编写自己的代码，同时每个人还可以看到谁做了什么改变，并保存、撤销、改进和验证这些改变。
“我们现在处于14纳米时代，这远远小于人类可以用肉眼看到的任何东西。”克扎尼克解释道，他说的是英特尔最新的微芯片。“芯片可能只有你指甲盖的大小，但在那个芯片上将有超过10亿个晶体管。我们已经很清楚地知道如何达到10纳米，并且也基本上知道了如何达到7纳米甚至是5纳米。要是小于5纳米，人们也有一些初步的构想。历史一直就是这么过来的。”
“我们用名为‘开放堆栈’（OpenStack）的开源软件构建了云架构。我们有10万名开发人员，尽管他们并不为我们工作，但他们一周做的东西我们1年也无法完成。”惠普公司总裁兼首席执行官梅格·惠特曼说道，“我相信，人们渴望证明自己，这是推动世界发展的动力。这就是这些开源社区如此强大的原因。人们希望社区中的其他人认可自己的作品。你喜欢我吗？真的吗？我们大多数人无法得到很多来自他人的认可。我在易趣公司了解到了这一点。人们对他们获得的反馈几近疯狂。还有什么地方能够让你在醒来之后发现每个人有多爱你！？”
（3）联网系统，在计算机内部以及在不同的计算机之间实现沟通；
因此，他与科技资讯网的同事P.J.海耶特一起琢磨一个不同的方法。海耶特拥有计算机科学学位。同时还有汤姆·普雷斯顿·维尔纳，他在与万斯特拉斯第一见面之前，就早已开始合作开源项目了。
在1958年的夏天，突然一切都改变了。得克萨斯州仪器公司的一名工程师杰克·奇尔比“找到了解决这个问题的办法”。诺贝尔奖官方网站报道：
当然，即使是开源社区也需要资金来运作，特别是当你拥有1200万用户的时候，所以吉特港设计了一个商业模式。它向公司设立的私人商业账户收取平台使用费用，使用这个账户的公司可以用其专有的业务代码创建私人软件存储库，并决定与谁合作。现在许多大公司在吉特港上拥有私人和公共资源库，这样他们能够利用最多的智慧大脑。
这篇如今无人不知的文章于1965年4月19日发表在《电子学》杂志上，题为《将更多的元件塞入集成电路中》。文章提出：“（半导体芯片上）集成的元件数量将每年增加1倍……而且有理由相信这种增速在至少10年内将保持相对稳定。”摩尔的朋友、加利福尼亚理工学院的工程学教授卡弗·米德将其戏称为“摩尔定律”（图3-1）。
我们感知环境并将其转化为数字化数据的能力得到了极大延伸。得益于材料科学和纳米技术的突破，我们才制造出如此小巧、便宜、智能并且耐寒耐热的传感器，可以很方便地安装，并用来检测极端条件下的压力，然后传输数据。如今我们甚至能够通过喷涂——通过一个被称作3D打印的过程——把它们安在机器、建筑或引擎的任何部位。
软件：使复杂变得不复存在
但是，那一天还没有到来。
然而，依照程序员界历史悠久的传统做法，谷歌决定将它引以为豪的创新中的一些基础性技术与公众分享。所以它发表了两篇文章，概括了两个能够使它一次性积聚并搜索大量数据的关键性程序。2003年10月发表的一篇文章概述了谷歌档案系统（Google File System, GFS）。这个系统的用处是管理和获取存储于廉价的、标准化商业计算机硬盘中的大量数据。由于谷歌的抱负是组织和整理世界上的所有信息，这就要求能够存储和访问PB级（1PB相当于1000TB或100万GB）甚至是EB级（1EB=1000PB）的数据。
我于2015年5月在旧金山探索博物馆采访了摩尔，采访的主题是摩尔定律50周年。尽管当年摩尔先生已经86岁了，但他大脑里所有的微处理器显然仍然状况良好，并且在高效运行！摩尔向我解释说，1964年末，《电子学》杂志请求他为杂志创办35周年纪念刊撰写一篇文章，预测未来10年半导体元件行业将会发生什么。于是他拿出了笔记，调查了在此之前所发生的事情：仙童半导体公司从生产只有一个晶体管的芯片开始，现在已经可以生产有约8个元件（包括晶体管和电阻）的芯片，即将发布的新型芯片拥有2倍数量的元件，即16个；而他们的实验室正在试验30个元件的芯片，并在设想将如何使元件数量达到60个！摩尔把所有的一切制成散点图，记录在一本日志里，可以很清楚地看出，元件数量每年都在翻倍。摩尔在这篇文章里作了一个大胆的猜测，他预计这种翻倍式的增速将持续至少10年。
开源是软件开发的一种模式，在开源社区里任何人都可以对软件进行不断改进，并且通常在经过许可之后，可以免费使用大家集体努力的成果，只要他们与范围更广的群体分享他们的改进。这充分利用了集体的力量，所谓“三个臭皮匠，胜过一个诸葛亮”。如果每个人研究一个程序或产品，然后分享他们的改进，那么这个产品将会以更快速的方式得到改进，并继而更加快速地催生更多的改变。
人们忘记了在谷歌之前“搜索”就出现了。尽管有很多非常棒的科技想法，施乐还是错过了个人计算机商业市场。卡丁说，这个公司“试图搞清楚怎样从复印纸墨过渡到数字世界。它提出了一个想法，用复印机取代文件柜。你只需要扫描文件，就可以进行搜索。施乐对这个世界的看法始终是纸张取向的。这是一个公司无法抛弃它的稳定财源的典型案例——纸张是它的摇钱树。施乐曾试图搞清楚如何将纸张带进数字世界，那是它关注搜索的理由。这发生在万维网出现之前”。
奶牛的传感器所产生的大量数据还揭示出了另一个非常重要的规律，斯洛什说：富士通的研究人员发现，在开展人工授精最理想的16小时时间窗口内，如果你在前4小时开展这一活动，就会有“70%的可能性得到一头小母牛，而如果在接下来的4小时你就有更高的概率得到一头小公牛”。于是这就使得一个农民“可以根据他的需要调整畜群的公牛和母牛的比例”。
如今摩尔定律已经进入下半场，它还能走多远？正如我们所说，微芯片是由晶体管组成的，这些晶体管是一些微型开关。这些开关用极细的铜制导线连接，构成了电子流动的管道。芯片的工作方式是推动电子以尽可能快的速度通过单个芯片上的许多铜线。当你将电子从一个晶体管发送到另一个晶体管时，就是在发送一个打开和关闭特定开关的信号，并借此执行某种计算功能或运算。随着每一代新型微芯片的研发，挑战也随即出现，即如何将导线制造得更薄更细，将开关设计得数量更多、体积更小，以更快的速度放行或阻挡电子流通，进而创造出更多的计算能力，并且尽可能将成本降至最低，将空间缩减至最小，同时消耗尽可能少的能量和热量。
哈度普扩大了大数据的应用范围，这还得益于另一个关键性突破：非结构化数据的转换。
“摩尔也许是第一个认识到，仙童半导体的化学印刷方法不仅能够使得芯片制造得更加小巧，更加可靠，比传统的电子电路更加节能，而且生产微芯片的成本也会更加低廉。”大卫·布洛克在2015年计算机历史博物馆杂志《核心》特刊中说道，“在20世纪60年代早期，全球半导体工业界都采用了仙童半导体公司的方法来制造硅片，而军事领域，特别是航天航空计算领域，则逐渐成为它们的市场。”
卡丁要实现创建一个开源搜索程序的渴望，就不得不克服一个非常基础性的问题：“如果你有一台计算机，你能够存储在这台计算机上的数据量受到硬盘的容量所限，并且你处理相关数据的速度和深度则要受到处理器的处理能力所限，这很自然地限制了你能够执行的运算规模和速率。”
之前，“小”意味着快速但无关痛痒，而“大”意味着具有规模经济和效率，但是缺乏敏捷度。美国电话电报公司的约翰·多诺万解释道：“如果我们现在可以把大规模变得更敏捷，那么将会怎么样？”他问道。过去，“大规模，就意味着失去敏捷度、个性化和定制化，但现在大数据允许你实现这三个方面的要求”。它让你可以从100万次非个人的、大规模和无法采取行动的互动中得到100万个独特的解决方案，实现的方式是对每一块数据加以分析、利用、梳理并用软件加以定义。
奇尔比的想法是用同一块半导体材料来制造所有的组件和芯片……1958年9月，他制造出了他的第一块集成电路……
当万维网出现后，以雅虎为首的一批公司开始为顾客实现搜索功能。雅虎最开始做的是众多名录目录的总目录。只要有人创建了一个新网站，雅虎便会将其添加到其索引名录中，接着它会将所有网页分成不同组别——金融、新闻、体育、商业、娱乐，等等。“然后搜索就出现了。”卡丁说，“万维网的搜索引擎纷纷出现，比如远景公司，它为2000万个网页编制了目录。这个数量很大——以至于一段时间内它超越了所有公司。这发生在1995—1996年。不久之后（1997年），谷歌出现了，它拿出了一个小搜索引擎，并且声称有更好的方法。最终，谷歌胜出了。”
现在，这些传感器正在一个前所未有的细微层面为我们洞察先机。首先，所有传感器将它们的数据传输给中央数据库，然后通过处理能力越来越强大的软件应用在数据中寻找行为模式，这样我们就可以洞察先机，在出现问题之前观察到特定的行为模式。于是，我们就能够采取预防性措施，比如，在最佳时刻清空垃圾桶，或者在水管爆裂之前调消防栓的压力。我们因此节省了时间、金钱、精力和生命，总体上使人类变得更加高效，远超我们的想象。
“比方说，你想发表一个名为‘如何写专栏’的程序。”他对我解释道，“你只需要以你的名字将它公开发布在吉特港上。我会在网上看到并说：‘嘿，我想补充几点。’在过去，我可能会写出我想做改变的代码，然后以摘要的形式对社区进行推销。而如今我会将你的代码放入我的沙盒里。这就是所谓的‘分支’（fork）。我对它进行修改，并且我的更改完全是公开的——这是我的版本。如果我把我的更改返回给你，即原作者，我会发出一个请求。你会看到我所设计的‘如何写专栏’的新方法，可以看到所有更改。如果你喜欢它，你可以按下‘合并’按钮。然后下一个浏览者会看到整合后的版本。如果你不喜欢它的某些部分，我们可以讨论、评论和审查每一行代码。这就是有组织地集合众人的智慧。但最终会有一个专家——那个编写了原始程序‘如何写专栏’的人——他决定接受什么以及拒绝什么。吉特港将会显示我在上面做了修改，但是你可以控制什么可以和你的原始版本合并。这就是现在创建软件的方式。”
这就需要谷歌的第二个创新——2004年12月发布的谷歌映射归纳（Google MapReduce）。阿帕奇网站（Apache.org）形容它是“一种软件框架，用它编写的应用程序能够以一种可靠的、容错的方式在多个标准化的商用硬盘集群上并行处理大量数据（多个TB数据集）”。简单来说，谷歌的两个设计创新意味着我们突然之间可以存储数量多得超乎想象的数据，并可以超乎想象的简单方式运用软件应用来探索这些堆积如山的数据。
数据持续揭示了更多的规律。通过研究奶牛脚印的图形模式，农场主能在早期发现八种不同的奶牛疾病，从而能够开展早期治疗并且改善畜群整体的健康和寿命。“一个小的创造便可改变像畜牧业这样的最古老的行业。”斯洛什总结说。
所以现在我们既拥有谷歌系统，这是一个专有的闭源系统，只在谷歌的数据中心运行，人们可以用谷歌的系统做任何事情，从基本搜索到面部识别、拼写校正、翻译和图像识别等。同时，我们还拥有哈度普，它是开源的，由所有人共同运行，利用数以百万计的廉价服务器进行大数据分析。如今，IBM和甲骨文公司等技术巨头已经在哈度普技术上实现了标准化，并为其开源社区做出了贡献。与专有系统相比，开源平台上不仅没有摩擦和冲突，而且有更多的人一起开发，于是其扩张的速度更快。
如今，来自许多不同方面和系统的APIs已经变得越来越无缝交互。公司之间相互分享它们的APIs，这样开发者就可以设计出能与其他应用和服务交互、可以在其他应用和服务上操作的应用和服务。所以，当人们点击我的网站（ThomasLFriedman.com）购买书籍时，实际上是在通过亚马逊购买——我也在用亚马逊网站的APIs。
接着，它就可以准确地向他们投放广告。
如果要讨论软件发展和传播的加速，就不能不谈及比尔·盖茨以及与他共同创建微软的保罗·艾伦。在比尔·盖茨之前，软件就已经存在很长时间了。只是计算机用户从未注意到，因为软件已经被装在了你所买的计算机内，成为一种与闪闪发光的硬件同在的必不可少的东西。盖茨和艾伦改变了这一切。这始于20世纪80年代早期，他们的第一次冒险是为一个叫作BASIC的编程语言编写了注释器，然后创建了DOS操作系统。
事实上，今天最令人激动的是，万斯特拉斯说：“项目背后的那些人在吉特港上发现了彼此。公司发现了开发人员，开发人员发现了彼此，学生发现了导师，业余爱好者发现了志同道合的人。它正在成为一个真真正正的社区。人们在吉特港上遇到彼此，发现他们住在同一个小镇，然后一起出来吃披萨，并一整晚讨论编程。”
——高通格言
“开源并不是让人们随心所欲地做事情。”他很快又补充道。微软为它的程序制定了一系列的战略目标，并告诉社区他们想要做什么，开源社区会提出修改和改进，然后微软接受。他们的平台最先只在微软“视窗”系统上运行。直到有一天，微软宣布未来将实现在苹果的Mac系统和Linux系统上运行。第二天社区就说：“很好，非常感谢你。我们将为你完成其中一项。”吉特港社区自己创建了一个Mac版本——并且是一夜之间完成的！这是给微软慷慨分享的一个回馈。
“结果显示，奶牛发情时有一个简单的秘密，那就是它所走的步数。”斯洛什说。这个隐藏的征兆“对检测奶牛发热（即奶牛排卵）的准确率为95%……这就是当人工智能遇上人工授精时发生的事”。有了这个系统在手边，农场主的生产效率就能不断提高，受孕率大大提高，而且节省了时间：农场主不必再依赖他们的眼睛、直觉、昂贵的农场劳动力或农夫年鉴来识别发情的奶牛。他们可以利用节约下的时间和资本用于其他方面，以便进一步提高生产效率。
“这个数字代表了什么？谁知道吗？”他问听众。
正如《波士顿环球报》在2016年5月19日报道的：
清晰渠道户外公司知道什么类型的人会在周五下午六点半开车路过他们的某个广告牌——其中多少人是唐恩都乐甜甜圈的常客，有多少人在今年看过三次波士顿红袜队的比赛。
不久，脸书、推特和领英都开始在哈度普上搭建自己的平台。这就是为什么它们同时出现在2007年！为什么？因为他们的平台上都有大量的数据流通，但他们知道自己还没有充分利用这些数据。他们可以购买硬盘驱动器存储数据，但没有工具最大限度地利用这些数据。雅虎和谷歌想做的是捕获网页并分析它们，以便人们进行搜索。雅虎、领英或脸书之类的公司能够做得更多，当他们看到并存储网页上的每一次点击，并能准确理解用户正在做些什么的时候，搜索将变得更加有效。这些点击可能已经被记录下来了，但在哈度普出现之前，除了谷歌之外，没有人能有效利用这些数据。
但是即使新的材料还未被发现，有很重要的一点需要记住，那就是从一开始，微芯片的处理能力不仅仅是通过改进硅片来提高的，还可以通过软件进步而加以改善。“更强大的芯片能够支持更复杂的软件，而那些更复杂软件中的一些可以反过来用于芯片制造，通过新的设计以及对芯片日益复杂的结构加以优化来使芯片运行更加快速。”克雷格·蒙迪评论道。
正如我们所看到的，传感器拥有强大的力量。但是如果没有内存领域同步出现的突破性发展，那些传感器收集的海量数据会变得毫无用处。这些突破给我们提供了能够存储更多数据和软件的芯片，通过这些数据和软件可以与数以百万计的计算机相互连接，并且通过它们存储和运行数据，就好像是一台计算机一样。
正是芯片设计和软件之间的这些相辅相成的突破性进展，为人工智能领域近期取得的突破打下了基础。如今的机器能够以之前无法想象的速率和数量吸收并处理数据，因此它们能够识别数据模式，并且可以像人类大脑一样进行学习。我们曾经认为只能由人类才能完成的任务——诸如开车和回答问题——如今也能被计算机和机器人完成。因为这些更加强大的计算机和软件程序能够在效仿和识别人类语言、视觉、听力和逻辑方面比之前做得更加出色，所以人机互动也变得大幅简化，用一个点触、一个声音命令或是手指或手掌一挥就可以了。终端用户的体验变得越来越简单。
他们喜欢让他们的客人感到很特别。
但是这一切都始于第一块微芯片和摩尔定律。“很多人无数次地预测摩尔定律的终结。”霍尔特总结道，“尽管他们的预测出于不同的原因。但只有一件事他们是一致的，那就是他们都错了。”
这种以更快的速度生成和应用知识的能力使我们不仅能够充分发挥人类的能力，而且也能够使母牛的潜力得到最大的开发。对于奶农而言，猜猜看的时代从此结束了，微软公司云服务和企业部的数据组副总裁约瑟夫·斯洛什解释道。他的工作听起来像是颇费脑子——管理比特和字节。但是当我坐下来向斯洛什了解传感技术的加速发展时，他选择了一个非常老的例子来向我进行解释，这个例子就是奶牛。
“我们对自己说：‘用这个Git实在是难度太高了。但是，如果我们制作一个网站使它更容易使用呢？’”万斯特拉斯回忆道，“我们想：‘如果我们可以让每个人都使用Git，那么我们就不必担心用什么工具编程了，并可以专注于正在编写的内容。’我想要通过在网页上点击一下的方式就实现这一切。我可以对一个程序进行评论，并且像在推特中关注别人一样，以同样的方式和简易程度在网站上关注他人和他们所写的代码。”那样的话，如果你想做100个不同的软件项目，你不必学习100种不同的方法。你只需要学会Git就可以很轻松地处理它们了。
看起来那个垃圾桶甚至能参加SAT（美国学业能力倾向测验）考试！
（2）存储单元，用来储存和检索信息；
人际互联，改变生活；万物互联，改变生命。
英特尔公司负责技术和制造的副总裁比尔·霍尔特就是负责推动摩尔定律不断发展的人。他带我参观了位于俄勒冈州波特兰的英特尔芯片实验室，我透过窗户看到干净的房间里机器人24小时不停地将芯片从一个制造程序移向下一个，而穿着白色实验服的男士和女士的工作就是确保机器人运转顺利。霍尔特也对那些认为摩尔定律正在终结的人没有耐心。霍尔特说，现在大量的工作是用新材料做的，这些材料能够承载更多的晶体管，消耗更少的能量，产生更少的热量，因此他相信在10年的时间内“某些东西”将会到来并且引领下一代摩尔定律。
在计算和搜索的世界里，谷歌向广大计算社群分享这两个基础性设计的决定——而非谷歌档案系统和谷歌映射归纳解决方案的实际的、谷歌专有的源代码——是一件非常了不起的事情。谷歌实际上邀请了整个开源社区在它的重大创新基础上添砖加瓦。这两篇论文形成了杀手级的组合，使大数据有能力改变几乎每个行业。它们还催生了哈度普。
我再也不会这么说了。
2007年时，万斯特拉斯是一名软件工程师，使用开源软件为科技资讯网做产品。那一年，托瓦兹去了谷歌，并且就他编写的协作编码工具Git做了一次演讲。万斯特拉斯回忆说：“托瓦兹的演讲被放在了视频网站YouTube上，于是我的一些同事说：‘我们想用这个Git工具，不再用那些服务不同社区的不同服务器了。’”
“这是一个巨大的突破。”巴克斯鲍姆解释道，“通过内部的扩容和放大，可以摆脱电子放大器箱，并端到端地连续铺设光纤电缆。”不管是从美洲大陆到夏威夷，从中国到非洲，或是从洛杉矶到查塔努加，“这带来了更多的加速增长”。它使宽带互联网成为可能。
“老方法叫作‘状态检修’——如果它看起来很脏，那就清洗。”鲁赫解释道，“预防性维修是指：无论你是否高强度地开车，都要每行驶6000英里更换1次机油。”新的方法叫作“预见性维护”和“处方式维护”。我们现在几乎能够精确预测轮胎、引擎、汽车或卡车电池、涡轮扇风机或者其他小机械需要更换的准确时间，并且能够确定特定的引擎在不同情况运行时最适合的那一款清洁剂。
那个小男孩的父亲，也就是哈度普的创始人是道格·卡丁，他将自己描述为一个软件创新的“催化师”。卡丁成长在加州纳帕郡的乡村地区——直到1981年他进入斯坦福大学才见到了第一台计算机，而且他需要贷款才上得起学。在那里，他学习的是语言学，也上了一些计算机科学的课程，并学会了如何编程。他发现编程很有趣，而且，他还发现编程是还清学生贷款的最好途径。所以他并没有攻读商学院，而是在传奇的施乐帕克研究中心找到了一份工作，在那里他加入了语言学团队来研究人工智能以及在那时一个相对新兴的领域——“搜索”。
过去，你也许会称某人“愚蠢得像消防栓一样”或者“愚蠢得像垃圾桶一样”。
1992年俄美达成了中止核实验的协议，为此，1996年美国政府启动了一个名为‘加速战略计算倡议’（ASCI）的项目。核试验的暂停提出了新的挑战，一方面，出于安全原因，需要用计算机程序模拟旧武器老化的情况；另一方面，我们毕竟生活在一个危险的世界，需要在不违反暂停核试验协议条款的前提下设计新的武器。
但是，卡丁说道，还缺少一样东西，即将硬盘和处理器连接在一起的能力，以使它们能够以一种协调的方式储存大量数据，并且对所有数据进行整体运算，所有的处理器都同步平行运行。真正难的部分是可靠性。如果你有1台计算机，它也许一星期死机1次，但是如果你有1000台，那么死机的频率将提高1000倍。所以，为了解决这个问题，你需要两个程序：一个可以使所有计算机联合起来无缝运行；另一个可以使计算机群所产生的海量数据变得可搜索，可以从中发现固定模式或规律。硅谷的工程师们喜欢把这样的问题称为SMOP——因为，“我们拥有我们需要的所有硬件——我们只需克服这个‘小小的编程问题’（Small Matter of Programming，简称SMOP）”。
当时，硬件公司大多会外包或自己编写专用的软件，他们在自己的机器上运行自己的操作系统和专属应用程序。比尔·盖茨相信，如果有一个可以在所有类型的机器上都能运行的软件系统——这些机器未来将会包括宏碁、戴尔、IBM以及上百个其他品牌，那么这个软件本身将会具有价值。如今人们很难理解这在当时是一个多么激进的想法。但微软公司就是在这个主张的基础上诞生的，即人们不应该在买机器的时候一次付款，就得到了软件，每个用户都应该为软件程序单独付费。DOS操作系统从本质上所做的就是消除了不同计算机之间的硬件差异。无论你买了戴尔、宏碁还是IBM的计算机，都没有关系。它们都拥有相同的操作系统。这使得台式计算机和笔记本电脑成为标准化的商品——而这是计算机制造商最不想看到的事情。真正有价值的是各种各样的软件，而这些软件都依赖DOS操作系统。微软就是这样变得非常富有的。
联邦贸易委员会的首席科技官员拉坦娅·斯威尼于2014年6月16日在国家公共广播电台上解释道，传感和软件正在改变零售业：“很多人没有意识到的是，未来让你的手机与互联网相连，它会持续地发出一个内嵌在手机里的独特数字，即所谓的MAC地址，好像在说，‘嗨，这里有无线网络吗？’……通过分析手机寻找无线网的这些经常性的探测请求，你能够监测手机的具体位置，这台手机到这个位置的次数有多频繁，并且位置可以精确到几英尺。”零售商可以利用这个信息来观察你在他们店里驻足浏览了哪些陈列，哪些物品最终诱使你决定购买，这使得他们在一天中定期调整商品的陈设。但是，这些还只是其中的一小部分应用——大数据如今允许零售商监测客户到他们的某店里购物前开车路过了哪个广告牌。
摩尔在1965年的文章中还成功地预言了微芯片持续改善所产生的影响：
那么存储空间需要多大？软件又需要变得多复杂？2014年5月11日，联合包裹公司的工程主席兰迪·斯达什克在生产和运营管理协会会议上阐述了大数据的重要性。他从一个长度为199位的数字开始讲起。
诺伊斯于1957年与其他几位工程师联合创立了仙童半导体公司，开发生产这些芯片。他后来还成为英特尔公司的联合创始人之一。戈登·摩尔也是仙童半导体公司的创始人之一，他在加利福尼亚理工学院获得物理化学博士学位，并成为仙童半导体公司的研发实验室主任。该公司的一项巨大创新是开发了一种将微晶体管化学印刷到硅晶片上的工艺，使其更容易量产，更适合大规模生产。正如弗雷德·柯普兰在他的著作《1959年：一切改变发生的那一年》中所指出的，如果没有大规模的政府计划，特别是登月竞赛和民兵洲际弹道导弹，微芯片可能无法迎来快速发展。两者都需要精密的制导系统，而且这个系统要能装在非常小的弹头内。国防部的需求为微芯片的制造创造出规模效应，而第一个认识到这一点的就是戈登·摩尔。
“以维基百科为例，它是一个用于编写开源百科全书的版本控制系统。”托瓦兹解释道。人们为每个条目做出了他们的贡献，你还可以随时查看、改进和撤销任何更改。唯一的规则是任何改进必须与整个社区分享。专有软件（如微软的视窗操作系统或苹果的iOS操作系统）也是由一个版本控制系统生成的，但它是一个闭源系统，其源代码不会与公司外部的群体分享。
这就是哈度普的故事和大数据革命——但是这是在谷歌的巨大帮助下发生的。很具讽刺意味的是，由于哈度普利用这些大数据工具打造了一个全新的行业，现在就连谷歌都希望将它的大数据工具推销给公众。
过去，公司会等待下一代芯片下线。现在，他们可以用软件让已有的硬件焕发新的活力。人们现在等待的是新的软件。这就是为什么美国电话电报公司的约翰·多诺万会说：“对我们来说，摩尔定律已经是过去的美好时光了。每12个月到24个月，我们可以设计出一款新的芯片，我们知道它要来了，所以我们可以测试它，并为它做计划。”如今更重要的是下一个出现的会是什么软件。“变化的速度是由谁编写的软件所决定的，当那些开卡车和爬梯子的家伙爬上电线杆对你说：‘多诺万，我们现在是一家软件公司了。’你就知道，重要的事情发生了。软件曾经是瓶颈，现在它正在超越一切。它已经成为摩尔定律的复合乘数。”
计算机将会变得更加强大，并且将会以完全不同的方式加以组织……那些和今天的机器看起来很相似的机器，其制造成本将会更低，更新周期将变得更快。
（1）集成电路，用来进行运算；
兰彻斯特写道：
美国电话电报公司的首席战略官约翰·多诺万说，他们每天都在将越来越多的“数字尾气转换为数字燃料”。美国百货公司的业主约翰·沃纳梅克是20世纪早期零售和广告业的先行者。他曾经有过一个非常著名的评论：“我花在广告上的钱一半都浪费了；问题是我不知道哪一半被浪费了。”这在现在看来已经不是问题了。
ASCI需要的计算能力超出了当时任何机器所能实现的水平。为此，ASCI定制了一台名为“ASCI红”的计算机，要将其设计为第一台超级计算机，进行每秒1万亿次浮点运算。浮点运算即涉及小数点的数字计算……（计算上比涉及整数的计算要求高得多）。到了1997年，“ASCI红”已经组装完毕并开始全速运行。当时它确实独一无二，每秒能够处理1.8万亿次浮点运算。“ASCI红”一直到20世纪末，始终是世界上最强大的超级计算机。
而摩尔定律到现在一直持续了50年。
集成电路将带来各种神奇的事物，例如家用计算机（或者至少是各种连接在一台中心计算机上的终端）、汽车自动控制系统以及个人便携式通信设备。如今电子手表就差一个显示器就可以变为现实……
“谷歌描述了一种能够轻松驾驭大量计算机的方法。”卡丁说道：“它们并没有向我们提供源代码，但给了我们足够多的信息，一个技术娴熟的人足以照章复制，甚至可能对其做出改进。”哈度普就是这么做的。它编写的算法能够把数十万台计算机变成一台超级计算机。所以任何人都可以购买大量的标准化的硬件和存储设备，并在哈度普上运行，于是转眼之间，就可以开展海量运算。
为了完成这项任务，兰彻斯特补充道：
网络：带宽和移动性
过去，在工厂车间工作需要的是经验带来的直觉，当你工作了30多年后，你或许能够辨别机器发出的略有差异的声音信号，这些声音信号告诉你有些东西运行得不太正常。如今，有了传感器，一个新员工在上班的第一天便可发现微弱的信号，而无须任何直觉。传感器将会播放这些信号。
我们所有人都要感谢谷歌，它为扩大其搜索业务提出了解决方案。谷歌真正的天才之处，卡丁说，在于“它开发了一套存储系统，使得1000个硬盘看起来就像1个硬盘，所以如果有1个坏掉了你也注意不到”。谷歌同时还开发了一套软件处理硬盘上存储的大量数据。谷歌不得不自己开发这些软件，因为当时不存在商业性上可行的技术满足其存储、处理、搜索全世界信息的雄心。换句话说，谷歌不得不为了创建它认为全世界所需要的搜索引擎而进行创新，但是它是以一种专有的、排他的方式经营自己的业务，并且不对任何其他人进行授权。
清晰渠道户外公司是全美国最大的户外广告牌公司，如今它们可以定制州际公路上的自动弹出式广告。它正在波士顿以及美国的其他10个城市展开“雷达”项目。这一项目使用的是美国电话电报公司从其1.3亿蜂窝手机用户那里收集到的数据，以及普雷斯特IQ公司和普雷斯特公司等其他两个公司的数据，这两家公司通过手机应用程序来跟踪数百万人的往来行踪。
这绝非一件小事。优达学城的创始人、大规模在线开放课程的开拓者之一塞巴斯蒂安·图恩曾是斯坦福大学教授，他曾经在2013年11/12月的《外交》杂志的一次采访中评论道：
加速还没有结束。巴克斯鲍姆说：“在过去20年里，我们不断地找到用更快、更好的方式，分割光的不同属性，以此承载更多的信息。现在海底电缆的数据传输速率是每秒上万亿比特。”到了某个时点，你最终会碰到“物理定律”的天花板，但现在还没到那个时候。各个公司不仅在试验改变脉冲或光的颜色，还在以新的方式塑造光，以使其可以在纤细的光纤线路上以每秒传送超过100万亿比特的速率传输数据。
在2013年，我访问了田纳西州的查塔努加，当时这个地方被戏称为“千兆之城”（Gig City），因为这里有全美国速度最快的互联网服务。这是一个超高速光纤网络，每秒可以传输1000兆位的数据，这大约是美国一个标准城市平均网速的30倍。根据《纽约时报》2014年2月3日刊登的一篇报道：“在查塔努加下载一部2小时的高清晰电影只需要33秒，而在全国其他地区使用平均高速宽带连接的用户则需要25分钟。”当我到那里采访的时候，人们正在谈论10月13日的一场不同寻常的二重奏。这场演奏会采用了具有超低延时的视频会议技术。延时越低，两个人在两地之间互相交谈时的延迟越不明显。查塔努加的新网络使这种延迟已经短到人耳无法识别的程度。在这场演奏会上，格莱美奖得主T.伯恩·波奈特与BR549乐队的创始人查克·米德一起为4000名听众演奏了一曲《生活狂野的一面》。但这不是寻常的二重奏。波奈特在洛杉矶的工作室里演奏，而米德则在查塔努加登台演出。当地网站Chattanoogan.com报道说，这场贯穿美洲大陆的二重奏之所以成为可能，是因为查塔努加的新光纤网络的延迟是67毫秒，这意味着在不到一眨眼的时间里，音频和视频就穿越2100英里，从查塔努加到了洛杉矶。这一传输速度如此之快，以至于人耳无法识别声音传输中的轻微延迟。
斯洛什讲述的故事大致是这样的：日本奶农向日本计算机巨头富士通公司提出了一个问题：他们能否提高在大型奶牛农场成功繁殖奶牛的概率？事实证明，奶牛进入发热期或发情期后，也就是它们的交配和生育时期，可以成功地人工授精。但这个时间窗口非常短：每21天有12～18小时，而且通常是在晚上。对于一个拥有一大群奶牛需要监控的小奶农而言，同时监控所有的奶牛并且要确定理想的时间来为每头奶牛人工授精，是非常困难的一件事。
