云计算：大数据时代的系统工程

很多事情在讲述的时候似乎很有意思，但当时经历的时候会让人觉得绝望。“大系统”的压力对于系统维护工程师而言，就是这样的事情。2000年初，笔者(注：此处指姚宏宇博士。)当时在雅虎公司编程之外做的最多的两件事，现在听起来或许还有些“土”：一件是组装机器，一件是维护机器，而这只是为了保证在足够多且可靠的硬件支撑下，业务系统能够有效应对不断快速增长的用户需求。在当时，笔者加班到晚上十点钟左右是常有的事，然后还要从加利福尼亚州的桑尼维尔（Sunnyvale）开车回家，再和朋友一起找地方吃饭。由于住的地方位于南圣何塞（South San Jose），附近是越南人聚集地，太晚的时间只有越南米粉（Pho）可以吃，于是以越南米粉果腹的时间持续有半年之久，以致现在对“牛肉粉（Beef Pho）”产生排斥感。吃完饭之后回去还要继续工作，凌晨两、三点才能睡觉。美股的开盘时间是东部时间9:30~16:00，这意味着在此之前必须保证交易网站服务的正常运行，所以必须每天早上6点准时起床，来检查系统的运行状态。很多人每天都会收到大量邮件，但早上刚起床就看到上万封邮件和几百条呼叫（Pager）信息，并且全部来自机器的情况并非人人都有体会，虽然是专职于此的技术人员，这种极大的压力状况还是很容易让人产生无力感，持续下去会有崩溃的感觉。怎么办？只有把雅虎财经频道大部分的底层代码进行重写，找回些生活。

现在看来，大量用户带来的大流量的压力，以及大系统的问题不仅对于每一个互联网公司来说仍然普遍存在，而且已经开始越来越多的出现在其他传统企业中。谷歌在1998年时的访问量约为每天1万次，但到2007年时，日访问量已达到5亿多次，机器数量也已经超过50万台。对于大多数互联网企业而言，虽然服务器规模不至于如此庞大，但随着用户规模的增加，少则数百台，多则上千台的服务器仍然对企业的运维管理能力提出了挑战。

对于企业来说，随着系统越来越大，维护人员却不能对应成比例增长——企业要考虑人力成本，还要顾及运维效率的问题——即便如此，雅虎在某一阶段有过半的成本都耗在旧有设备和系统的维护上，而无法把大部分资金投入到新业务的开发中。公司能创造新价值的部分越来越少，创新也越来越少，只能求变。

除了大规模系统的维护之外，海量数据的存储问题同样是互联网公司头疼的问题所在，随着网络技术和服务的快速发展，用户平均在线时间的延长和用户网络行为的多样化，导致各类数据在不断涌现，移动终端的出现更是扩充了网络服务的内容与范围，这些都大大增加了互联网公司需要承载的数据量。大量的用户数据对每一个公司而言都是宝贵的信息财富，但是如果只是购买邮箱存储设备一年就要花费几亿美金的话，每个CEO都会再权衡一下，于是雅虎后来有了Hadoop的研发。

因此，在流量和服务器数量都高速增长的情况下，“一个能够与网页增长速度保持同步的系统”[3]必不可少，这也是谷歌三篇有关分布式的论文*(注：这三篇论文分别是有关GFS（Google File System）分布式存储系统、MapReduce分布式处理技术和BigTable分布式数据库的论文，下文也有所提及。)之所以具有重要指导意义的原因——一切均出自实践。

随着信息经济的发展，许多传统企业现在也在加速向互联网化转型。最初存在于互联网企业的压力也出现于其他组织机构中，对大数据的管理和处理需求也在这些组织中产生。比如一个政府部门，如果考虑到信息中心和各垂直部门的信息资源，可能会有数千台服务器和数百套业务系统需要整合和管理，而且多数分布于不同的地理位置。如何对这些资源进行集中统一管理？

或许，这些组织也可以考虑选择云计算。

对于大多数中小型组织，甚至于个人而言，云计算的魅力来自那些灵活、弹性和随时随处可用的云计算服务，比如亚马逊的计算资源租用服务，或者一些针对企业和个人的“云存储”服务。这些服务是大多数人与云计算最直接的接触，也形成了他们对云计算的直观认识。但是我们知道，云计算应该包含两方面的内容：服务和平台。云计算既是商业模式，也是技术。

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友