云存储进化让大数据像水一样自由流淌

来源：中关村在线

2013/8/29 11:26:42

大数据时代，PC互联网，移动互联网以及社交化平台的发展，让数据呈现几何化、爆炸式增长。而随着数据来源渠道的增多，网络的数据也不再是单一的数据类型，大量的非结构化数据涌现改变了数据的组成模式。

迅雷离线下载每传输完一个文件，就会记录文件资源的地址，CID值，以及文件其他的特征信息。如此积累，迅雷便保存了大量文件的特征信息，当再有用户下载相同的文件时，迅雷云加速服务不再需要从资源所在的服务器下载文件，而是从迅雷云加速服务内部的资源中直接复制到用户的离线传输文件夹里，这样，一个几GB 甚至几十GB 的大文件在瞬间就传输完成了，因此很多人觉得离线下载极快，叫做‘秒杀’。

云存储后台需要什么样的支持？

“秒杀”下载并不是迅雷服务器神通广大，而是迅雷利用云存储技术的一种创新。这样能节省大量带宽用于传输迅雷云加速网络上不存在的新资源。正是利用这样的方法，迅雷不断积累资源，不断索引资源。但很长时间都没有人再下载的文件，迅雷云加速服务也会删除这个文件的索引信息，减少服务器空间占用。

离线下载业务实现了数据之间的快速传输，在大数据时代，让人们之间的数据流动性更欢快。但目前迅雷离线下载只提供给会员使用。如果你是会员用户，那么就可以依靠迅雷的服务器强大的下载功能下载文件，或者直接从迅雷服务器上直接下载别人已经下载的文件，等于复制粘贴，这样就节省了大量的时间，促进了数据间的流动。

云存储进化让大数据像水一样自由流淌

云存储服务器需要强大的后台支持

目前迅雷每个月付费会员高达400多万，而且在400多万用户背后还有近3亿的免费用户，这些用户也可以用迅雷的离线下载业务，这必然需要强大的云存储平台支持，给用户提供离线下载业务，而且还要满足数据的文件总量的增长以及用户流量的激增的挑战。同时云存储平台需要不断的对其服务器平台进行存储容量、系统宽带，I/O的需求增加。下面我们就来讨论下什么样的平台才能满足迅雷的需求。　　要想搭建能够满足用户需求的云存储平台，我们首先需要先了解离线下载平台的原理：

(1)用户通过客户端或Web界面向服务器提交一个下载请求。

(2)服务器端接受请求，首先查询用户提交的下载链接是否被下载过。如果有，直接把已下载的数据文件(或只是文件的链接)放入用户服务器端的在线空间。如果没有，开启多线程实施下载(或用某公司自己特有的P2P方式)。

(3)下载完成后，用户在线登录到在线空间，取回下载的文件。其间也可以采用迅雷提供的P2P方式，从已下载或正在下载相同文件的用户那里取得数据。　　

(4)离线下载多针对冷门资源，或资源少的文件。待服务器端不是替用户下载完成后，用户还需要利用下载软件从服务器上下载文件。相比直接下载，增加了下载资源速度，节约了时间。

如何搭建离线下载支持平台?

那么需要多少服务器才能满足迅雷400万的会员以及将近3亿的普通用户需求呢?笔者开始误以为这个业务会需要很多服务器支持。但是通过对迅雷的离线下载平台进行研究后，发现支持离线下载的服务器并没有我们想象的那么多。毕竟这些用户并不可能同时下载数据，而且每个用户的下载也不可是都饱和，冷门的数据也并不是一直存储，所以对服务器的需求并没有想象的那么多。

下面我们来细分析一下这个平台的组成，可能大家就会明白为何并不需要那么的服务器就能够满足用户需求了。

云存储进化让大数据像水一样自由流淌

离线平台需要离线下载服务器、WEB服务器、数据存储服务器三个平台共同支持。这三个平台都需要出色的性能支持，在处理器和内存方面并没有区别，主要区别是在存储硬盘方面的不同。

下面我们从性价比和需求方面来预测一下三种系统在存储方面的需求：离线下载服务器主要提供的速度下载，所以对服务器的硬盘性能和容量要求较高。选择SAS硬盘为宜;数据存储服务器提供存储功能，对存储的容量要求高，但是对速度没有太大的需求。采用SATA硬盘为宜;Web服务器对硬盘的速度和性能要求高，但是对容量的大小没有太大的要求。采用SAS硬盘既可满足。

利用对云存储技术的改进和创新，迅雷解决了离线下载业务的支持问题。同时这种技术也能够胜任多种业务，如数据存储、数据库应用、高性能计算、计算机集群等领域。云存储技术让数据的存储更简单，灵活性更强。在大数据来临之际，云存储技术的创新与发展必将促使大数据发生新的革命，让数据真正的实现自由流动。

责编：驼铃声声