华为：细数重复数据后重删技术四宗罪

来源：eNet硅谷动力

2014/5/15 11:06:45

在线重删是整个重删技术的趋势，而在线重删却在主存储场景中始终步履蹒跚。相信，华为5月份即将发布的新一代企业级OceanStor V3系列新品即是一个很好的契机，将促使在线重删技术在主存储场景中开出绚烂的花朵。

重复数据删除技术作为存储十大热点技术备受大家的关注。在备份存储领域，重删技术已基本成熟，且具有极高的市场价值，各大厂家都推出了相关的重删产品，并受到了客户青睐。而在主存储领域，重删技术虽然还不够成熟，但由于市场的需要及较高的市场价值，很多厂商也都推出了主存储重删产品。但在主存储场景下，客户对存储的性能要求都比较高，考虑到对性能的影响，很多厂商在重删技术上面选择了后重删技术，如EMC的VNX、NetApp的FAS。然而，后重删技术能解决我们主存储场景下的问题吗？

重删之“痛” ——后重删：

一痛：后重删与快照天然的就存在兼容性的问题。重删的目的是对数据进行处理，当存在重复数据时，需要将重复的数据删除从而达到节约空间的目的，而快照的目的则是将快照后的元数据和数据进行锁定，保证快照时刻数据的完成性。当快照后进行重删，重删为了缩减数据对数据和元数据进行修改或删除，而快照则是将修改或删除后的元数据和数据拷贝到快照空间保证快照时刻数据的完成性。为此，虽然重删缩减了正在使用的空间容量，但快照空间容量则会大幅度增加，最终起不到任何数据缩减的效果。为此，选择后处理重删的厂家都要求在重删压缩后再进行快照，当前EMC的VNX、NetApp的FAS都存在这样的情况。这使得用户在同时使用快照和重删功能时，非常的不满意。

二痛：后重删处理重删数据会滞后，一般是一天或一周处理一次。这就需要用户预留足够的空间存储这段时间内产生的新数据，即使是所有的新数据都是重复数据。例如：在批量部署虚拟机时，每个虚拟机50G，部署1000个，则需要预留50T的空间，而实际重删后所占空间仅需要50G。

三痛：后重删原理：先将数据写入到设备，待重删时，再将未重删的数据读到内存中进行重删处理，如下图1：后处理重删示意图。由此可以分析，后处理对一个数据块需要进行

两次写，一次读的操作。也就是说由于后处理重删的原因，会导致设备总的负荷增加，在设备空闲业务时间很少或不间断时，后处理重删实际上对性能的消耗将大于在线重删（在线重删对一个数据块仅需1次写，如图2：在线重删示意图）。同时，由于增加了写的次数，对磁盘寿命也有一定的影响，特别是SSD，这在闪存阵列中是无法接受的。