《ERP用户的IT系统能力评估分析报告》样本之一

作者：莫桦

2007/3/28 13:57:40

——某上市公司QAD ERP系统运行性能评估报告

一、应用系统背景

某有限公司是香港聯合交易所主板上市公司，主要業務是替顧客從事OEM生產，在内地多个工业园区拥有大型生产基地，2005年营业额超过27亿港元。该公司采用美国QAD公司MFG/PRO 8.5G ERP软件的ERP系統负责保障其銷售部門、工廠与顧客的迅速和准确地沟通，并提供即時資訊，讓公司做出合適而快速的決定。公司的顧客也可以透過這個系統的“顧客服務資訊”界面，即時獲得生產、物料、裝運等訊息。公司工厂的生产线上所有生產數據都被即時記錄在该ERP系統上，该系統利用程序表，去監管每一個產品的製造過程，以確保每個程序得到妥善處理，沒有遺漏。顾客的订单资料（包括订单状况、装运记录）和存货资料（物料状况）都与物料资源计划系统（MRP）保持同步。
随着公司OEM的客户和订单的增加，公司位于深圳的工厂的QAD ERP系统日益受到以下性能问题的困扰：

ERP系统的所有客户端（包括位于各生产线的生产控制员工位）24小时都响应缓慢；

每晚22点开始的MRP批处理到第二天上午9点还无法完成，大客户的MRP批处理甚至要超过18个小时才能运行完。

这不但严重影响生产的进行，也使为客户提供及时的资讯服务成为泡影，进而影响到了公司的销售。虽然公司的电脑部门努力地优化QAD软件和Progress数据库，但收效甚微。公司电脑部门又求助于提供硬件平台的HP公司，因为技术人员发现运行QAD软件的HP rp5405服务器CPU的利用率接近100%；HP公司的技术人员检查完该公司的IT系统后建议购买更高档的HP服务器和最新的光纤磁盘阵列来替代现有的HP rp5405服务器和DS2300 SCSI磁盘阵列，并保证问题就可以得到解决。但在HP公司解决方案中心用HP公司所推荐的更高档的HP服务器和最新的光纤磁盘阵列来安装QAD软件和全部真实数据的拷贝进行的验证测试结果却让人大跌眼镜：MRP批处理时间几乎没有减少，而ERP系统依旧响应缓慢；服务器厂商对此的结论是请用户检查应用软件和数据库是否太消耗硬件资源。受服务器厂商的影响，该公司开始考虑将ERP软件和数据库分别更换为SAP和ORACLE。

该上市公司为保证最终的决策能正确地解决应用性能问题，找到免费提供“IT系统能力评估分析和优化服务”的第三方对该公司IT系统的硬件资源做出客观的评估，让该公司可以直观、方便地理解其硬件平台的现有能力以及是否能够支持现在以及预期工作负载的峰值。

二、客户的系统配置

（一）系统硬件配置

服务器：

生产服务器：HP rp5405服务器（2 x 650 MHz PA8700 CPU，4GB内存，2 x 36 GB系统盘，HP DAT 40e External Tape Drive）；

备用及开发、测试服务器：HP L1000服务器（1 x 650 MHz PA8700 CPU，1GB内存，4 x 18 GB磁盘）；

磁盘阵列：HP Superstore Disk System 2300（8X 18.2G 10K RPM Ultra3 SCSI Disk），采用RAID 0+1配置。

（二）系统软件配置

操作系统版本：HP-UX 11v1.0 unlimited-user license；

数据库：Progress 8.3c；

应用软件：QAD MFG/PRO 8.5G。

三、客户系统的资源利用率分析

为清楚地了解某上市公司QAD ERP系统的服务器资源包括：CPU、内存和磁盘子系统被使用的情况，客户系统管理员按CURTIS公司的要求使用UNIX的实用程序记录了从2006年2月13日11:27到2月14日11:27一整天的生产服务器的CPU、内存和磁盘子系统被使用的历史记录。
（一） CPU资源的使用情况

下面是生产服务器HP rp5405从2006年2月13日11:27到次日11:27一整天的CPU利用率历史记录（见下图）：

结论：用户ERP生产服务器的CPU除了进行数据备份的一小时外，全天23小时都处于严重过载状态（利用率基本上为100%）；而这些过载全是由于CPU的进程时间都处于等待I/O的闲置状态所造成（峰值时70%的CPU时间都被I/O等待所占据）；这表明用户系统的存储部分存在I/O瓶颈，而不是CPU运算能力或数量不够；

（二）服务器的内存是否满足应用的需求

由于HP rp5405服务器的SWAP区设置在系统盘c1t2d0上，如果内存不足，SWAP区会有频繁的页面换入/换出，这样会导致c1t2d0盘较高的利用率和TPS（交易数/秒）。
下面是HP rp5405服务器的系统盘c1t2d0和c2t2d0从2006年2月13日11:27到次日11:27一整天的利用率（%Busy）和TPS（交易数/秒）历史记录（见下列图）

结论：HP rp5405服务器内置的c1t2d0和c2t2d0二块系统盘中，c1t2d0盘的利用率明显比c2t2d0盘高，c1t2d0盘的TPS值也较高（接近其性能峰值：100TPS）；这表明c1t2d0盘上的SWAP区存在较频繁的页面换出/换入，这说明HP rp5405服务器的内存偏少无法满足应用的需求。

（三）服务器的磁盘子系统资源的使用情况

HP DS2300磁盘阵列上的8块18GB磁盘采用RAID 0+1配置，设置为一个逻辑卷组“vg01”及4个逻辑卷（Logical Volume）：vol11、vol12、vol13、vol14；根据2006年2月13日11:27到次日11:27一整天从服务器上捕获的8个物理盘：c5t0d0、c5t1d0、c5t2d0、c5t3d0、c5t8d0、c5t9d0、c5t10d0、c5t11d0的使用情况历史记录来看：所有物理盘全部都一样过载，每块物理盘的利用率（%Busy）都超过70%、TPS超过100。
下面是其中一块物理盘c5t0d0从2006年2月13日11:27到次日11:27一整天的利用率（%Busy）、TPS（交易数/秒）和数据传输量（MB/S）历史记录（见下列图）：

结论：由于单块10000转（10K rpm）的磁盘有大约100-150TPS的能力，而现在应用对HP DS2300磁盘阵列上每块物理盘的I/O交易请求都超过了100TPS，因此该上市公司QAD ERP系统HP DS2300磁盘阵列当前配置下的I/O能力无法满足QAD ERP应用对I/O的需求，产生I/O瓶颈，导致应用响应缓慢、MRP批处理时间过长。

四、 HP DS2300磁盘阵列上数据库文件活动的历史纪录分析

根据Progress 8.3c数据库实用程序“proutil”捕获的数据库各组成部分（如：primary recovery (before image) area、schema area）自数据库启动以来累积的I/O访问统计来看（见下表），QAD ERP应用在对整个数据库的访问量中，读占97.97%，写占2.03%；而对BI、d1、d3、d4、d5和d9六个数据文件的访问分别占对整个数据库读的70.19%、写的76.42%！因此就是存储在HP DS2300磁盘阵列上的wongdb.b1、wongdb.d1、wongdb.d3、wongdb.d4、wongdb.d5和wongdb.d9共六个数据文件被应用频繁访问（访问过载），超出了HP DS2300磁盘阵列的I/O吞吐能力，形成I/O瓶颈。

五、评估分析结论小结及解决方案建议

（一）评估分析结论小结：某上市公司QAD ERP系统性能差的原因是ERP应用对HP DS2300磁盘阵列的过度访问超出了该磁盘阵列当前配置下的I/O能力，产生I/O瓶颈；因此扩充CPU、内存或更换更大的服务器都无法改善QAD ERP应用的性能和缩短MRP批处理的时间；用户就是换用SAP ERP和ORACLE数据库在现有硬件的存储配置上运行，性能也会同样的差。

（二）解决方案：必须大幅度地提升用户现有硬件存储部分的I/O能力。

1、因用户现有的HP DS2300磁盘阵列没有大量扩充磁盘数量的能力，因此用户需另购最少能安装45块磁盘的HP磁盘阵列并配置满45块10K RPM的磁盘才能满足QAD ERP应用当前对I/O能力的需求；要支持未来预期工作负载的峰值，用户在另购磁盘阵列时需选择能容纳更多磁盘的更高档的磁盘阵列；

2、或在现有系统中增添高性能的固态存储（SSD）盘，将被QAD ERP应用过度访问的数据从HP DS2300磁盘阵列中迁移到SSD盘上存储。

附录：固态存储（SSD）解决方案的验证测试结果

为验证所建议的固态存储（SSD）解决方案，用户在收到一套固态存储盘阵样机后，利用周末的时间将被QAD ERP应用过度访问的wongdb.b1、wongdb.d1、wongdb.d3、wongdb.d4、wongdb.d5和wongdb.d9六个数据文件迁移至固态存储盘阵（SSD）上存储，并进行了一天的效果对比测试；在采用固态存储设备（SSD）后，用户不但立即就看到了MRP批处理时间缩短的巨大效果：MRP批处理时间缩短到只有原来的三分之一到五分之一（见下表）！而且用户所有客户端请求的响应时间也大大缩短。