关于SPECjAppServer评测，您应该知道的“故事”

【51CTO记者独家报道】谈到评价服务器的标准，也许您脑子里会马上闪出一些术语：CPU是双核还是四核？四路还是八路？主频多少？内存多大？总线怎么样？……但是，这些性能指标真的能体现出一台服务器的性能吗？
如果把服务器看作一辆汽车，那上面的那些性能指标就代表着汽车的发动机、驱动方式等等；但是，真正能体现车子价值的，当然是在实际环境中的表现：启动速度、耗油量、噪音、稳定程度……因此，最合理的采购，当然就是在真实环境“试运行”——用中国的俗语来说，就是“是骡子是马，拉出来遛遛”！
然而，限于用户采购的现实情况，让所有的服务器和IT系统都能在真实环境下“跑”一段时间是不现实的。那么，有什么可以替代的办法吗？
也许很多人会想到评测。的确，这也许是最好的解决办法。但是，单纯的产品评测往往限于对产品指标的再重复，而用户需要的，是那种真正能模拟产品在实际应用中的表现的评测！
这种需求有可能满足吗？当然！SPECjAppServer就是这样一个评测。
近日，值基于双核平台的浪潮天梭高性能系统在SPECjAppServer2004服务器应用性能测试中刷新世界纪录（详情请参见http://server.51cto.com/art/200612/36176.htm）的契机，记者采访了浪潮服务器技术总监胡雷钧先生，就SPEC和本次测试的相关情况进行了了解。

超仿真——SPECjAppServer的最大特点

SPEC（Standard Performance Evaluation Corporation）是国际系统性能评测的权威第三方测试组织，成员包括业界的厂商——主要是软硬件中间件的厂商——以及国际著名大学、研究所等，几乎世界所有顶级软硬件厂商如Intel、BEA、IBM、Oracle、Sun、微软以及诸多Linux厂商等都是该测试的支持和参与者。SPEC组织成员通过沟通，设计新的测试规范、用户背景模型、压力的模型、测试方法，测试有相对一致的规范。因此，从组织的构成、目标、Benchmark结果来看，SPEC是比较权威的。
SPECjAppSever2004测试由Java小组制定，所谓“SPECjAppSever2004”，”j”即指Java，“2004”是以前的指标2002的升级版，体现了中间件应用的变化尤其是产品体系结构方面，2004是一个更为成熟的标准。因此可以看出，本测试重点在Java的应用环境，测试对中间件表现。当然测试并不仅限于中间件，因为中间件处于平台环境，必不可少的是后端数据库的支持；因此这一测试衡量数据库、中间件、用户端口这三个层次，而且在测中间件时也衡量数据中心，所以是一个综合考量系统的测试。而基于中间件的三层架构，面对公众的业务，如公安、社保、电信、金融，尤其是电子商务，测试数值参考价值都非常大。
那么，SPECjAppSever2004到底有何特殊？凭什么就能说SPECjAppSever2004是对IT企业技术及解决方案能力的校验？
胡雷钧介绍说，SPECjAppSever2004的最大特点就是“超仿真”！该测试全真模拟了一个制造业（汽车制造商）的生态环境，由5个域组成（参见图和下表）。

 
图：SPECjAppSever2004模型

表：SPECjAppSever2004的5个域的构成
◇ 客户域（Customer Domain）：处理客户订单和交互。
◇ 经销商域（Dealer Domain）：提供一个到客户域中服务的基于Web的接口。
◇ 制造域（Manufacturing Domain）：执行“准时生产”（just-in-time）制造操作。
◇ 供应商域（Supplier Domain）：处理与外部供应商的交互。
◇ 公司域（Corporate Domain）：管理所有的客户、产品和供应商信息。

该生态环境规定了各种角色，每个角色都有数据结构；模型完全按照实际工作进行，包括每两种业务之间是什么样的比例、下单对供应量的比例、订单引发的变化等数据都能表现出来。模型通过高并发任务向系统加压，可以相当于几千几万个客户端同时下单，压力的比例非常接近于用户实际。在这种情况下，检测系统的性能指标，得出评测结果。
SPECjAppSever2004的最终考量单位是用“JOPS”，即每秒钟执行的操作数。胡雷钧介绍说，目前业内单核处理器的平均成绩是120JOPS。浪潮天梭高性能系统本次测试最终取得整体1466.29JOPS、平均每核183.3JOPS的成绩，远远超出业内平均水平，打破了IBM小型机保持了五个月的纪录。这项数据的通俗解释就是说，参与评测的系统，可以每秒处理1466项业务，相当于9000多个客户端同时进行操作。

综合性——SPECjAppSever2004的价值所在

前面介绍的SPECjAppSever2004的评测原理，相当于F1赛车的赛道；如果厂商想在这场F1大战中取得优异成绩，除了车本身的性能，赛车手和周边服务系统也是关键因素。凑某种意义上，SPECjAppSever2004的价值所在，也正是这种对产品、方案、调试、服务等全方位的考核。
胡雷钧向我们介绍说，SPECjAppSever2004是一个高强度的系统测试，包括部件性能测试、应用测试、方案的测试、方案可行性验证等。在测试的一个多月时间内，每天测试8、9遍；每一轮性能评测找出缺点，然后优化，每次都调整参数，要做几百万、上千万次的调整。这是一项艰苦的工作。
为什么要考核服务器厂商在系统调优方面的能力？
服务器工程师公认，调优是门艺术，要有深厚的技术基础。没有对体系结构的了解，没有经验，不知道产品的独特个性，没有应用观察，就不可能完成这种高复杂度的系统方案优化能力。
以运行Oracle数据库的服务器系统而言，可调节的系统可变参数大约有：数据库本身25项、操作系统20项、中间件20项、硬件系统10项。大部分参数的变量都是连续值域，有无数个选项……数据库如此，整体系统的调优难度之复杂可见一斑。
因此，对于服务器厂商而言，调优是两点关键核心能力的衡量，一是技术基础，而是对用户需求的认知。没有足够多的知识、足够多的工作经验，没有硬件、软件、人与整个系统的磨合，想获得好的评测结果是不可能的。
也正是上述原因，SPECjAppSever测试一直是服务器和系统领域高端产品厂商的“自留地”。能在此测试上取得好成绩，就证明了该企业在产品平台、系统方案应用和工程师调优等各个方面均有顶尖的能力——这就像F1赛车，能获得冠军的，哪个环节出问题都不行！
胡雷钧最后说，浪潮天梭打破SPECjAppSever2004纪录是对双核平台性能优势的体现，也反映了双核在中间件、三层架构中的指标。当然，今后还会有其他系统平台打破该项纪录，浪潮也拭目以待。同时，浪潮已经启动了下一轮测试，开始对新的解决方案发起挑战。

51CTO原创文章，转载请注明作者和出处！