基准测试在服务器选型中的研究分析与实践

基准测试在服务器选型中的

研究分析与实践

翟艳芬 周润松 陈磊

(中国软件评测中心 北京100048)

【摘要】基准测试是国际上通用的度量计算机系统性能和价格的一种手段，以TPC和SPEC基准体系为代表，逐渐为软件测试界所认识和熟悉。但是对于服务器的选择，仅靠基准程序去验证性能是不够的，因为服务器最终要服务于特定的软硬件环境下，不同的网络、数据库及应用系统等，服务器的表现性能都会有差异。因此，本文借鉴基准测试规范，提出了一种基于实际业务情况进行基准测试的思路，即基准测试的实施基于业务模型，横向比较服务器的处理能力，或者说将基准测试进行“本土化”，更好地服务于国内各行业的软硬件产品选型，最终通过在中国移动的服务器选型案例中得以实践。【关键词】TPC；SPEC；基准测试【中图法分类号】TP319　 【文献标识码】A

The Research and Practice of Benchmark Testing on Servers Selection

Zhai Yan-fen Zhou Run-song Chen Lei(China Software Testing Center Beijing100048)

Benchmark testing, such as TPC and SPEC, is a means of measuring cost performance of computer system. But for server selection, it’【Abstract】

s not enough to verify the system performance simply by using benchmark testing. In different software and hardware environment, including networkdatabase and application system, the server will have different performance characteristics. Therefore, referring the benchmark specifi cations, this article proposes an idea of integrating actual business situations with benchmark testing, or “localization”, for the better service of selection of software and hardware products. This idea fi nally gets the practice in the case of server selection for Business & Operation Support System of China Mobile. TPC;SPEC;benchmark【Keywords】

1.基准测试

基准测试作为度量计算机系统性能和价格的一种手段，逐渐为软件测试界所认识和熟悉。之所以认为基准测试很神秘，一是对其没有全面清晰的认识，二是不知道如何去实践。

目前有两大基准体系：TPC和SPEC。

TPC（Transaction Processing Performance Council，事务处理性能委员会）组织的功能是制定商务应用基准程序的标准规范、性能和价格度量，并管理测试结果的发布。TPC不给出基准测试程序的代码，而只给出基准测试程序的标准规范。任何厂家或其他测试者都可以根据规范，最优地构造出自己的测试系统(测试平台和测试程序)。为保证测试结果的客观性，被测试者(通常是

厂家)必须提交给TPC一套完整的报告，包括被测系统的详细配置、分类价格和包含五年维护费用在内的总价格。该报告必须由TPC授权的审核员核实，通过后的结果会公开发布，这样得到的结果作为厂家所谓的标称值。TPC先后推出了多套基准程序的规范，其中TPC-C在线事务处理的基准程序认可度和使用率最高，主要性能指标单位tpmc，即每分钟处理的事务数；C指TPC中的C基准程序。价格是指系统的总价格，单位是美元，而价格性能比则定义为总价格/性能，单位是＄/tpmc。

与TPC体系注重在线处理能力和数据库查询能力不同，SPEC (the Standard Performance Evaluation Corporation标准性能评估机构)服务器应用性能测试是一个全面衡量Web应用

信息安全与技术・2011.05・93・

Testing and Analysis·测试分析

中Java企业应用服务器性能的基准测试。在这个基准测试中，系统模拟一个现代化企业的电子化业务工作，如客户定购查询、产品生产制造管理、供应商和服务器提供商管理等，给系统以巨大的负载，以全面测试运行典型Java业务应用的服务器性能水平。由于它体现了软、硬件平台的性能和成本指标，被金融、电信、证券等关键行业用户作为选择IT系统一项权威的选型基准测试指标。

以上两大基准体系只是提供了规范和基准程序，更多时候只有实力雄厚的厂商会完全按照这些规范来实施测试，最终将测试结果在国际上公布，作为其产品的销售卖点。

点，确定此时服务器的交易执行指标和各项资源监控指标，从而综合比较各款服务器的性能情况。

压力测试将上述业务按比例混合后，在一个场景中进行负载压力测试，它们各自的业务比例和响应时间的要求如下：

业务名称

开户资费变更营业缴费详单查询合计

响应时间要求（s）61036

业务比例5%15%50%30%100%

2.将基准测试“本土化”

就企业对服务器选型来说，仅仅靠“国际通用”的度量作为选型依据是不够的，因为服务器最终要服务于特定的软硬件环境下，不同的网络、数据库及应用系统等，服务器的表现性能都会有差异，因此在进行性能评价时，通用的度量有可能不够准确，可以作为参考，但不是选型的唯一依据。从另外一个角度，我们可以借鉴基准测试的思想，根据实际情况进行定制统一的规则，来横向比较服务器的处理能力，或者说将基准测试进行“本土化”。

在测试终止条件以不断加压的方式，直至响应延迟不能满足要求的性能点，作为终止条件。其中，判断“响应延迟满足要求？”是由以下公式决定：

时延加权值＝∑“操作(n满足响应时间要求百分比”ד操作n压力比例”)n=1n=4当“时延加权值”大于90%，表示压力测试成功；反之，则表示压力已经超过了被测设备的性能上限。

测试过程分为两个阶段。第一阶段中设置一个较大的步长，测试出被测设备的大致性能范围。其中，初始值可以由参测厂家的工程师指定。第二阶段中将在最后两步中寻找被测设备准确的性能，精度为10个用户。测试压力模型如下：

3.最佳实践:中国移动服务器选型分析

由于业务不断扩展，中国移动每年需要对小型机服务器、存储设备等集中采购，对于众多投标设备，应该如何选择并对设备划分档次成为迫切需要解决的问题。厂商提供的TPC或SPEC标称值只能在某些程度上反应设备的处理能力，但是这些测试结果是一个国际通用的结果，与中国移动的业务关系不大，因此需要重新定义测试的评价标准。通过选取统一的性能评价标准，对所有的小型机服务器，在相同业务、相同环境下进行性能综合测试，评价各款服务器在相同性能压力模型下获得的最大处理能力。

3.1 测试内容

小型机服务器的性能测试选取中国移动的业务支撑系统，简称BOSS，作为本次测试的软件系统，根据交易量规模、交易处理类型从中抽取若干个关键交易，实施压力测试，结果作为此次小型机性能评估依据。业务选取原则是：a)业务交易量较大，对BOSS性能产生较大影响；b)充分考虑不同业务处理方式的性能影响，如对数据库增、删、改、查操作。

基于以上原则，抽取如下业务，作为被测对象：1）开户；2）详单查询；3）营业缴费；4）资费变更。

3.3测试环境

作者简介：

翟艳芬(1980-)，女，北京科技大学，管理科学与工程，硕士，软件评测师；主要研究领域为软件和信息系统测试。

周润松(1979-)，男，华中理工大学，计算机软件与理论，硕士，软件评测师；主要研究领域为软件和信息系统测试。

陈磊(1982-)，男，北方工业大学，计算机应用技术，硕士，软件评测师；主要研究领域为软件和信息系统测试、协议一致性测试。

3.2 测试方法

对每款小型机服务器，主要利用Loadrunner自动化测试工具，通过模拟大量虚拟用户对上述典型业务操作，不断对服务器进行负载压力测试，直至响应延迟不能满足要求的性能

・94・2011.05・信息安全与技术