Judy Shen
为了对比Rational Performance Tester与LoadRunner的测试效果，我对XX系统的登录和A流程这两个测试点，分别用Rational Performance Tester和LoadRunner进行脚本录制，并进行测试执行。下面将二者的测试结果和使用方面进行对比。
1 测试结果对比
注：因为Rational Performance Tester试用版只有5个用户许可证，所以下面的并发用户数以5个为上限。
1.1 登录
测试场景：
模拟不同数量的并发用户登录系统。每个脚本按不同的用户数进行，循环1次。
以下测试结果是在没有工作流数据的前提下进行测试得到的。
测试结果中记录的平均响应时间是包括下载资源（如图片）的时间。
|
并发用户数
|
平均响应时间（秒）
|
|
LoadRunner
|
Rational Performance Tester
|
|
1
|
4.8
|
2.4
|
|
3
|
4.8
|
3.1
|
|
5
|
5.6
|
5.6
|
1.2 A流程
测试场景：
在系统中没有待处理流程的前提下，模拟不同数量的并发用户登录系统。每个脚本按不同的用户数进行，循环1次。
每次执行A流程前，都将数据库的工作流数据清空。
|
并发用户数
|
平均响应时间（秒）
|
|
LoadRunner
|
Rational Performance Tester
|
|
1
|
0.8
|
1.1
|
|
3
|
1.1
|
1.5
|
|
5
|
1.7
|
2.6
|
2 使用对比
|
对比项
|
LoadRunner
|
Rational Performance Tester
|
|
界面友好性
|
纯英文界面
|
中文界面，系统基于Eclipse平台，界面易于理解。
|
|
资源占用情况
|
进程占用50M以内的虚拟内存
|
进程占用的虚拟内存随着测试运行的延续而增加，占用的虚拟内存维持在100M－400M。
|
|
测试录制过程
|
可在录制过程中添加集合点、事务等操作。
登录、退出等只操作一次的部分可放在不同部分（vuser_init，vuser_end）。
|
在录制过程中不能进行添加事务等操作。
系统没有集合点的概念。
登录退出等只操作一次的步骤和迭代循环的部分录制在一起。
|
|
测试执行过程
|
执行过程中的性能情况可以通过监控界面看到，且信息直观。
执行过程中能看到具体步骤的性能数据，步骤是按照函数来分的。
执行速度稳定，不同次数执行测试所需的时间差距不大。
|
执行过程中可以通过不同的Tab页面查看性能数据。
执行过程中可以看到阶段的性能数据。阶段划分颗粒较大，是按照HTTP页来划分的。
执行过程不稳定，时快时慢。
|
|
测试执行结果
|
相对较稳定，正常情况下几次执行的测试数据偏差不大。
|
执行结果的数据差距比较大。
|
|
下载资源所需响应时间的隔离
|
较麻烦
|
可以通过创建事务的方法来区分提交请求与下载资源的所需时间。
|
|
事务的定位
|
容易
|
事务准确定位比较不方便，需要对系统有一定的熟悉才能准确定位。如果定位不准确，会导致测试结果有较大偏差。
|
|
对客户端要求
|
较低
|
较高。现有笔记本配置，随着执行时间的延长，机器会运行越来越慢。必须重启RPT方可继续执行测试。
|
3 小结
对比上述Rational Performance Tester和LoadRunner的测试数据，差距不是很大。但是由于Rational Performance Tester的事务设置不如LoadRunner直观和易于操作，事务的定位对测试结果的准确性影响很大。例如：5个用户发起A流程时，如果事务没有设置好，得到的平均响应时间是14.2秒；经过重定位得到的平均响应时间是2.6秒。另外，测试时，资源耗费较大，对测试客户机也是一个挑战。
(Judy Shen) |
