0
点赞
收藏
分享

微信扫一扫

性能测试中过滤异常的响应时间#yyds干货盘点#

众所知周,及时排除了JVM尚未完全预热的因素以外,在所有请求中总有一些异常请求响应时间,今天分享一个案例:通过过滤测试刚开始时候的响应时间记录来提升整体数据的准确性。

优化来源于需求,本来FunTester测试框架不准备在本机统计上做优化的,因为现在公司的监控系统太强了,大部分需求的数据可以直接直观地从监控页面上实时得到。但是在最近一次JDK升级和各个GC以及参数的性能对比测试中,监控得到的数据都是网关和服务端统计的结果,跟实际的用户场景有一定差异,所以需要在发压端统计一下RT情况。

统计功能实现

响应时间均为short数组,对于单线程来讲存放在List<Short> costs中,对于压测用例来讲,存放在Vector<Short>中。所以只要写一个针对List<? extends Number> c的统计方法即可。思路是排序然后去各个分位的值,如下:

    /**
     * 统计list各分位数据
     * @param c
     * @return
     */
    static FunIndex index(List<? extends Number> c) {
        if (c == null || c.size() == 0) return
        c.sort()
        int size = c.size()
        double min = c.first()
        double max = c.last()
        double p99 = c.get(size * 0.99 as Integer)
        double p999 = c.get(size * 0.999 as Integer)
        double p95 = c.get(size * 0.95 as Integer)
        double avg = SourceCode.changeStringToDouble(SourceCode.formatNumber(c.average(), "#.###"))
        def mid = c.get(size / 2 as Integer)
        new FunIndex(avg: avg, mid: mid, min: min, max: max, p99: p99, p999: p999, p95: p95)
    }

    /**
     * 统计结果
     */
    static class FunIndex extends AbstractBean {

        Double avg

        Double mid

        Double min

        Double max

        Double p99

        Double p999

        Double p95

        @Override
        String toString() {
            "平均值:$avg ,最大值$max ,最小值:$min ,中位数:$mid p99:$p99 p95:$p95"
        }
    }

FunTester框架改造

对于每个线程来讲,取消各自计算响应时间和直接往List&lt;Short&gt; costs存放数据,通知放到com.funtester.base.constaint.ThreadBase中方法统一实现。

代码如下:

    /**
     * 是否记录响应时间,默认否
     */
    public static boolean COUNT = false;

    /**
     * 记录响应时间
     *
     * @param s 开始时间
     */
    public void count(long s) {
        if (COUNT && executeNum > 100) costs.add((short) (Time.getTimeStamp() - s));
    }

PS:后续会更新一个RT取样器实现,也是通过这个思路完成的。

这样一来,既可以过滤每个线程最开始的100个请求数据,也可以减少性能测试中本地代码执行量。

下面分享一下线程模型的改造后的com.funtester.base.constaint.FixedThread#run方法内容:


    @Override
    public void run() {
        try {
            before();
            long ss = Time.getTimeStamp();
            while (true) {
                try {
                    executeNum++;
                    long s = Time.getTimeStamp();
                    doing();
                    count(s);
                } catch (Exception e) {
                    logger.warn("执行任务失败!", e);
                    errorNum++;
                } finally {
                    if ((isTimesMode ? executeNum >= limit : (Time.getTimeStamp() - ss) >= limit) || ThreadBase.needAbort() || status())
                        break;
                }
            }
            long ee = Time.getTimeStamp();
            if ((ee - ss) / 1000 > RUNUP_TIME + 3)//区分软启动运行和正式运行
                logger.info("线程:{},执行次数:{},错误次数: {},总耗时:{} s", threadName, executeNum, errorNum, (ee - ss) / 1000.0);
            Concurrent.allTimes.addAll(costs);
            Concurrent.requestMark.addAll(marks);
        } catch (Exception e) {
            logger.warn("执行任务失败!", e);
        } finally {
            after();
        }
    }

沿着这个思路,再加上动态模型之动态增减【FunTester测试框架】相同的思路,我计划拓展一个RT取样器实现也会使用异步线程完成,敬请期待。

Have Fun ~ Tester !

  • FunTester2021年总结
  • FunTester原创大赏
  • 性能测试专题【FunTester原创】
  • Groovy语言学习笔记大赏【FunTester】
  • 性能测试中异步展示测试进度
  • 下单延迟10s撤单性能测试
  • 性能测试误差对比研究(四)
  • 如何选择API测试工具
  • 性能框架哪家强—JMeter、K6、locust、FunTester横向对比
  • 左移测试
  • Java&Go三种HTTP客户端性能测试
  • 浏览器测试的三大挑战及解决方案【译】
  • 单元测试再出发
  • 敬畏用户
  • 千万级日志回放引擎设计稿
举报

相关推荐

0 条评论