1、为什么做接口自动化?有什么考虑和收益?
质量和效率
质量:
线上巡检,
节约成本:
是节约了成本
没有节约成本:
时间成本PK重要程度,
结合业务的难点、痛点去做,做完有什么成果
编写成本、维护成本
结合当前业务
接口变动是否频繁、多久变动一次
2、自动化case 有哪些痛点?
- 编写成本、
- 便捷性、
- 维护成本、
- 覆盖率、
- 做了自动化测试,线上还有bug
- 误报率:case执行失败了,但并不是bug引起的。肯能是网络、环境
- 稳定性(最重要):稳定的运行、
- 报警策略:
- 随着case量的增加,维护成本与执行成本增加
随着case量的增加,维护成本与执行成本增加:
解决办法:
多线程并发
a、本身框架/系统是否支持多线程并发(如testNG、pytest本身支持多线程并发)
b、多线程时是否会有引起数据问题
目前的自动化为业务带来了哪些收益:
- 准入标准
- 冒烟
- 拦截率
准入标准:开发提测的时候,先执行我们这些case,case通过了再提测。
拦截率:某个case失败了,重试多少次之后,发出报警。
作用在冒烟的主流程case上
作用在线上巡检