成熟性测试的目标是评估系统、产品或组件在正常运行时满足可靠性要求的程度。成熟性一般通过软件产品在满足其要求的软/硬件环境或其他特殊条件下(如一定的负载)使用时,为用户提供相应服务的能力来进行评估。可以把软件故障数、发生失效的比例、系统的完整性级别等作为评价指标,根据需求规格说明书或者产品说明中描述的产品或系统的运行环境,在一定时间内,测试功能列表中的每个功能点,依据测试结果,确定测试到的故障数、缺陷的严重程度、判断系统的完整性级别等。可以通过以下方面进行评价。
(1)故障密度
根据需求文档、设计文档、操作手册等用户文档集中的功能列表针对每个功能编写对应的测试用例,执行所有测试用例,收集和分析测试结果。依据测试结果,确定检测到的故障数。
故障密度=检测到的故障数目/产品规模,其中检测到的故障数目指Bug的数量,产品规模即功能点。
(2)故障修复率
故障修复率=修复的可靠性相关故障数/检测到的可靠性相关的故障数。
(3)平均失效间隔时间(MTBF)
平均失效间隔时间=运行时间/该时间段内实际发生失效的次数。当运行时间内发生的失效次数为0时,该值为无穷大,通常来说该结果值越大越好。
(4)周期失效率
周期失效率=在观察时间内检测到的失效数量/观察持续周期数。
其中周期指的是实际使用时间或测试时间。对于不同的测试和操作的目的,周期可能有所不同。