0
点赞
收藏
分享

微信扫一扫

QT的模型&视图框架--看书笔记

简介

在目标检测任务中,mAP(mean Average Precision,平均精度均值)是一个非常重要的评价指标,用于衡量模型在多个类别上的平均性能。它综合考虑了模型在不同召回率下的精确率,能够全面反映模型在检测任务中的表现。
作用
综合性评估:mAP能够综合考虑模型在不同召回率下的精确率,避免了单一指标(如准确率或召回率)可能带来的片面性。
多类别比较:对于多类别的目标检测任务,mAP可以计算每个类别的AP,然后取平均值得到全局的mAP,从而方便比较模型在不同类别上的性能。
模型选择和调优:通过比较不同模型或不同参数设置下的mAP值,可以选择性能更优的模型或确定最佳的参数配置。
计算方法
计算每个类别的AP:
对于每个类别,首先根据模型输出的预测框和真实的标注框计算交并比(IOU)。
根据设定的IOU阈值(通常为0.5),将预测框分为真正例(TP)、假正例(FP)和假反例(FN)。
对于每个预测框,根据当前的TP和FP数量计算精确率(Precision)和召回率(Recall)。
绘制该类别的PR曲线,即Precision随Recall变化的曲线。
计算PR曲线下方的面积,得到该类别的AP值。这通常可以通过插值法实现,如11点插值法,即在Recall坐标轴上选择11个点(如0, 0.1, 0.2, …, 1),然后计算这些点对应的Precision的平均值作为AP的近似值。
计算全局的mAP:
对于所有类别,分别计算得到各自的AP值。
将所有类别的AP值取平均值,得到全局的mAP值。
需要注意的是,mAP的计算过程可能因使用的数据集和评估标准而有所不同。例如,COCO数据集和PASCAL VOC数据集在计算mAP时可能采用不同的IOU阈值或插值方法。因此,在实际应用中,需要根据具体的数据集和评估要求来确定mAP的计算方法。

实现过程

假定我的输入为3D的目标检测的pred_boxes和gt_boxes

可视化一下image_idx=0的boxes:
在这里插入图片描述
在每个类别中提取每个样本的这个类别的pred_boxes和gt_boxes,并计算iou值,根据iou阈值划分tp(正确检测)和fp(误检).

over_laps = iou(pred_boxes=pred_boxes_cls_img[:, [2, 3, 5, 6]],
                                    gt_boxes=gt_boxes_cls_img[:, [2, 3, 5, 6]])
corr_gts = np.argmax(over_laps, axis=1)
corr_iou = np.max(over_laps, axis=1)
visited_gt = []
for id, pred_box in enumerate(pred_boxes_cls_img):
    if corr_iou[id] >= iou_threshold and corr_gts[id] not in visited_gt:
         visited_gt.append(corr_gts[id])  # if pred got gt, the gt should be ignore
         fp_or_tp.append(1)
    else:
         fp_or_tp.append(0)

统计所有样本的pred_boxes的tp/fp类型及其score,安照score降序排序.

scores = pred_boxes_cls[:, -1]
index = np.argsort(-scores, )
# sort fp_or_tp by decending order of scores
fp_or_tp = fp_or_tp[index]

根据score列表依次选择有效的pred_boxes,计算precision=tp/(tp+fp)和recall=tp/gt_boxes.size().
precision和recall列表形成pr曲线,计算pr曲线面积即可.

# 根据>=score的是有效pred,有效pred中,0是f,1是检测到了目标, 1的数量除以总的有效pred就precious
# 1的数量除以真值数量就是recall
tp_num_list = np.cumsum(fp_or_tp)
pred_num_list = np.cumsum(np.ones_like(fp_or_tp))
precision_array = tp_num_list / pred_num_list
recall_array = tp_num_list / tp_and_tn
ap = compute_ap(recall_array, precision_array, class_name)

注意求pr曲线面积时,横坐标(长)要是recall,而不能是用score求平均precision.

思考下:
pr曲线会不会出现左低右高的情况?是有的,当fp的score较高时候就会出现这个问题.比如score最高的第一个就是fp.那么这时recall很小时,precision为0.
解决方法:recall_list和precision_list的首尾补上(0,1)或者(1,0),然后单调性处理
在这里插入图片描述

再分析下:score降序,recall肯定是递增的,但是precision不一定是递减,因此需要使得它单调,具体操作:

    for i in range(len(precision_array)-1, 0,-1):
        precision_array[i-1] = np.max(precision_array[i-1], precision_array[i])

参考:b站视频

举报

相关推荐

0 条评论