绪论

这一篇主要是介绍一下模型的评测指标，与上几篇文章一样都会持续更新。

什么是评测指标？

评测指标是用来定量衡量模型的性能的，是作为各种方法比较的一个标准。
评测指标可以分为分类任务的评测指标和回归任务的评测指标
下面会详细介绍两种任务的评测指标。

分类任务评测指标

1、准确率/召回率/精确度/F1-score

在这之前我们要了解几个概念：

*	正例（预测）	反例（预测）
正例（真实情况）	TP（真正例（true positive）预测为正，真实情况为正时）	FN（假反例（false negative）预测为反，真实情况为正时）
反例（真实情况）	FP（假正例（false positive）预测为正，真实情况为反时）	TN（真反例（true negative）预测为反，真实情况为反）

准确率（Accuracy）：
$Accuracy=\frac{(TP+TN)}{(TP+FP+TN+FN)}=\frac{预测正确的样本数}{总的样本数}$
精确度（Precision）（注意这里正反是相对的）：
$Precision=\frac{TP}{TP+FP}=\frac{预测正确的正样本数}{预测为正的样本数}$
或
$Precision=\frac{TN}{FN+TN}=\frac{预测正确的负样本数}{预测为负的样本数}$
本质上是一样的，只不过一般选择正样本计算精确度。
召回率（Recall）（与精确度一样，只选择正样本计算召回率）：
$Recall=\frac{TP}{TP+FN}=\frac{预测正确的正样本数}{真实标签为正的样本数}$
即正样本有多少被召回。
F1-score：
$score=\frac{2*Precision*Recall}{Precision+Recall}$

2、Precision/Recall（P-R）曲线

Precision/Recall曲线也叫做P-R曲线，Precision与Recall是一对矛盾的变量。
在这里插入图片描述
从图中可以看出：
1、召回率增加，精度下降；
2、曲线与坐标值面积越大，性能越好；但是有时面积不好计较，那么就选择 $y = x$ 与P-R曲线的交点也叫作平衡点（BEP）比较BEP，越大的学习器越优。
3、对正负样本不均衡问题较敏感。

3、ROC曲线

ROC曲线的横坐标是false positive rate（FPR）：
$FPR=\frac{FP}{(FP+TN)}=\frac{将反例预测为正例的样本数}{标签为反的样本数}$
纵坐标为true positive rate（TPR）
$TPR=\frac{TP}{(TP+FN)}=\frac{将正例预测为正例的样本数}{标签为正的样本数}$
下图来自阿里公开课
在这里插入图片描述
ROC曲线对正负样本不均衡问题不敏感。

那么该选择PR曲线还是ROC曲线呢？

这里引用了这篇博客P-R曲线及与ROC曲线区别
1、在很多实际问题中，正负样本数量往往很不均衡。比如，计算广告领域经常涉及转化率模型，正样本的数量往往是负样本数量的1/1000，甚至1/10000。若选择不同的测试集，P-R曲线的变化就会非常大，而ROC曲线则能够更加稳定地反映模型本身的好坏。所以，ROC曲线的适用场景更多，被广泛用于排序、推荐、广告等领域。
2、但需要注意的是，选择P-R曲线还是ROC曲线是因实际问题而异的，如果研究者希望更多地看到模型在特定数据集上的表现，P-R曲线则能够更直观地反映其性能。
3、ROC兼顾了正负样本。当正负样本比例失调时，比如正样本1个，负样本100个，则ROC曲线变化不大，此时用PR曲线更加能反映出分类器性能的好坏。