分类任务中的评估指标：Accuracy、Precision、Recall、F1

• 概念理解
• • $TP$、$TN$、$FP$、$FN$
  • 精度/正确率（$Accuracy$）
• 二分类
• • 查准率 $Precision$，查全率 $Recall$ 和 $F1-score$ 的计算
  • 查准率 $Precision$，查全率 $Recall$ 和 $F1-score$ 的理解
• 三分类
• • 从特殊
  • 到一般
  • • $Accuracy$
    • $Precision$
    • $Recall$

概念理解

$TP$、$TN$、$FP$、$FN$

在这个二分类模型中，只有 是「狗」 或 不是「狗」。

只看模型的预测为「狗」即 $Prediction=Dog$，共有 7 个如绿色方格所示。其中，

• 真实为「狗」且被模型正确预测为「狗」的有 4 个，这就是 $TruePositive=4$（$TP$）；
• 真实不为「狗」但被模型错误预测为「狗」的有 3 个，这就是 $FalsePositive=3$（$FP$）。

只看模型的预测不为「狗」即 $Prediction=NoDog$，共有 3 个如红色方格所示。其中，

• 真实不为「狗」且被模型正确预测不为「狗」的有 1 个，这就是 $TrueNegative=1$（$TN$）；
• 真实为「狗」但被模型错误预测不为「狗」的有 2 个，这就是 $FalseNegative=2$（$FN$）。

精度/正确率（$Accuracy$）

• 误差（$Error$)：学习器的 预测输出 与样本的 真实输出 之间的差异。
• 错误率：错误分类的样本 占据 总样本 的比例。

精度（$Accuracy$）= 1- 错误率，即 正确分类的样本占总样本的比例。

$Accuracy$ 是分类问题中最常用的指标。但是，对于不平衡数据集而言，$Accuracy$ 并不是一个好指标。$Why？$

因此，需要引入 $Precision$ （精准度），$Recall$ （召回率）和 $F1-score$ 评估指标。

考虑到二分类和多分类模型中，评估指标的计算方法略有不同，下面分开讨论。

二分类

在二分类问题中，假设该样本一共有两种类别：$Positive$ 和 $Negative$。

当分类器预测结束，可以绘制出混淆矩阵（$ConfusionMatrix$），如下图，

其中分类结果分为如下几种：

• $TruePositive$（$TP$）：把正样本成功预测为正。
• $TrueNegative$（$TN$）：把负样本成功预测为负。
• $FalsePositive$（$FP$）：把负样本错误预测为正。
• $FalseNegative$（$FN$）：把正样本错误预测为负。

有了混淆矩阵的 $TP$、$TN$、$FP$ 和 $FN$，下面计算 $Precision$、$Recall$ 和 $F1-score$。

查准率 $Precision$，查全率 $Recall$ 和 $F1-score$ 的计算

• 准确率：关注预测的准确性，在 所有被预测为 $Positive$ 的样本 中，有多少是正确的（有多少 $True$ 的 $Positive$）？
• 召回率：关注预测的全面性，在 所有实际为 $Positive$ 的样本 中，有多少被正确预测了（有多少 $Positive$ 被揪出来了）？

在二分类模型中，$Accuracy$，查准率 $Precision$，查全率 $Recall$ 和 $F1-score$ 的定义如下：

$$Accuracy=\frac{TP+TN}{TP+TN+FP+FN}$$

$$Precision=\frac{TP}{TP+FP}$$

$$Recall=\frac{TP}{TP+FN}$$

$$F1-score=\frac{2\times Precision\times Recall}{Precision+Recall}$$

代入 $TP$、$TN$、$FP$ 和 $FN$ 的数值计算即可，如下：

$$Accuracy=\frac{50+20}{50+20+5+10}=14/17$$

$$Precision=\frac{50}{50+5}=10/11$$

$$Recall=\frac{50}{50+10}=5/6$$

$$F1-score=\frac{2\times \frac{10}{11}\times \frac{5}{6}}{\frac{10}{11}+\frac{5}{6}}=20/23$$

查准率 $Precision$，查全率 $Recall$ 和 $F1-score$ 的理解

• $Precision$ 着重评估：在 预测为 $Positive$ 的所有数据（$TP+FP$）中，真实 $Positive$ 的数据（$TP$）到底占多少？
• $Recall$ 着重评估：在 所有真实为 $Positive$ 数据 （$TP+FN$）中，被 成功预测为 $Positive$ 的数据 （$TP$）到底占多少?

$OK$，那啥时候应该更注重 $Recall$ 而不是 $Precision$ 呢？

$$Recall=\frac{TP}{TP+FN}$$

当 $FalseNegative$ （$FN$）的成本代价很高（后果很严重），希望尽量避免产生 $FN$ 时，应该着重考虑提高 $Recall$ 指标（$FN$ 越小，$Recall$ 越高）。

$Oho$，那啥时候应该更注重 $Precision$ 而不是 $Recall$ 呢？

$$Precision=\frac{TP}{TP+FP}$$

当 $FalsePositive$ （$FP$）的成本代价很高（后果很严重）时，即期望尽量避免产生 $FP$ 时，应该着重考虑提高 $Precision$ 指标（$FP$ 越小，$Precision$ 越高）。

而 $F1-score$ 是 $Precision$ 和 $Recall$ 两者的综合。

$$F1-score=\frac{2\times Precision\times Recall}{Precision+Recall}$$

三分类

从特殊

要开发一个动物识别系统，来区分输入图片是猫，狗还是猪。给定分类器一堆动物图片，产生了如下结果混淆矩阵。

在混淆矩阵中，正确的分类样本（$Actuallabel=Predictedlabel$）分布在 左上到右下的对角线上。

其中，$Accuracy$ 的定义为分类正确（对角线上）的样本数与总样本数的比值。

• $Accuracy$ 度量的是全局样本预测情况。
• 而对于 $Precision$ 和 $Recall$ 而言，每个类都需要单独计算其 $Precision$ 和 $Recall$。

比如，对类别「猪」而言，其 $Precision$ 和 $Recall$ 分别为：

$$Precision=\frac{TP}{TP+FP}=\frac{20}{20+(10+40)}=2/7$$

$$Recall=\frac{TP}{TP+FN}=\frac{20}{20+(0+10)}=2/3$$

总的来说，

$Presicion$ 如下：$$P_{cat}=8/15,P_{dog}=1/23,P_{pig}=2/7$$

$Recall$ 如下：$$R_{cat}=4/7,R_{dog}=17/23,R_{pig}=2/3$$

到一般

$Accuracy$

• $Accuracy$ ：正确分类的样本数 $/$ 所有样本数。
  （即：左上角到右下角的对角线上的样本数之和 $/$ 总样本数 = $\frac{(A,A)+(B,B)+(C,C)}{Total}$）。

$$Accuracy=(15+15+45)/100=0.75$$

$Precision$

对 $A$ 类来说，

• $Precision$：（预测为正确 & 真实为正确）的样本 $/$ 预测为正确的所有样本。
  （即： $(A,A)$ 的值 $/$ $A$ 所在列的 $Tota{l}_{A-column}$ = $\frac{(A,A)}{(A,A)+(B,A)+(C,A)}$）

$$Precision(A)=15/24=0.625$$

$Recall$

• $Recall$：（预测为正确 & 真实是正确）的样本 $/$ 真实是正确的所有样本。
  （即：$(A,A)$ 的值 $/$ $A$ 所在行的 $Tota{l}_{A-line}$ = $\frac{(A,A)}{(A,A)+(A,B)+(A,C)}$）

$$Recall(A)=15/20=0.75$$