（2020李宏毅）机器学习-Explainable Machine Learning-CFANZ编程社区

（2020李宏毅）机器学习-Explainable Machine Learning

（2020李宏毅）机器学习-Explainable Machine Learning_机器学习

文章目录

1 Introduction
2 Local Explanation
3 Global Explanation

**Activation Minimization** (review)
Constraint from Generator

4 Using a model to explain another

1 Introduction

为什么可解释的机器学习

不仅需要机器结果的精确度，还需要进行模型诊断，看机器学习得怎么样；有的任务精确度很高，但实际上机器什么都没学到，有模型诊断后，就可以根据模型诊断的结果再来调整我们的模型

有没有model是Interpretable，也是powerful的呢？

决策树可以interpretable，也是比较powerful的

2 Local Explanation

方法一：

对于输入的（2020李宏毅）机器学习-Explainable Machine Learning_git_02 , 我将其分成components , 每个component由一个像素，或者一小块组成
目标是知道每个component对making the decision的重要性有多少，那么可以通过remove或者 modify其中一个component的值，看此时的decision会有什么变化

方法二：

对于输入的（2020李宏毅）机器学习-Explainable Machine Learning_git_04 , 对于其中的某个关键的pixel 加上，这个pixel对我们识别这是不是一只狗具有很重要的作用
那么我们就可以用来表示这个小小的扰动对y的影响，可以通过来进行计算，表示（2020李宏毅）机器学习-Explainable Machine Learning_像素点_09 对

（2020李宏毅）机器学习-Explainable Machine Learning_git_11

3 Global Explanation

Activation Minimization (review)

目标是找到一个（2020李宏毅）机器学习-Explainable Machine Learning_git_12 , 使得输出的值

（2020李宏毅）机器学习-Explainable Machine Learning_git_14

之前的目标是找到一个image，使得输出的y达到最大值; 现在的目标不仅是找到x使输出y达到最大值, 还需要把image变得更像是一个digit，不像左边那个图，几乎全部的像素点都是白色，右边的图只有和输出的 digit相关的pixel才是白色
这里通过加入了一个新的限制（2020李宏毅）机器学习-Explainable Machine Learning_像素点_15

（2020李宏毅）机器学习-Explainable Machine Learning_git_16

Constraint from Generator

如下图所示, 输入一个低维的vector z到generator里面，输出Image x;
现在将生成的Image （2020李宏毅）机器学习-Explainable Machine Learning_git_02 再输入Image classifier, 输出分类结果 , 那么我们现在的目标就是找到，使得属于那个类别的可能性

（2020李宏毅）机器学习-Explainable Machine Learning_git_21

（2020李宏毅）机器学习-Explainable Machine Learning_git_22

4 Using a model to explain another

现在使用一个interpretable model来模仿另外一个uninterpretable model; 下图中的 Black Box为 uninterpretable model, 比如Neural Network，蓝色方框是一个interpretable model，比如Linear model; 现在的目标是使用相同的输入（2020李宏毅）机器学习-Explainable Machine Learning_像素点_23

（2020李宏毅）机器学习-Explainable Machine Learning_机器学习_24