来自 李宏毅2019-Explainable ML_哔哩哔哩_bilibili

0 前言

深度学习可以做的事情是，比如我们给模型一张猫的照片，模型可以预测：”这是一只猫“

我们现在想知道的是：模型为什么会认为这是一只猫呢？

 1 local explanation & global explanation

 1.1 local explanation

（why do you think this is a cat?)

1.2 global explanation

（what do you think a ”cat“ looks like）

 1.2.1 从generator的角度想global explanation

        在上一小节中，不难发现，我们需要人为地设定正则项。但在很多问题中，这个是不太好设计的。于是就有人想到要用生成器来生成image

        我们有一个image generator，他的作用是输入一个低维的向量，通过generator（GAN或者VAE这种）生成一张图片

        用generator的角度来看global explanation，我们可以将image generator输出的graph再送入一个image classifier（和上一小节的classifier结构就一样了）

        此时我们依旧是希望找到argmax yi，不过由于我们事先接了一个image generator，所以此时所有的image x都是合理的graph，不会出现上一小节那样的非数字graph的不合理的”雪花图“，故而不用正则项来约束生成的graph长啥样。

2 使用另外的模型来解释某一黑盒模型

        2.1 LIME local interpretable model-agnostic explanations

用红色的线性模型，模拟一部分蓝色的黑盒模型

注意这里的”nearby“，对nearby定义的不同，会导致不同的结果（比如上图和下图）

 2.1.1 决策树 & LIME

理论上讲，如果决策树足够深的话，他一定可以模拟任何一个黑盒模型。但是足够深的决策树就没有很好的解释性了

于是我们就需要对决策树进行一定的约束：