文章目录 0. 概述 1. 信息量 1.1 定义 1.2 性质 1.3 例子 2. 熵 Entropy 2.1 定义 2.2 公式 2.3 例子 3. 交叉熵 Cross Entropy 3.1 定义 3.2 公式 3.3 例子 4. KL 散度(相对熵) 4.1 公式