一文搞懂KL散度+信息熵

文章目录

• • • KL散度
    • • 含义
      • 计算公式
      • 举例
      • 结论

KL散度

含义

相对熵，又被称为Kullback-Leibler散度（Kullback-Leibler divergence）或信息散度（information divergence），是两个概率分布间差异的非对称性度量。

计算公式

设 P ( x ) 、 Q ( x ) P(x)、Q(x)