KL散度(Kullback–Leibler divergence)

KL散度是度量两个分布之间差异的函数。在各种变分方法中，都有它的身影。

转自：https://zhuanlan.zhihu.com/p/22464760

一维高斯分布的KL散度

多维高斯分布的KL散度：

KL散度公式为：

黄世宇/Shiyu Huang's Personal Page：​​https://huangshiyu13.github.io/​​