KL散度（相对熵）-CFANZ编程社区

KL散度（相对熵）

程序员漫画编程

阅读 114

2023-03-09

香农信息量I：

熵H§：

交叉熵

H(p,q)越小，p,q越相似。

相对熵（KL散度）

其中p(xi)和q(xi)是两个概率分布，KL使用来计算两个信息熵之间的差值的。在判断预测是否准确的时候可以用预测值作为q(xi)，p(xi)作为真实值。

熵、交叉熵和相对熵关系

相关推荐
田妞的读书笔记
 交叉熵与KL散度
田妞的读书笔记 60 0 0
m逆光生长
 信息量、信息熵、条件熵、KL散度、交叉熵
m逆光生长 125 0 0
杰克逊爱学习
 一文搞懂KL散度+信息熵
杰克逊爱学习 46 0 0
杨小羊_ba17
 两个视角给你解读 熵、交叉熵、KL散度
杨小羊_ba17 209 0 0
蛇发女妖
 KL散度、CrossEntropy详解
蛇发女妖 25 0 0
芥子书屋
 交叉熵【Cross Entropy】与KL散度【Kullback-Leibler Divergence】
芥子书屋 10 0 0
杰克逊爱学习
 KL散度（Kullback-Leibler散度）笔记
杰克逊爱学习 156 0 0
Sikj_6590
 KL散度如何实现 python
Sikj_6590 42 0 0
624c95384278
 信息论、机器学习的核心概念：熵、KL散度、JS散度和Renyi散度的深度解析及应用
624c95384278 35 0 0
烟中雯城
 KL 散度(python+nlp)
烟中雯城 35 0 0

精彩评论（0）