程序员漫画编程

 关注

KL散度（相对熵）

程序员漫画编程

 关注

阅读 109

2023-03-09


香农信息量I：


熵H§：


交叉熵


H(p,q)越小，p,q越相似。

相对熵（KL散度）


其中p(xi)和q(xi)是两个概率分布，KL使用来计算两个信息熵之间的差值的。在判断预测是否准确的时候可以用预测值作为q(xi)，p(xi)作为真实值。

熵、交叉熵和相对熵关系



相关推荐

田妞的读书笔记

交叉熵与KL散度

田妞的读书笔记 59 0 0

m逆光生长

信息量、信息熵、条件熵、KL散度、交叉熵

m逆光生长 125 0 0

杰克逊爱学习

一文搞懂KL散度+信息熵

杰克逊爱学习 44 0 0

杨小羊_ba17

两个视角给你解读 熵、交叉熵、KL散度

杨小羊_ba17 204 0 0

蛇发女妖

KL散度、CrossEntropy详解

蛇发女妖 24 0 0

杰克逊爱学习

KL散度（Kullback-Leibler散度）笔记

杰克逊爱学习 156 0 0

芥子书屋

交叉熵【Cross Entropy】与KL散度【Kullback-Leibler Divergence】

芥子书屋 7 0 0

Sikj_6590

KL散度如何实现 python

Sikj_6590 39 0 0

624c95384278

信息论、机器学习的核心概念：熵、KL散度、JS散度和Renyi散度的深度解析及应用

624c95384278 25 0 0

悬灸人雪洋

KL散度(Kullback–Leibler divergence)

悬灸人雪洋 75 0 0

精彩评论（0）

0 0 举报