目录

• 0 写在前面
• 1 宇宙演化的熵增定律
• 2 量化信息的熵
• 3 最大熵原理
• 4 相对熵及其不对称性
• 5 交叉熵与条件熵
• 6 互信息

0 写在前面

机器学习强基计划聚焦深度和广度，加深对机器学习模型的理解与应用。“深”在详细推导算法模型背后的数学原理；“广”在分析多个机器学习模型：决策树、支持向量机、贝叶斯与马尔科夫决策、强化学习等。

🚀详情：机器学习强基计划(附几十种经典模型源码合集)

1 宇宙演化的熵增定律

在开始前，我们可以先思考几个现象：

上述现象的本质就用熵增定律来揭示：在一个封闭的系统内，事物一定会不可避免地自发地向混乱、无序的方向发展<