文章目录
- 前言
- 1 一元线性回归与多元线性回归
- <1>**线性模型的优点：**
- <2> 线性回归里面的属性值
- <3>最小二乘法“参数估计”
- <4> 极大似然估计
- 2 对数几率回归
- <3>逻辑回归的损失函数
- <4> 信息熵的概念
- <5> 相对熵的概念
- <5>从极大似然函数和信息论退出的损失函数都是一样的，奇妙！
- <5>总结
- 3 线性判别分析
- <1> 本节大纲
- 参考
前言
学习说明：预习，再看直播回放
1 一元线性回归与多元线性回归
预习：西瓜书3.1、3.2
一元线性回归直播回放：https://www.bilibili.com/video/BV1Mh411e7VU?p=2
多元线性回归直播回放：https://www.bilibili.com/video/BV1Mh411e7VU?p=3
<1>线性模型的优点：
形式简单，易于建模，具有很多的解释性
<2> 线性回归里面的属性值
<3>最小二乘法“参数估计”
看完南瓜书中的一元线性函数推出，内心就两个字“牛逼”！（我真菜）
上面是南瓜书中的公式3.7的最后推导，之所以最后转化成了矩阵（向量）运算，是因为这样我们就可以利用诸如Numpy这种专门加速矩阵运算的类库来进行编写，这有点像深度学习中的处理图像数据中的处理，因为一张图片可以看成是一个矩阵，在弄成网络，那些链式法则，向前向后会用到，计算速度会飞快，这时不得不感叹数学真的奇妙！
<4> 极大似然估计
极大似然估计就是“冥冥之中自有天意”的感觉，是由已知推未知的一种方法，距离，例如抛硬币，正反两面的概率是50%，当你抛了1万次硬币，1000次为正，9000次为反，这时你就会怀疑正反两面出现的概率为50%是错，为什么鸭？因为你看到的事实是正面出现的概率为10%，反面出现的概率为90%，你会根据现实去怀疑了
严谨公式的例题
下面这图，是解释说明了对似然函数求解做的一些变换
线性回归中的极大似然估计
线性回归模型------>误差-------->中心极限定理服从正态分布-------->联合概率密度函数-------->极大似然估计
这里用极大似然估计的方法求解线性回归中的w和b，看到西瓜书中也可以用最小二乘法来求解
最后我才发现两者是等价的，绝绝子，妙鸭！
2 对数几率回归
预习：西瓜书3.3
直播回放：https://www.bilibili.com/video/BV1Mh411e7VU?p=4
对数几率回归也叫逻辑回归，是二分类函数
<3>逻辑回归的损失函数
<4> 信息熵的概念
决策树里面有这东东
<5> 相对熵的概念
相对熵里面可以求理想分布和模拟分布之前的差别，转化为一个优化问题
最小化交叉熵
<5>从极大似然函数和信息论退出的损失函数都是一样的，奇妙！
<5>总结
3 线性判别分析
预习：西瓜书3.4
直播回放：https://www.bilibili.com/video/BV1Mh411e7VU?p=5
<1> 本节大纲
- 算法原理（模型）
异类样本的中心尽可能远
同类样本的方差尽可能小
2.损失函数推导（策略）
二范数
内积
3.拉格朗日乘子法
日渐懵逼~~~
4.求解w（算法）
5.广义特征值和广义瑞利商
参考
Datawhale的github开源吃瓜教程项目，目的：一起吃冰西瓜
持续更新，还没学完~
