神经网络基础

神经网络基础

2021-4-24

吴恩达老师的神经网络课笔记

0. mind

1. 二分分类

1.1 定义

给定一张图片，输出0/1，判断它是不是一只猫，这就是二分分类。

1.2 特征向量，label

一幅图像由多个像素组成，我们将图像转换成一个列向量，称之为feature vector 特征向量x，维度n=64*64*3=12288，而y称为结果label

1.3 数据集

我们定义m为训练样本数（图片数），**(x^1,y1)**则为第一个样本，X为m列，n行的矩阵，y则为1行，m列的行向量

2. logistic 回归

2.1 目的

logistic regression 算法适用于计算二分分类，应用它的目的就是解决二分分类问题。给定一个x，我们想要得到这个y^，y帽是一个概率，在x的情况下，y=1的概率。

2.2 参数

函数中有两个参数w,b，但是w^{tx+b**是一个一次函数，它并不能保证，**y}落在0-1之间，因此还需要加一个sigmoid function.

sigmoid function，是用于约束y^，落在0-1之间的函数，下图能看到分析，图像，以及sigmoid function的写法

2.3 特点

logistic funtion中，我们只需判断w, b，便能得到一个比较好的y帽=1。

3. 损失函数

3.1 目的

Lost function是用于衡量算法的运行情况，是真实值与预测值的误差分析

3.2 函数

我们可以使用最简单的平方差来计算预测值与实际之间的差距，但是这个函数得到的结果在后续的梯度下降法计算中不太友善，因此我们改善了选择了另一个函数。

4. 成本函数

4.1 目的

成本函数是用来衡量并训练（见梯度下降法）logistic 回归中的两个参数的，是基于整个数据集的。损失函数越小意味着误差越小，通过构造成本函数，只需成本函数尽可能小，就会得到较好的损失函数，较好的回归参数，较好的结果

5. 梯度下降法

5.1 目的

如何去最小化成本函数？我们给出的方法是梯度下降法，这本质上是一种导数求导的方法，当求导为0，即找到了最低点，则是我们想要的最小值。

5.2 计算

计算过程可以从三维分解成二维易于理解，我们先计算w，通过导数计算的方法，不断更新w，当斜率为正，w会不断变小，反之则变大，最终达到最低点。公式中的α是学习率，通过它来控制每次迭代的步长。

5.3 logistic 回归中的梯度下降法

在logistic回归中使用梯度下降法，我们仅需要把前面的步骤分析一下，得出logistic回归函数，再得出成本函数，我们的目的就是计算成本函数的最小值

6. 向量化

6.1 目的

把数据向量化的目的则是加快计算速度，在大数据集上，倘若使用for循环遍历所有样本，它是串行计算的，速度会比较慢，把数据集向量化，通过并行计算的方式，我们会发现计算结果大大地提高了。下图则是向量化，非向量化计算例子的比较。

6.2 logistic 回归中的向量化

6.2 logistic 回归中的向量化