神经网络的起源：
起源于20实际中叶，实际上是一种仿生学产品，即 使我们制造的产品具有我们要仿的生物的某种属性。
神经网络的兴起：
1.环境的创新；
2.软硬件的创新；
3.人的性价比较低；
神经网络的主要功能：
分类识别
图像 ---> 无人驾驶；
语音 ---> 语音助手
文本 ---> 新闻推送
神经网络的网络结构:
相较于普通的函数，它具有结构性的顺序。 即结点跟层的概念。 更深的网络比 更宽的网络 在学习的花费上要低很多。
每个神经元先对输入进行线性组合，之后运用 激励函数，将线性的输入转换为非线性的结果。
神经元的逻辑回归：
每个神经元具有独立判断问题的能力，其实质是一个逻辑回归的模型。
线性化过程时，会有一组线性参数。 线性化过程之后，通过激励函数，得出一个预测后的期望值。 在损失函数确定的情况下，通过该逻辑回归模型，逆向调节 线性参数值，达到一个学习的过程。
激励函数：
其作用是： 提供规模化的非线性划能力。
常见的激励函数：
Sigmoid:
其优点是 可导，数学性质好。 缺点是数据较大时，学习周期长。 tanh:
， 其是 Sigmoid的中心对称版。
ReLU: f(x) = max(0,x)
损失函数：
在学习的过程中，我们需要判断学习产生的函数值 与我们监督信息给出的函数值 之间的差异性，便是损失函数功能。
损失函数公式： 单词训练损失； 多次训练损失。 公式略。 不用欧几里得距离的原因是： 不能保证是凸平面。
梯度下降：
通过一种渐进性的方式，来调整整个函数的形态。
即通过取到损失函数的局部极小值，来起到一个调教线性参数的过程。
网络梯度下降:
也称为反向传播，即通过运算结果来逆向调节每一层的参数，从而是整个网络的函数链条达到最优值。
通过逆向求导，调校参数；
