深度学习——02、深度学习入门 8-14

08softmax分类器

sigmoid函数

softmax分类器：

Softmax的输出（归一化的分类概率）

归一化参见：​​python人工智能——机器学习——特征工程​​ 5.数据的特征预处理

损失函数：交叉熵损失（cross-entropy loss）

被称作softmax 函数

其输入值是一个向量，向量中元素为任意实数的评分值。

输出一个向量，其中每个元素值在0到1之间，且所有元素之和。

softmax分类的损失函数

损失函数对比

09最优化形象解读

结合人下山的方式考虑，找到一种下山最快的路径。

10梯度下降算法原理

跟随梯度

11反向传播

参见：​​PaddlePaddle训练营——公开课——AI核心技术掌握——第1章迈入现代人工智能的大门——深度学习的基础算法——反向传播算法简介​​

12神经网络整体架构

神经网络

激活函数

由于sigmoid会发生梯度消失，因此已经淘汰。

现在常用的激活函数

单层神经网络

双层神经网络

n层神经网络

13神经网络模型实例演示

layer_defs = [];
layer_defs.push({type:'input', out_sx:1, out_sy:1, out_depth:2});
layer_defs.push({type:'fc', num_neurons:7, activation: 'tanh'});
layer_defs.push({type:'fc', num_neurons:7, activation: 'tanh'});
layer_defs.push({type:'softmax', num_classes:2});

net = new convnetjs.Net();
net.makeLayers(layer_defs);

trainer = new convnetjs.SGDTrainer(net, {learning_rate:0.01, momentum:0.1, batch_size:10, l2_decay:0.001});

简单数据

圆形数据

螺旋数据

随机数据

​​ConvnetJS demo: toy 2d classification with 2-layer neural network​​

14过拟合问题解决方案

正则化项在神经网络中的重要作用

越多的神经元，就越能够表达能复杂的，但是神经元太多会导致过拟合现象，并不能很好的体现泛性的概念，因此要优化正则化项。

数据预处理

参见：​​python人工智能——机器学习——数据的降维​​

参见：​​python人工智能——机器学习——特征工程​​ 5.数据的特征预处理

权重初始化

权重要随机初始化！b要全零初始化！

DROP-OUT

解决过拟合的问题