Linux tail命令

念川LNSC

阅读 63

2023-08-01

文章目录

深度学习基础
CNN初步介绍

深度学习基础

卷积神经网络与传统神经网络区别

深度学习与神经网络的区别

在这里插入图片描述

目标函数

选择合适的目标函数

在这里插入图片描述

Softmax层

在这里插入图片描述

改进的梯度下降

梯度消失的直观解释

在这里插入图片描述

激活函数

在这里插入图片描述

学习步长

在这里插入图片描述

SGD的问题

在这里插入图片描述
存在马鞍面，使我们的训练卡住，于是提出下面方法：

Momentum动量

在这里插入图片描述

Nesterov Momentum

在这里插入图片描述
先利用“惯性”，“走”一步。避免一开始，就被当前梯度带偏。

Adagrad

为不同的参数设置不同的学习步长。
在这里插入图片描述

RMSprop

改进的Adagrad。使：
小的可以变大，大的可以变小。
在这里插入图片描述

Adam

在这里插入图片描述

各种梯度下降算法比较

在这里插入图片描述

关于算法选择的建议

在这里插入图片描述

Batch Normalization的由来

在这里插入图片描述

量纲不同，需要进行归一化处理。

避免过适应

在这里插入图片描述

早期停止训练

在这里插入图片描述

权重衰减

在这里插入图片描述

Dropout

在这里插入图片描述

测试时权重应减小

在这里插入图片描述

CNN初步介绍

CNN的基本组件

在这里插入图片描述

CNN卷积层

在这里插入图片描述

在这里插入图片描述

CNN池化层

在这里插入图片描述
通道数没变，尺度大小变了。

CNN-Softmax层

在这里插入图片描述

池化层的误差反向传播

在这里插入图片描述

卷积层计算

卷积层运算的展开表示

在这里插入图片描述
与全连接是有区别的。

卷积层的误差反向传播

在这里插入图片描述

转了180度

在这里插入图片描述

下面是残差

下面是梯度· 在这里插入图片描述

精彩评论（0）