0
点赞
收藏
分享

微信扫一扫

深度学习基础

一:我的认识

多层次的对原始数据进行特征提取,最后在输出层完成特征分类。

二:函数基础

1 . 线性回归

2 . logistic分类

3 . softmax分类

4. 激活函数relu

5. 最小值求解

      常见的梯度下降算法 adam ....
6. 交叉熵损失函数

对于二分类使用BinaryCrossentropy

对于多分类softmax使用CategoricalCrossentropy(one-hot编码)和SparseCategoricalCrossentropy使用一个位置整数表示类别。

三:思考

如何求得损失函数最小,如在这里使用的交叉熵损失函数。

本身损失函数是针对于w(待求未知数)的函数,目的是使得函数值最小,所以可以试图找到这样的一点w。所以对函数进行求导数,使得函数根据导数指示的方向下滑直到满足迭代次数,或满足下滑距离小于阈值。

四:深度学习

1:输入层 (对于卷积神经网这一步就是在做卷积处理)

2:隐藏层 (N>=0)由wx+b=y 激活函数(y)

3:输出层 默认是logits(得分值) 可以用激活函数softmax进行归一化处理

举报

相关推荐

0 条评论