一:我的认识
多层次的对原始数据进行特征提取,最后在输出层完成特征分类。
二:函数基础
1 . 线性回归
2 . logistic分类
3 . softmax分类
4. 激活函数relu
5. 最小值求解
常见的梯度下降算法 adam ....
6. 交叉熵损失函数
对于二分类使用BinaryCrossentropy
对于多分类softmax使用CategoricalCrossentropy(one-hot编码)和SparseCategoricalCrossentropy使用一个位置整数表示类别。
三:思考
如何求得损失函数最小,如在这里使用的交叉熵损失函数。
本身损失函数是针对于w(待求未知数)的函数,目的是使得函数值最小,所以可以试图找到这样的一点w。所以对函数进行求导数,使得函数根据导数指示的方向下滑直到满足迭代次数,或满足下滑距离小于阈值。
四:深度学习
1:输入层 (对于卷积神经网这一步就是在做卷积处理)
2:隐藏层 (N>=0)由wx+b=y 激活函数(y)
3:输出层 默认是logits(得分值) 可以用激活函数softmax进行归一化处理