吃瓜笔记5

所有知识点均来源于周志华西瓜书机器学习

5.1神经元模型

神经元接收到来自n个其他神经元传递的带权重的输入信号，将总输入值与阈值比较，通过激活函数产生输出。
激活函数Sigmoid(x)

5.2感知机与多层网络

线性可分，即存在一个线性超平面能将其分开
线性可分：单层神经元；非线性可分：多层神经元。
多层前馈神经网络：每层与下层全连接，同层、跨层不连接

5.3误差逆传播算法BP

标准BP算法、累积BP算法

缓解BP网络过拟合：
1.早停法。训练集误差降低、测试集上升，停止训练。
2.正则化。误差目标函数中增加描述网络复杂度的部分。