目录
1 神经元
1.1 生物神经元
1.2 人工神经元
2 激活函数
2.1 激活函数的性质
2.2 常见激活函数
1 神经元
1.1 生物神经元
单个神经细胞只有两种状态：兴奋和抑制
1.2 人工神经元
2 激活函数
2.1 激活函数的性质
(1)连续并可导（允许少数点上不可导）的非线性函数。
可导的激活函数可以直接利用数值优化的方法来学习网络参数。
(2)激活函数及其导函数要尽可能的简单
有利于提高网络计算效率。
(3)激活函数的导函数的值域要在一个合适的区间内
不能太大也不能太小，否则会影响训练的效率和稳定性。
(4)单调递增
2.2 常见激活函数
性质：
(1)饱和函数
(2)Tanh函数是零中心化的，而logistic函数的输出恒大于0
