原创来自B站：

机器学习与深度学习的基本概念介绍（上）_哔哩哔哩_bilibili

机器学习与深度学习的基本概念介绍（下）_哔哩哔哩_bilibili

• 机器学习（找一个函数）
  • 不同类型的函数
    • 回归（Regression）：函数输出值为数值
    • 分类（Classification）：给一些选项（classes），函数输出为正确的那个选项
    • 结构化学习（Structured Learing）：产生带有结构的东西，比如图像和文本
  • 机器学习步骤（以线性模型为主例子）
    • 找一个带有未知参数的函数（ y = b + w i）
      • 线性模型：x 乘以 权重 w + 偏置 b
    • 从训练数据中定义Loss（损失）
      • 解释：
        • (1) Loss 时关于参数的函数  L ( b, w)
        • (2) Loss 一组数值好还是不好
      • 计算方式
        • 绝对值误差：MAE
        • 均方误差：MSE
        • 交叉熵：Cross - entropy
      • 画等高图（Error Surface ）
    • 优化（Optimization）
      • 方法：梯度下降（Gradient Descent ）
        • 随机赋予初始值，或其他算法得出的初始值
        • 斜率大步伐大，斜率小步伐小
        • η（learning rate  学习率）
          • 设置的大，每次跨度大一些，训练的快
        • 需要自己设定的数值成为超参数（hyperparameters）
        • 令梯度趋近于零
      • 关于停止时的解释
        • 达到预设迭代次数
        • 某一组参数的微分恰好为零
      • 

       

• • • 全局最小值与局部最小值
    • 非线性模型
      • 基本解释
        • 分段线性折线表示
          • 

           

• • • • • Sigmoid 函数（来逼近上图蓝色折线）：

           

           

           

           

• • • • • 蓝色折线（Hard Sigmoid）
      • 函数表示
      • 

       

       

• • • • 优化
        • 

         

• • • • 激活函数
        • Sigmoid -> ReLU
          • ReLU 与 Sigmoid 图形比较
          • 

           

• • • • • • ReLU 与 Sigmoid 表达式比较
          • 

           

• • 神经元与神经网络 - - > 深度学习
    • 发展过程
      • 

       

• • • 例子
      • 

       

过拟合（Overfitting）：层数越多网络越深，预测的效果不一定越好