一、什么是机器学习

1、机器学习的发展历史和背景

1.1 人工智能与机器学习

诞生
- 一批具有远见卓识的科学家共同探究使用机器模拟人类思维
  或人类智能的一系列问题，并在1956年夏季首次提出人工智能的
  概念。
目标
- 通过计算机这台机器模拟人的某些思维能力或智能行为，让
  计算机能够像人类一样进行思考。
领域
- 机器翻译、智能控制、图像理解、语音识别、游戏博弈等。
人工智能的发展历程
- 逻辑推理阶段——人工智能发展的早期阶段
  - 时间：20世纪50年代至70年代
  - 思想：普遍认为实现人工智能的关键技术在于自动逻辑推理，只要
    机器被赋予逻辑推理能力就可以实现人工智能
  - 成果：主要通过谓词逻辑演算模拟人类智能。这个阶段的人工智能
    的主流核心技术是符号逻辑计算，在数学定理自动证明等领域获得
    了一定成功
- 专家系统——以知识工程为核心技术
  - 时间：20世纪70年代至90年代
  - 提出原因：如果没有一定数量专业领域知识支撑，则很难实现对复
    杂实际问题的逻辑推理
  - 成果：专家系统使用基于专家知识库的知识推理取代纯粹的符号逻
    辑计算，在故障诊断、游戏博弈等领域取得了巨大成功
  - 方法：专家系统需要针对具体问题的专业领域特点建立相应的专家
    知识库，利用这些知识来完成推理和决策
  - 缺陷：将专家知识总结出来并以适当的方式告诉计算机程序有时非
    常困难，通常需要针对每个具体任务手工建立相应的知识库
  - 总结：专家知识的人工获取和表示方式严重制约了人工智能的进一
    步发展
- 机器学习——如何使得机器能够像人类一样具有这种学习能力
  - 起源：20世纪50年代的感知机数学模型
  - 发展：20世纪90年代中期以来，机器学习得到迅速发展并逐步取代传
    统专家系统成为人工智能的主流核心技术，使得人工智能逐步进入机
    器学习时代。目前，以机器学习为主流核心技术的人工智能在多个领域取得的
    巨大成功已使其成为社会各界关注的焦点和引领社会未来的战略性技
    术
机器学习是一种通过先验信息来提升模型能力的方式
具体地说，对于给定的任务和性能度量标准，使用先验信息，通过某种
计算方式改进初始模型，获得一个性能更好的改进模型

1.2 机器学习的发展历程

感知机与连接学习

人工智能的连接主义——通过模仿生物大脑神经网络结构的方式实现机器智能
连接学习：使用样例信息调节神经元之间连接权重的学习方式

符号学习与统计学习

决策树模型（Decision Tree）——符号学习代表性成果、基于归纳学习
决策树模型是一个树形结构，包含了一个根结点、若干内部结点和若干叶子结点。该模型主要用于表示某种级联判断或决策，其中每个结点对应一次判断或决策，叶子结点表示判断或决策的最终结果。

用于挑选篮球运动员的决策树模型
在这里插入图片描述
核方法的基本思想是将低维特征空间当中线性不可分的数据映射到高维特征空间当中，使得这些数据在高维特征空间当中线性可分。

支持向量机优势：
（1）支持向量机使用的最大间隔思想使得分类器模型只取决于支持向量，模型计算复杂度只与支持向量数目有关，有效避免了维数灾难问题并使得支持向量机对训练样本的变化具有较强的鲁棒性
（2）支持向量机的核方法在一定程度上避免了直接在高维空间中处理问题，有效降低了问题求解的难度