第一章 绪论
基本术语
- 示例（instance）或样本（sample）：关于一个事件或对象的描述的一条记录
- 数据集（data set）：所有记录的集合
- 属性（attribute）或特征（feature）：反映事件或对象在某方面的表现或性质的事项
- 属性值（attribute value）：属性上的取值
- 属性空间（attribute space）、样本空间（sample space）或输入空间：属性张成的空间；属性的个数就是其维度，例如有3个属性，那么张成的空间就是三维空间；每个属性都可以在这个空间中找到自己的坐标位置；因此，也把一个示例成为一个特征向量（feature vector）
- 学习（learning）或训练（training）：从数据中学的模型的过程，这个过程通过执行某个算法来完成
- 训练数据（training data）：训练过程使用的数据
- 训练样本（training sample）：训练数据中的每个样本
- 训练集（training set）：训练样本组成的集合
- 假设（hypothesis）：学的模型对应了关于数据的某种潜在规律
- 假设空间：所有假设组成的空间
- 学习器（learner）：学得的模型，可看作学习算法在给定数据和参数空间上的实例化
- 标记（label）：关于示例结果的信息
- 样例（example）：拥有了标记信息的示例
- 标记空间（label space）或输出空间：所有标记的集合
- 测试（testing）：学的模型后，使用其进行预测的过程
- 测试样本（testing sample）：被预测的样本
- 分类（classification）：预测的是离散值
- 回归（regression）：预测的是连续值
- 聚类（clustering）：将训练集划分为若干组，每组称为一个簇
- 泛化（generalization）：学的模型适用于新样本的能力
- 归纳偏好（inductive bias）：机器学习算法在学习过程中对某种类型假设的偏好
假设空间
对于书中列举的西瓜问题的假设空间问题有如下前提条件：
- 假设西瓜有三种属性：色泽、根蒂、敲声
- 假设色泽=[青绿,浅白,乌黑]、根蒂=[蜷缩,硬挺,稍蜷]、敲声=[浊响,沉闷,清脆]
- 用通配符“*”表示可以选取任意值
- 用Ø表示没有这个东西，或是这个概念不成立
根据上面四个前提条件，我们可以得到如下的4x4x4+1=65种可能的情况：
- 色泽=青绿；根蒂=蜷缩；敲声=浊响
- 色泽=青绿；根蒂=蜷缩；敲声=沉闷
- 色泽=青绿；根蒂=蜷缩；敲声=清脆
- 色泽=青绿；根蒂=蜷缩；敲声=*
- 色泽=青绿；根蒂=硬挺；敲声=浊响
- 色泽=青绿；根蒂=硬挺；敲声=沉闷
- 色泽=青绿；根蒂=硬挺；敲声=清脆
- 色泽=青绿；根蒂=硬挺；敲声=*
- 色泽=青绿；根蒂=稍蜷；敲声=浊响
- 色泽=青绿；根蒂=稍蜷；敲声=沉闷
- 色泽=青绿；根蒂=稍蜷；敲声=清脆
- 色泽=青绿；根蒂=稍蜷；敲声=*
- 色泽=青绿；根蒂=*；敲声=浊响
- 色泽=青绿；根蒂=*；敲声=沉闷
- 色泽=青绿；根蒂=*；敲声=清脆
- 色泽=青绿；根蒂=*；敲声=*
- 色泽=浅白；根蒂=蜷缩；敲声=浊响
- 色泽=浅白；根蒂=蜷缩；敲声=沉闷
- 色泽=浅白；根蒂=蜷缩；敲声=清脆
- 色泽=浅白；根蒂=蜷缩；敲声=*
- 色泽=浅白；根蒂=硬挺；敲声=浊响
- 色泽=浅白；根蒂=硬挺；敲声=沉闷
- 色泽=浅白；根蒂=硬挺；敲声=清脆
- 色泽=浅白；根蒂=硬挺；敲声=*
- 色泽=浅白；根蒂=稍蜷；敲声=浊响
- 色泽=浅白；根蒂=稍蜷；敲声=沉闷
- 色泽=浅白；根蒂=稍蜷；敲声=清脆
- 色泽=浅白；根蒂=稍蜷；敲声=*
- 色泽=浅白；根蒂=*；敲声=浊响
- 色泽=浅白；根蒂=*；敲声=沉闷
- 色泽=浅白；根蒂=*；敲声=清脆
- 色泽=浅白；根蒂=*；敲声=*
- 色泽=乌黑；根蒂=蜷缩；敲声=浊响
- 色泽=乌黑；根蒂=蜷缩；敲声=沉闷
- 色泽=乌黑；根蒂=蜷缩；敲声=清脆
- 色泽=乌黑；根蒂=蜷缩；敲声=*
- 色泽=乌黑；根蒂=硬挺；敲声=浊响
- 色泽=乌黑；根蒂=硬挺；敲声=沉闷
- 色泽=乌黑；根蒂=硬挺；敲声=清脆
- 色泽=乌黑；根蒂=硬挺；敲声=*
- 色泽=乌黑；根蒂=稍蜷；敲声=浊响
- 色泽=乌黑；根蒂=稍蜷；敲声=沉闷
- 色泽=乌黑；根蒂=稍蜷；敲声=清脆
- 色泽=乌黑；根蒂=稍蜷；敲声=*
- 色泽=乌黑；根蒂=*；敲声=浊响
- 色泽=乌黑；根蒂=*；敲声=沉闷
- 色泽=乌黑；根蒂=*；敲声=清脆
- 色泽=乌黑；根蒂=*；敲声=*
- 色泽=*；根蒂=蜷缩；敲声=浊响
- 色泽=*；根蒂=蜷缩；敲声=沉闷
- 色泽=*；根蒂=蜷缩；敲声=清脆
- 色泽=*；根蒂=蜷缩；敲声=*
- 色泽=*；根蒂=硬挺；敲声=浊响
- 色泽=*；根蒂=硬挺；敲声=沉闷
- 色泽=*；根蒂=硬挺；敲声=清脆
- 色泽=*；根蒂=硬挺；敲声=*
- 色泽=*；根蒂=稍蜷；敲声=浊响
- 色泽=*；根蒂=稍蜷；敲声=沉闷
- 色泽=*；根蒂=稍蜷；敲声=清脆
- 色泽=*；根蒂=稍蜷；敲声=*
- 色泽=*；根蒂=*；敲声=浊响
- 色泽=*；根蒂=*；敲声=沉闷
- 色泽=*；根蒂=*；敲声=清脆
- 色泽=*；根蒂=*；敲声=*
- Ø
版本空间
给定的西瓜数据表如下所示：
编号 | 色泽 | 根蒂 | 敲声 | 好瓜 |
1 | 青绿 | 蜷缩 | 浊响 | 是 |
2 | 乌黑 | 蜷缩 | 浊响 | 是 |
3 | 青绿 | 硬挺 | 清脆 | 否 |
4 | 乌黑 | 稍蜷 | 沉闷 | 否 |
- 对于第一个正例，符合要求的假设是编号：1、4、13、16、49、52、61、64
- 对于第二个正例，符合要求的假设是编号：33、36、45、48、49、52、61、64
- 对于第三个反例，符合要求的假设是编号：7、8、15、16、55、56、63、64
- 对于第四个反例，符合要求的假设是编号：42、44、46、48、58、60、62、64
对两个正例求交集得到49、52、61、64，再去除反例中的最后得到假设空间为{49,52,61}；即，如下图所示
