一、介绍
当我们用机器学习来解决一些模式识别任务时，一般的流程包含以下几个步骤：
特征处理：又可成为特征工程（Feature Engineering），即人工的进行许多特征处理工作，起关键作用。
浅层学习：（Shallow Learning），不涉及特征学习，其特征主要靠人工经验或特征转换方法来抽取。
1.语义鸿沟：人工智能的挑战之一
底层特征 & 高层语义
人们对文本、图像的理解无法从字符串或者图像的底层特征直接获得。
比如我们学过的一首诗，李白的《静夜思》，我们拿到的底层特征就是这些字，他们组合在一起，我们知道它所反映的含义，所以我们需要从这些底层特征构造出一些表示，这些表示可以蕴含出他的高层语义。
2.什么是好的数据表示（Representation)
“好的表示”是一个非常主观的概念，没有一个明确的标准。
但一般而言，一个好的表示具有以下几个优点：
数据表示是机器学习的核心问题。
二、表示形式
1.表示形式
局部表示
离散表示、符号表示、One-Hot向量
通常需要配合知识库、规则来用
分布式表示
压缩、低维、稠密向量
用O(N)个参数表示O(2的K次方)区间，其中K为非0参数，K<N
2.一个例子——颜色
局部表示用的是One-Hot向量，解释能力比较强。
分布式表示用的是RGB，解释能力比较弱，便于计算相似度。
3.转换
嵌入：压缩、低维、稠密向量
三、表示学习
表示学习，即为如何自动从数据中学习好的表示
通过构建具有一定”深度“的模型，可以让模型来自动学习好的特征表示（从底层特征，到中层特征，再到高层特征），从而最终提升预测或识别的准确性。
1.传统的特征提取
2.特征提取 & 表示学习
特征提取：基于任务或先验对去除无用特征
表示学习：通过深度模型学习高层语义特征
难点在于没有明确的目标。
