本系列博客主要是在学习《模式识别（张学工著 第三版）》时的一些笔记。
1 引言
基于样本直接设计分类器需要三个基本要素：
1. 分类器即判别函数的类型，也就是从什么样的判别函数类中去求解；
2. 分类器设计的目标或准则，确定函数类中的某些待定参数；
3. 如何设计算法利用样本数据搜索到最优的函数参数。
判别函数：
两类：g(x)=wTx+ω0
多类：gi(x)=wTix+ωi0,i=1,2,⋯,c
决策规则
g(x)=g1(x)−g2(x)
则
2 线性判别函数的基本概念
3 Fisher 线性判别分析
把线性分类器的设计分类两步
1. 确定最优方向
2. 在这个方向上确定分类阈值。
思想：选择投影方向，是投影后两类相隔尽可能远，而同时每一类内部的样本又尽可能聚集。
4 感知器
5 最小平方误差判别（线性不可分样本集）
伪逆法求解：
梯度下降法求解：
6 最优分类超平面与线性支持向量机
7 多类线性分类器
