目录

• 第一章 Let's Get Started
• • 本章学习目标
  • 线性规划和标准型
  • 标准型和对偶
  • 线代回顾

第一章 Let’s Get Started

本章学习目标

• 初步认知线性规划术语
• 线性规划标准型
• 弱对偶理论
• 一些相关线代理论

线性规划和标准型

  线性规划由求最大化或最小化的目标函数和若干线性约束条件构成。其解集是一个关于约束条件的多面体集(polyhedron)。
  线性规划问题的解是一系列与变量相对应的实数，可行解是满足所有约束的解，若没有任何一个解比某个解更好，则称这个解为最优解。可行解的集合(多面体集)称为可行域。
  线性规划的标准型如下：
$$\begin{gathered} \mathrm{m}\mathrm{i}\mathrm{n}{c}^{\prime }x \\ Ax=b \\ x\ge 0 \end{gathered}$$
  其中，$c\in {\mathbb{R}}^n,b\in {\mathbb{R}}^m,A\in {\mathbb{R}}^{m\times n}$，$x$是在${\mathbb{R}}^n$的向量。上式表达的是在有限个非负变量的前提下最小化一个线性函数，并受限于一系列的不多余(non-redundant)且不矛盾(cinsistent)的线性等式。即便$Ax=b$有解，但不一定是可行解。
  任何一个线性规划的公式都可以转换成标准型：

• 最大化问题则取负值 $\mathrm{m}\mathrm{a}\mathrm{x}{c}^{\prime }x$转换成$\mathrm{m}\mathrm{i}\mathrm{n}-c^{\prime }x$
• 非负变量$x_j$可以转换成$x_j^{-}$，用$-x_j^{-}$代替$x_j$。无约束变量$x_j$可用两个非负变量做差$x_j^{+}-x_j^{-}$代替。
• 若有不等式${\sum }_{j=1}^n{a}_j{x}_j\le \gamma$，只需加一个非负的松弛变量$s$，即可得到${\sum }_{j=1}^n{a}_j{x}_j+s=\gamma$。若有不等式${\sum }_{j=1}^n{a}_j{x}_j\ge \gamma$，只需减一个非负的剩余变量$s$，即可得到${\sum }_{j=1}^n{a}_j{x}_j-s=\gamma$。
• 通过上述变换可以得到一个标准型，除非方程组的系数矩阵是行满秩的。但是在行满秩的情况下，可以通过对方程组进行初等行运算，以消除多余的方程或确定方程组是矛盾的。在矛盾的情况下，线性优化是不可行的。

标准型和对偶

  令$c\in {\mathbb{R}}^n,b\in {\mathbb{R}}^m,A\in {\mathbb{R}}^{n\times m}$，$x$是${\mathbb{R}}^n$形式的向量。原问题为：
$$\begin{gathered} \mathrm{m}\mathrm{i}\mathrm{n}{c}^{\prime }x \\ Ax=b \\ x\ge 0\text{\hspace{1em}(P)} \end{gathered}$$
  $y$是${\mathbb{R}}^m$形式的向量。对偶问题为：
$$\begin{gathered} \mathrm{m}\mathrm{a}\mathrm{x}{y}^{\prime }b \\ {y}^{\prime }A\le c^{\prime }\text{\hspace{1em}(D)} \end{gathered}$$
  其中，(P)和(D)有相同的$A$、$b$和$c$，二者的关系如下：

证明：略

线代回顾

  对于一个矩阵$A\in {\mathbb{R}}^{m\times n}$，定义其中的一个元素为$a_{ij}$，定义$A$转置为$A^{\prime }\in {\mathbb{R}}^{n\times m}$，其中的一个元素为$a_{ji}$。默认本文的向量为列向量，即$x\in {\mathbb{R}}^n$为矩阵${\mathbb{R}}^{n\times 1}$。
  矩阵乘法：略
  向量$x^1,x^2,x^3,...,x^p\in {\mathbb{R}}^n$，标量${\lambda }^1,{\lambda }^2,{\lambda }^3,...,{\lambda }^p$，则定义线性组合为${\sum }_{i=1}^p{\lambda }_i{x}^i$。若所有的${\lambda }_i=0$，则称这个线性组合是“平凡的(trival)”。若零向量在该线性组合中的表示只能是平凡的，那么$x^1,x^2,x^3,...,x^p$是线性独立的。$x^1,x^2,x^3,...,x^p$的所有线性组合称作 { x 1 , x 2 , x 3 , . . . , x p } \lbrace x^{1} , x^{2} , x^{3} , ... , x^{p} \rbrace {x1,x2,x3,...,xp}的张成空间(span)。向量空间$V$的维数(dimension) 简记做dim($V$)，是该向量空间中线性独立向量个数的最大值，同样，这个值也是张成空间所需的最小的向量个数。由dim($V$)个线性独立向量张成的向量空间是一个基(basis)。若$V$是 { x 1 , x 2 , x 3 , . . . , x p } \lbrace x^{1} , x^{2} , x^{3} , ... , x^{p} \rbrace {x1,x2,x3,...,xp}的张成，则存在一个 { x 1 , x 2 , x 3 , . . . , x p } \lbrace x^{1} , x^{2} , x^{3} , ... , x^{p} \rbrace {x1,x2,x3,...,xp}的子集是$V$的基。

   r . s . ( A ) : = { y ′ A : y ∈ R m } r.s.(A):= \lbrace y'A : y \in {\mathbb{R}^m} \rbrace r.s.(A):={y′A:y∈Rm}表示$A$的行空间(row sapce)，类似的，还有A的列空间(column space) c . s . ( A ) : = { A x : x ∈ R n } c.s.(A):= \lbrace Ax : x \in {\mathbb{R}^n} \rbrace c.s.(A):={Ax:x∈Rn}，列空间和行空间的维数是相同的，这个维数的值就是$A$的秩(rank)，若A的行数等于秩，则称为行满秩(full row rank)，同理还有列满秩(full column rank)。出了行空间、列空间之外，还有零空间(null space)，是齐次方程$Ax=0$的所有解$x$的集合，即 n . s . ( A ) : = { x ∈ R n : A x = 0 } n.s.(A):= \lbrace x \in {\mathbb{R}^n}:Ax = 0 \rbrace n.s.(A):={x∈Rn:Ax=0}。

  初等变换(elementary row operation)：略
  设单位矩阵为${\mathrm{I}}_r$，一个矩阵$A$可以通过高斯-约旦消元法(Gauss-Jordan elimination) 转换成一个单位矩阵${\mathrm{I}}_r$和一个矩阵$M$拼接的形式，即$[{\mathrm{I}}_r,M]$。
  可逆矩阵，略，有$B^{-1}B={\mathrm{I}}_r$，$B{B}^{-1}={\mathrm{I}}_r$，$(B^{\prime }{)}^{-1}=(B^{-1}{)}^{\prime }$，$(AB{)}^{-1}=B^{-1}{A}^{-1}$，以及$B^{-1}[B,{\mathrm{I}}_r]=[{\mathrm{I}}_r,B^{-1}]$。已知$B$求$B^{-1}$的办法就是对$[B,{\mathrm{I}}_r]$进行初等行变换，得到$[{\mathrm{I}}_r,M]$的形式，这时$M=B^{-1}$。
  Sherman-Morrison公式
$$(B+u{v}^{\prime }{)}^{-1}=B^{-1}-\frac{B^{-1}u{v}^{\prime }{B}^{-1}}{1+v^{\prime }{B}^{-1}u}$$
  其中，$1+v^{\prime }{B}^{-1}u\ne 0$且$(B+u{v}^{\prime })$可逆。
  $B$的行列式determinant记做$det(B)$，拉普拉斯展开(Laplace expansion)，略。
  克拉默法则(Cramer’s Rule)，$B$为$r\times r$ 矩阵，$b$为列向量，则$Bx=b$的解为：
$${\bar{x}}_j=\frac{det(B(j))}{det(B)}\forall j=1,2,...,r$$其中，$B(j)$为矩阵$B$的第$j$列用$b$替换的结果。注意：克拉默法则并不是一个计算方面的好算法，但是在证明中很有用。

NOTICE：本文为作者自用读书笔记，原文为A First Course in Linear Optimization 4ed，详细信息请点击Github，原文基于开源协议ccby 3.0，因此可在原文基础上进行修改、转换或以原文为基础进行创作。
如有错误，请提出，我会及时更正。