文章目录

• ​​一、基本概念​​

• ​​1.1 协方差矩阵 及推导​​
• ​​1.2 Hessian矩阵​​
• ​​1.3 Hessian矩阵 示例​​
• ​​1.3 正定矩阵定义及性质​​
• ​​1.4 正定矩阵 示例​​

一、基本概念

1.1 协方差矩阵 及推导

在统计学中用标准差描述样本数据的 “散布度” 公式中之所以除以 n-1 而不是 n,
是因为这样使我们以较少的样本集更好的逼近总体标准差。即统计学上所谓的 “无偏估计”。
关于 协方差 与 散度

方差：

各个维度偏离其均值的程度，协方差：

协方差矩阵的计算：

1.2 Hessian矩阵

Hessian矩阵定义：
若一元函数 在 点的某个领域内具有任意阶导数，则 在 点的泰勒展开式为：

其中：

二元函数 在点处的泰勒展开式为：

其中：

将上述(2)展开式写成矩阵形式，则有：

即为：

其中：

是 在 点处的Hessian矩阵。它是由函数 在 点处的二阶偏导数所组成的方阵。我们一般将其表示为:

简写成：

1.3 Hessian矩阵 示例

1.3 正定矩阵定义及性质

在线性代数中，正定矩阵（positive definite matrix）简称正定阵。

定义：A是n阶方阵，如果对于任何非零向量x都有就称A正定矩阵。

1.4 正定矩阵 示例