Importance Sampling
目的： 在概率密度函数分布
p
(
x
)
p(x)
p(x)极其不均匀和特征函数
f
(
x
)
f(x)
f(x)很复杂的情况下，更精确的估计样本期望
E
X
∼
p
(
x
)
[
f
(
x
)
]
=
E
[
f
]
E_{X \sim p(x)}[f(x)]=E[f]
EX∼p(x)[f(x)]=E[f]。
利用随机采样，用样本均值估算
X
∼
p
(
x
)
X \sim p(x)
X∼p(x)的期望
E
X
∼
p
(
x
)
[
f
(
x
)
]
=
E
[
f
]
E_{X \sim p(x)}[f(x)]=E[f]
EX∼p(x)[f(x)]=E[f]，可利用公式(1)估算：
E
[
f
]
=
1
N
∑
i
=
1
N
f
(
x
i
)
(1)
E[f]=\frac{1}{N} \sum_{i=1}^{N} f\left(x_{i}\right)\tag{1}
E[f]=N1i=1∑Nf(xi)(1)然而上式仅适合于
f
(
x
)
f(x)
f(x)趋向均匀分布的情况。当非均匀分布时，采用随机采样会导致期望的偏差bias很大，此时，要么增大采样的数量（大数定理告诉我们，样本数足够大，采样样本的分布越近似原分布），要么引入重要性采样，用修正因子来表示重要性采样的权重，以便让样本期望和真实期望偏差尽可能小。
做法： 引入一个和 p ( x ) p(x) p(x)有一定相似度的函数 π ( x ) \pi(x) π(x)，将问题转化为求 E [ f ] = ∫ x p ( x ) π ( x ) p ( x ) f ( x ) d x E[f]=\int_{x} p(x) \frac{\pi(x)}{p(x)} f(x) d x E[f]=∫xp(x)p(x)π(x)f(x)dx， E [ f ] = 1 N ∑ i = 1 N π ( x i ) p ( x i ) f ( x i ) E[f]=\frac{1}{N} \sum_{i=1}^{N} \frac{\pi\left(x_{i}\right)}{p\left(x_{i}\right)} f\left(x_{i}\right) E[f]=N1∑i=1Np(xi)π(xi)f(xi)，此时就有 π ( x i ) p ( x i ) \frac{\pi\left(x_{i}\right)}{p\left(x_{i}\right)} p(xi)π(xi)为重要性采样的权重。
