辛钦大数定理 设
X
1
,
X
2
,
.
.
.
X_1,X_2,...
X1,X2,...是相互独立,服从同一分布的随机变量序列,且具有数学期望
E
(
X
k
)
=
μ
,
k
=
1
,
2...
E(X_k)=\mu,k=1,2...
E(Xk)=μ,k=1,2...,则对于任意
ε
>
0
\varepsilon>0
ε>0有
lim
n
→
∞
P
{
∣
1
n
∑
k
=
1
n
X
k
−
μ
∣
<
ε
}
=
1
\lim_{n\rightarrow\infty}P\{|\frac{1}{n}\sum_{k=1}^nX_k-\mu|<\varepsilon\}=1
limn→∞P{∣n1∑k=1nXk−μ∣<ε}=1
辛钦大数定理证明 证:方差
V
a
r
(
X
k
)
=
σ
2
,
k
=
1
,
2
,
…
Var(X_k)=\sigma^2,k=1,2,\dots
Var(Xk)=σ2,k=1,2,… 因为
E
(
1
n
∑
k
=
1
∞
X
i
)
=
1
n
∑
k
=
1
∞
E
(
X
i
)
=
1
n
(
n
μ
)
=
μ
E(\frac{1}{n}\sum_{k=1}^{\infty}X_i)=\frac{1}{n}\sum_{k=1}^{\infty}E(X_i)=\frac{1}{n}(n\mu)=\mu
E(n1∑k=1∞Xi)=n1∑k=1∞E(Xi)=n1(nμ)=μ 又由独立性得:
V
a
r
(
1
n
∑
k
=
1
n
X
k
)
=
1
n
2
∑
k
=
1
n
V
a
r
(
X
k
)
=
1
n
2
(
n
σ
2
)
=
σ
2
n
Var(\frac{1}{n}\sum_{k=1}^{n}X_k)=\frac{1}{n^2}\sum_{k=1}^{n}Var(X_k)=\frac{1}{n^2}(n\sigma^2)=\frac{\sigma^2}{n}
Var(n1∑k=1nXk)=n21∑k=1nVar(Xk)=n21(nσ2)=nσ2 由切比雪夫不等式得:
1
≥
P
{
∣
1
n
∑
k
=
1
n
X
k
−
μ
∣
<
ε
}
≥
1
−
σ
2
n
ε
2
1\ge P\lbrace |\frac{1}{n}\sum_{k=1}^{n}X_k-\mu|<\varepsilon \rbrace \ge 1-\frac{\frac{\sigma^2}{n}}{\varepsilon^2}
1≥P{∣n1∑k=1nXk−μ∣<ε}≥1−ε2nσ2 若上式中令
n
→
∞
n \rightarrow \infty
n→∞,即得:
lim
n
→
∞
P
{
∣
1
n
∑
k
=
1
n
X
k
−
μ
∣
<
ε
}
=
1
\lim_{n \rightarrow \infty}P \lbrace |\frac{1}{n}\sum_{k=1}^{n}X_k-\mu| < \varepsilon\rbrace=1
limn→∞P{∣n1∑k=1nXk−μ∣<ε}=1
伯努利大数定理 设
f
k
f_k
fk是n次独立重复试验中事件A发生的次数,p是事件A每次试验中发生的概率,则对任意正数
ε
>
0
\varepsilon>0
ε>0,有
lim
n
→
∞
P
{
∣
f
A
n
−
p
∣
<
ε
}
=
1
\lim_{n\rightarrow\infty}P\{|\frac{f_A}{n}-p|<\varepsilon\}=1
limn→∞P{∣nfA−p∣<ε}=1或
lim
n
→
∞
P
{
∣
f
A
n
−
p
∣
≥
ε
}
=
0
\lim_{n\rightarrow\infty}P\{|\frac{f_A}{n}-p|\ge \varepsilon\}=0
limn→∞P{∣nfA−p∣≥ε}=0
伯努利大数定理证明 证:因为
μ
n
\mu_n
μn~b(n,p),由切比雪夫不等式得:
1
≥
P
{
∣
μ
n
n
−
p
∣
<
ε
}
≥
1
−
V
a
r
(
μ
n
n
)
ε
2
=
1
−
p
(
1
−
p
)
ε
2
1 \ge P\lbrace|\frac{\mu_n}{n}-p| < \varepsilon \rbrace \ge 1-\frac{Var(\frac{\mu_n}{n})}{\varepsilon^2}=1-\frac{p(1-p)}{\varepsilon^2}
1≥P{∣nμn−p∣<ε}≥1−ε2Var(nμn)=1−ε2p(1−p) 当
n
→
+
∞
n \rightarrow +\infty
n→+∞时,上式右端趋于1,因此
lim
n
→
+
∞
P
{
∣
μ
n
n
−
p
∣
<
ε
}
=
1
\lim_{n\rightarrow +\infty}P \lbrace |\frac{\mu_n}{n}-p| < \varepsilon \rbrace =1
limn→+∞P{∣nμn−p∣<ε}=1结论得证
切比雪夫大数定律 设
{
X
n
}
\lbrace X_n \rbrace
{Xn}为一列两两不相关的随机变量序列,若每个
X
i
X_i
Xi的方差存在,且有共同上界,即
V
a
r
(
X
i
)
≤
c
,
i
=
1
,
2
,
⋯
Var(X_i) \le c,i=1,2,\cdots
Var(Xi)≤c,i=1,2,⋯,则
{
X
n
}
\lbrace X_n \rbrace
{Xn}服从大数定律,即对任意的
ε
>
0
\varepsilon>0
ε>0,有
P
{
∣
1
n
∑
i
=
1
n
X
i
−
1
n
∑
i
=
1
n
E
(
X
i
)
∣
<
ε
}
≥
1
−
V
a
r
(
1
n
∑
i
=
1
n
X
i
)
ε
2
≥
1
−
c
n
ε
2
P\lbrace |\frac{1}{n}\sum_{i=1}^{n}X_i-\frac{1}{n}\sum_{i=1}^{n}E(X_i)|<\varepsilon \rbrace \ge 1-\frac{Var(\frac{1}{n}\sum_{i=1}^{n}X_i)}{\varepsilon^2} \ge 1-\frac{c}{n\varepsilon^2}
P{∣n1∑i=1nXi−n1∑i=1nE(Xi)∣<ε}≥1−ε2Var(n1∑i=1nXi)≥1−nε2c 于是当
n
→
+
∞
n \rightarrow +\infty
n→+∞时,有
lim
n
→
+
∞
P
{
∣
1
n
∑
i
=
1
n
X
i
−
1
n
∑
i
=
1
n
E
(
X
i
)
∣
<
ε
}
=
1
\lim_{n \rightarrow +\infty}P\lbrace |\frac{1}{n}\sum_{i=1}^{n}X_i-\frac{1}{n}\sum_{i=1}^{n}E(X_i)|<\varepsilon \rbrace=1
limn→+∞P{∣n1∑i=1nXi−n1∑i=1nE(Xi)∣<ε}=1.
马尔可夫大数定律 对随机变量序列
{
X
n
}
\lbrace X_n \rbrace
{Xn},若
1
n
2
V
a
r
(
∑
i
=
1
n
X
i
)
→
0
\frac{1}{n^2}Var(\sum_{i=1}^{n}X_i) \rightarrow 0
n21Var(∑i=1nXi)→0成立,则
X
n
X_n
Xn服从大数定律,即对任意的
ε
>
0
\varepsilon>0
ε>0,
lim
n
→
+
∞
P
{
∣
1
n
∑
i
=
1
n
X
i
−
1
n
E
(
X
i
)
∣
<
ε
}
=
1
\lim_{n \rightarrow +\infty}P\lbrace| \frac{1}{n}\sum_{i=1}^{n}X_i-\frac{1}{n}E(X_i)|<\varepsilon \rbrace=1
limn→+∞P{∣n1∑i=1nXi−n1E(Xi)∣<ε}=1
中心极限定理
林德伯格——列维中心极限定理(独立同分布情形下的中心极限定理) 设
X
1
,
X
2
,
…
X_1,X_2,\dots
X1,X2,…是一个独立同分布的随机变量序列,且
E
(
X
i
)
=
μ
,
V
a
r
(
X
i
)
=
σ
2
>
0
,
i
=
1
,
2
,
…
E(X_i)=\mu,Var(X_i)=\sigma^2>0,i=1,2,\dots
E(Xi)=μ,Var(Xi)=σ2>0,i=1,2,…则对任意的
x
∈
(
−
∞
,
+
∞
)
x \in (-\infty,+\infty)
x∈(−∞,+∞)总有
lim
n
→
∞
P
(
∑
i
=
1
n
X
i
−
n
μ
n
σ
≤
x
)
=
Φ
(
x
)
\lim_{n \rightarrow \infty}P(\frac{\sum_{i=1}^{n}X_i-n\mu}{\sqrt{n}\sigma} \le x)=\Phi(x)
limn→∞P(nσ∑i=1nXi−nμ≤x)=Φ(x) 其中
Φ
(
x
)
\Phi(x)
Φ(x)是N(0,1)的分布函数
德莫弗-拉普拉斯中心极限定理 设
X
1
,
X
2
,
…
X_1,X_2,\dots
X1,X2,…是一个独立同分布的随机变量序列,且每个
X
i
X_i
Xi都服从0—1分布B(1,p),则对任意一个x,
−
∞
<
x
<
∞
-\infty<x<\infty
−∞<x<∞总有
lim
n
→
∞
P
(
∑
i
=
1
n
X
i
−
n
p
n
p
(
1
−
p
)
≤
x
)
=
Φ
(
x
)
\lim_{n \rightarrow \infty}P(\frac{\sum_{i=1}^nXi-np}{\sqrt{np(1-p)}} \le x)=\Phi(x)
limn→∞P(np(1−p)∑i=1nXi−np≤x)=Φ(x)