强化学习笔记
主要基于b站西湖大学赵世钰老师的【强化学习的数学原理】课程，个人觉得赵老师的课件深入浅出，很适合入门.
第一章 强化学习基本概念
第二章 贝尔曼方程
第三章 贝尔曼最优方程
文章目录
上一节讲了贝尔曼方程，这一节继续在贝尔曼方程的基础上讲贝尔曼最优方程，后面的策略迭代和值迭代算法都是根据贝尔曼最优方程来的.
一、最优策略
强化学习的最终目标是获得最优策略，所以有必要首先定义什么是最优策略。该定义基于状态值，比如，我们考虑两个给定策略
π
1
\pi_1
π1和
π
2
\pi_2
π2。若任一状态下
π
1
\pi_1
π1的状态值大于等于
π
2
\pi_2
π2的状态值，即：
v
π
1
(
s
)
≥
v
π
2
(
s
)
,
∀
s
∈
S
,
v_{\pi_1}(s)\geq v_{\pi_2}(s),\quad\forall s\in\mathcal{S},
vπ1(s)≥vπ2(s),∀s∈S,
那么我们称
π
1
\pi_1
π1是比
π
2
\pi_2
π2更好的策略.最优策略就是所有可能的策略中最好的，定义如下：
如何得到这个策略呢？需要求解贝尔曼最优方程.
二、贝尔曼最优方程(BOE)
贝尔曼最优方程（Bellman Optimal Equation,BOE)，就是最优策略条件下的贝尔曼方程：
v
(
s
)
=
max
π
∑
a
π
(
a
∣
s
)
(
∑
r
p
(
r
∣
s
,
a
)
r
+
γ
∑
s
′
p
(
s
′
∣
s
,
a
)
v
(
s
′
)
)
,
∀
s
∈
S
=
max
π
∑
a
π
(
a
∣
s
)
q
(
s
,
a
)
s
∈
S
\begin{aligned} v\left(s\right)& =\max_{\pi}\sum_{a}\pi(a|s)\left(\sum_{r}p(r|s,a)r+\gamma\sum_{s'}p(s'|s,a)v(s')\right),\quad\forall s\in\mathcal{S} \\ &=\max_{\pi}\sum_{a}\pi\left(a|s\right)q\left(s,a\right)\quad s\in{\mathcal S} \end{aligned}
v(s)=πmaxa∑π(a∣s)(r∑p(r∣s,a)r+γs′∑p(s′∣s,a)v(s′)),∀s∈S=πmaxa∑π(a∣s)q(s,a)s∈S
注意：
- p ( r ∣ s , a ) , p ( s ′ ∣ s , a ) p(r|s,a),p(s^{\prime}|s,a) p(r∣s,a),p(s′∣s,a) 给定
- v ( s ) , v ( s ′ ) v(s),v(s^{\prime}) v(s),v(s′) 是需要计算的变量
- π \pi π为优化变量
我们可以发现贝尔曼最优方程存在两个未知数
v
v
v和
π
\pi
π，一个方程怎么求解两个未知数呢？我们以下列式子说明，是可以求解的。
也就是说在求解时，可以固定一个变量，先求max的变量.
受上面例子的启发，考虑到 ∑ a π ( a ∣ s ) = 1 \sum_a\pi(a|s)=1 ∑aπ(a∣s)=1，我们有：
υ
(
s
)
=
max
π
∑
a
π
(
a
∣
s
)
(
∑
r
p
(
r
∣
s
,
a
)
r
+
γ
∑
s
′
p
(
s
′
∣
s
,
a
)
v
(
s
′
)
)
,
=
max
π
∑
a
π
(
a
∣
s
)
q
(
s
,
a
)
=
max
a
∈
A
(
s
)
q
(
s
,
a
)
\begin{aligned} \upsilon(s)& \begin{aligned}=\max_{\color{red}{\pi}}\sum_{a}\pi(a|s)\left(\sum_{r}p(r|s,a)r+\gamma\sum_{s'}p(s'|s,a)v(s')\right),\end{aligned} \\ &=\max_{\color{red}{\pi}}\sum_{a}\color{red}{\pi(a|s)}q(s,a) \\ &=\max_{\color{red}{a\in\mathcal{A}(s)}}q(s,a) \end{aligned}
υ(s)=πmaxa∑π(a∣s)(r∑p(r∣s,a)r+γs′∑p(s′∣s,a)v(s′)),=πmaxa∑π(a∣s)q(s,a)=a∈A(s)maxq(s,a)
我们通过先对
π
\pi
π变量求max，最后将问题转换为：
v
(
s
)
=
max
a
∈
A
(
s
)
q
(
s
,
a
)
v(s)=\max_{\color{red}{a\in\mathcal{A}(s)}}q(s,a)
v(s)=a∈A(s)maxq(s,a)而这个方程与
π
\pi
π无关了，只有一个变量，那就是
v
(
s
)
v(s)
v(s)（向量形式）,如何求解这个方程呢？下面介绍如何用迭代法进行求解.
三、BOE的求解
1 求解方法
我们考虑BOE的向量形式：
v
=
f
(
v
)
=
max
π
(
r
π
+
γ
P
π
v
)
v=f(v)=\max_{\pi}(r_\pi+\gamma P_\pi v)
v=f(v)=πmax(rπ+γPπv)而这个函数
f
f
f是一个压缩映射，压缩常数为
γ
\gamma
γ，证明见参考资料1的对应章节。什么是压缩映射？
定义(压缩映射)
f f f是压缩映射有什么用呢?这里需要先介绍一下压缩映射原理.
定理(压缩映射原理)
这也就是说，压缩映像原理给出了一个求不动点的方法，而BOE的 f f f是压缩映射，因此我们有
具体来看每一次迭代怎么算：
当我们计算每个状态
s
s
s时，我们由
v
k
(
s
′
)
v_k(s')
vk(s′)可以计算得到
q
k
(
s
,
a
)
q_k(s,a)
qk(s,a)，然后再求最大就得到
v
k
+
1
(
s
)
v_{k+1}(s)
vk+1(s)了。值得注意的是上述方程右端取得最优值时，我们有：
π
k
+
1
(
a
∣
s
)
=
{
1
a
=
a
∗
,
0
a
≠
a
∗
.
\pi_{k+1}(a|s)=\begin{cases} 1 & a=a^*,\\ 0 & a\neq a^*. \end{cases}
πk+1(a∣s)={10a=a∗,a=a∗.其中
a
∗
=
arg
max
a
q
k
(
s
,
a
)
a^*=\arg\max\limits_a q_k(s,a)
a∗=argamaxqk(s,a)，这个策略被称为greedy policy，也就是每次都选择动作值(q值)最大的动作.
Note:
- 值得注意的是，任意给 v 0 ∈ dom f v_0\in\operatorname{dom} f v0∈domf，都能收敛到不动点.
2 实例
我们考虑如下这样一个问题，还是智能体走格子：
- 状态集： s 1 , s 2 , s 3 s_1,s_2,s_3 s1,s2,s3其中 s 2 s_2 s2是目标状态.
- 动作集： a l , a 0 , a r a_l,a_0,a_r al,a0,ar分别代表向左、原地不动、向右.
- 奖励：进入 s 2 s_2 s2+1，走出格子-1。
回顾上一章讲动作值函数和状态值函数的关系，我们可以写出
q
(
s
,
a
)
q(s,a)
q(s,a)与
v
(
s
)
v(s)
v(s)的关系：
下面给定一个
v
(
s
)
v(s)
v(s)的初始值，进行迭代：
显然，从直观上我们知道当前策略已经是最好的了。如果继续进行迭代，得到的策略不会再改变了，那么迭代算法怎么停止呢？停止准则可以通过如下公式进行判断：
∥
v
k
+
1
−
v
k
∥
≤
ϵ
\|v_{k+1}-v_k\|\leq\epsilon
∥vk+1−vk∥≤ϵ其中
ϵ
\epsilon
ϵ是一个给定的很小的值，也就是相邻两次
v
v
v相差很小时，我们认为
v
v
v已经逼近精确值了.
四、BOE的最优性
上面介绍怎么求解BOE的过程中，我们同时通过greedy policy的方法得到了最优策略:
π
∗
=
arg
max
π
(
r
π
+
γ
P
π
v
∗
)
\pi^*= \arg\max\limits_\pi (r_\pi+\gamma P_\pi v^*)
π∗=argπmax(rπ+γPπv∗)其中
v
∗
v^*
v∗是
π
∗
\pi^*
π∗对应的状态值，那么求解贝尔曼最优方程得到的这个
π
∗
\pi^*
π∗是不是最优策略呢？有如下定理进行保证.
这个定理保证了，我们通过求解BOE得到的策略是最优策略，证明见参考资料1的对应章节.
参考资料
- Zhao, S. Mathematical Foundations of Reinforcement Learning. Springer Nature Press and Tsinghua University Press.
- Sutton, Richard S., and Andrew G. Barto. Reinforcement learning: An introduction. MIT press, 2018.
