0
点赞
收藏
分享

微信扫一扫

强化学习(reinforcement)

凌得涂 2023-10-19 阅读 50
算法

在这里插入图片描述

B站链接

https://www.bilibili.com/video/BV13a4y1J7bw?p=1&vd_source=6f43d02eb274352809b90e8cdf744905

agent----------environment--------goal

在这里插入图片描述

State 状态

Action 行动

Reward奖励

是一个及时的反馈
目标是一个长远的结果

Core element👇

Policy 策略

当前需要决定的行动策略,policy依赖于value,可以理解为,policy输入的是state,输出是action

Value 价值

state-value函数
state-action-value函数
在这里插入图片描述

try_and_error delay_reward exploration exploitation

在这里插入图片描述
a = L(left)/R(right)
以上的Q可以理解是t时刻时进行行动a的价值函数。
选择action时,要选择在此刻t的Q(a_i)的最大值。
在这里插入图片描述
![在这里插入图片描述](https://img-blog.csdnimg.cn/046cd50970e34a53a937c13ca761f58e.png在这里插入图片描述

Q n + 1 Q_n+1 Qn+1是第n+1次行动的估计价值, R n R_n Rn是第n次行动的真实价值。1/n为步长。适用于没有延迟奖励👆且只有一个状态的情况

👆这个函数更受最近的action的影响,所以可能更适合奖励机制。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

MC Method 和 Tempportal-Difference Learning分别类似于👇俩公式

在这里插入图片描述

MC method就是用随机性来模拟状态值。
Tempportal-Difference Learning。

举报

相关推荐

0 条评论