my first time use MarkDown Editor

hw2_instructions.pdf1.作业介绍2.复习

hw2_instructions.pdf

1.作业介绍

此次作业的目标是去体验策略梯度算法以及它的方差，以及策略梯度减小反差的方法。你的目标是去动手建立一个既可以用在连续环境下又可以在离散环境下的策略梯度算法，并且实验方差减小策略（这包括 reward-to-go以及neural nerwork baselines）

2.复习

强化学习的目标是去学习一个使得目标函数最大的参数${\theta }^{\ast }$：

$$J(\theta )={\mathbb{E}}_{\tau \sim {\pi }_{\theta }(\tau )}[r(\tau )]$$

$J(\theta )$是关于参数$\theta$的目标函数；${\mathbb{E}}_{\tau \sim {\pi }_{\theta }(\tau )}$表示的是从${\pi }_{\theta }$这个策略中得到的分布${\pi }_{\theta }(\tau )$中采样得到的$\tau$的回报的期望。

此处策略中得到的分布也表示为:

$$p_{\theta }(\tau )=p(s_1,a_1,...,s_T,a_T)=p(s_1){\pi }_{\theta }(a_1|s_1)\prod _{t=2}^{T}p(s_t|s_{t-1},a_{t-1}){\pi }_{\theta }(a_t|s_t)$$ 这公式的意思就是从策略${\pi }_{\theta }$中得到一个$\tau$的概率是从一开始产生$s_1$的概率$p(s_1)$不断乘上之后产生决策的条件概率的累积。

并且 $$r(\tau )=r(s_1,a_1,...,s_T,a_T)=\sum _{t=1}^{T}r(s_t,a_t)$$ 策略梯度算法直接利用目标的梯度进行逼近 $${▽}_{\theta }J(\theta )={▽}_{\theta }\int p_{\theta }(\tau )r(\tau )d\tau =\int p_{\theta }(\tau ){▽}_{\theta }log{p}_{\theta }(\tau )r(\tau )d\tau$$ 这里其实用了${\mathbb{E}}_{\tau \sim {\pi }_{\theta }(\tau )}[r(\tau )]=\int {\pi }_{\theta }(\tau )r(\tau )d\tau$这个概率变量的期望的数学定义。并且在二三式的转换中使用了如下的公式 $${▽}_{\theta }{p}_{\theta }(\tau )=p_{\theta }\frac{{▽}_{\theta }{p}_{\theta }(\tau )}{p_{\theta }(\tau )}=p_{\theta }(\tau ){▽}_{\theta }log{p}_{\theta }(\tau )$$ 这其实就是高数中的${▽}_{x}logf(x)=\frac{{▽}_{x}f(x)}{x}$

在实际中，对于轨迹$\tau$的期望可以被轨迹分布的N个采样近似： $${▽}_{\theta }J(\theta )\approx \frac{1}{N}\sum _{i=1}^N{▽}_{\theta }log{\pi }_{\theta }({\tau }_i)r({\tau }_i)=\frac{1}{N}\sum _{i=1}^N(\sum _{i=1}^T{▽}_{\theta }\log {\pi }_{\theta }(a_{it}|s_{it})(\sum _{t=1}^{T}r(s_{it},a_{it}))$$ 这里我们看到策略${\pi }_{\theta }$是一个根据状态得到动作的概率分布。在一个agent-environment loop中，agent从策略${\pi }_{\theta }(\cdot |s_t)$中采样动作，并且环境做出相应的回报$r(s_t,a_t)$ 实际中我们会发现这个梯度的方差特别的大。

OK，就写到这里把，之后再说要不要补充，因为LaTex写起来太麻烦了，以后还是用ipad做一个手写笔记。 剩下的内容看这里把。

参考：https://zhuanlan.zhihu.com/p/32652178