Gae&reward shaping

1| reward. shaping

如果对vs有大致的认知，把势能potential-based定义为估计的最优价值函数，能加快价值函数收敛

 

2、gae：广义优势估计

absorb state:terminal state

γ-just条件:尚未理解

GAE(Generalized Advantage Estimation)

GAE的作用

GAE的意思是泛化优势估计，因而他是用来优化Advantage Function优势函数的。GAE的存在是用来权衡variance和bias问题的： On-policy直接交互并用每一时刻的回报作为长期回报的估计∑Tt′=tγt′−trt′∑t′=tT​γt′−trt′​ 会产生较大的方差，Variance较大。而通过基于优势函数的AC方法来进行回报值估计，则会产生方差较小，而Bias较大的问题。

GAE 推导

满足γγ-just条件。(未完待续)

GAE形式

GAE的形式为多个价值估计的加权平均数。

​ 为了快速估计序列中所有时刻的估计值，采用倒序计算，从t+1时刻估计t时刻：

 

转载于:https://www.cnblogs.com/lin-kid/p/11199380.html

相关资源：七夕情人节表白HTML源码(两款)