Lecture3: Optimal Policy and Bellman Optimality Equation

Definition of optimal policy

state value可以被用来去评估policy的好坏，如果：
$$v_{{\pi }_1}(s)\ge v_{{\pi }_2}(s)\text{for all }s\in S$$
那么，${\pi }_1$比${\pi }_2$更优。

定义：

如果$v_{{\pi }^{\ast }}(s)>v_{\pi }$对所有的$s$都成立，那么policy $\pi$就是最优的，标记为${\pi }^{\ast }$。

BOE: Introduction

回顾元素形式的Bellman等式：
$$v(s)=\sum _a\pi (a|s)\left(\sum _{r}p(r|s,a)+\gamma \sum _{s^{\prime }}p(s^{\prime }|s,a)v(s^{\prime })\right)\forall s\in S$$
则，元素形式的Bellman最优等式（Bellman Optimiality Equation）为：
$$\begin{array}{rl}v(s)& =ma{x}_{\pi }\sum _a\pi (a|s)\left(\sum _{r}p(r|s,a)+\gamma \sum _{s^{\prime }}p(s^{\prime }|s,a)v(s^{\prime })\right)\forall s\in S\\ & =ma{x}_{\pi }\sum _a\pi (a|s)q(s|a)s\in S\end{array}$$
其中：

• $p(r|s,a)$、$p(s^{\prime }|s,a)$是已知的
• $v(s)$、$v(s^{\prime })$是未知需要计算的

矩阵形式的Bellman最优等式：
$$\mathbf{v}=ma{x}_{\pi }({\mathbf{r}}_{\pi }+\gamma {\mathbf{P}}_{\pi }\mathbf{v})$$
其中：
$$\begin{gathered} [{\mathbf{r}}_{\pi }{]}_s:=\sum _a\pi (a|s)\sum _{r}p(r|s,a)r \\ [{\mathbf{P}}_{\pi }{]}_{s,s^{\prime }}=p(s^{\prime }|s):=\sum _a\pi (a|s)\sum _{s^{\prime }}p(s^{\prime }|s,a) \end{gathered}$$

BOE: Maximization on the right-hand side

考虑元素形式Bellman最优等式：
$$\begin{array}{rl}v(s)& =ma{x}_{\pi }\sum _a\pi (a|s)\left(\sum _{r}p(r|s,a)+\gamma \sum _{s^{\prime }}p(s^{\prime }|s,a)v(s^{\prime })\right)\forall s\in S\\ & =ma{x}_{\pi }\sum _a\pi (a|s)q(s|a)s\in S\end{array}$$
因为${\sum }_a\pi (a|s)=1$，可得：
$$ma{x}_{\pi }\sum _a\pi (a|s)q(s|a)=ma{x}_{a\in \mathcal{A}(s)}q(s,a)$$
当策略最优时：
$$\pi (a|s)=\{\begin{array}{cc}1& a=a^{\ast }\\ 0& a\ne a^{\ast }\end{array}$$
其中：$a^{\ast }={\text{argmax}}_{a}q(s,a)$

BOE: Rewtite as $v=f(v)$

考虑矩阵形式Bellman最优等式：
$$\mathbf{v}=ma{x}_{\pi }({\mathbf{r}}_{\pi }+\gamma {\mathbf{P}}_{\pi }\mathbf{v})$$
使：
$$f(\mathbf{v}):=ma{x}_{\pi }({\mathbf{r}}_{\pi }+\gamma {\mathbf{P}}_{\pi }\mathbf{v})$$
那么，Bellman最优等式就变为：
$$\mathbf{v}=f(\mathbf{v})$$
其中：
$$[f(v){]}_s=ma{x}_{\pi }\sum _a\pi (a|s)q(s,a)s\in S$$

Contraction mapping theorem

Fixed Point：对于$x\in X$，如果其为$f:X\to X$的fixed point（不动点），那么其满足：
$$f(x)=x$$
Contraction Mapping(or Contraction Function)：$f$是contraction mapping，如果：
$$\Vert f(x_1)-f(x_2)\Vert \le \gamma \Vert x_1-x_2\Vert$$
其中，$\gamma \in (0,1)$

• $\gamma$必须严格小于1
• $\Vert \cdot \Vert$可以是任何向量形式

对于任何满足$x=f(x)$的等式形式，如果$f$是contractnon mapping，那么:

• Existence：存在一个fixed point，满足$f(x^{\ast })=x^{\ast }$
• Uniquencess：fixed point $x^{\ast }$是唯一的
• Algorithm：考虑序列 { x k } \{ x_k \} {xk​}，其中$x_{k+1}=f(x_k)$，那么当$k\to \infty$时$x_k\to x^{\ast }$。而且，收敛速度时指数级。

例：

• $x=0.5x$，其中$f(x)=0.5x$而且$x\in \mathbb{R}$。

  $x^{\ast }=0$是唯一的fixed point。其可以被迭代求解为：
  $$x_{k+1}=0.5x_k$$

• $x=Ax$，其中$f(x)=Ax$并且$x\in {\mathbb{R}}^n$，$\Vert A\Vert <1$。

  $x^{\ast }=0$是唯一的fixed point。其可以被迭代求解为:
  $$x_{k+1}=A{x}_k$$

BOE: Solution

考虑Bellman最优等式：
$$\mathbf{v}=f(\mathbf{v})=ma{x}_{\pi }(r+\gamma {\mathbf{P}}_{\pi }\mathbf{v})$$
Contraction Property：$f(v)$是contraction mapping 满足：
$$\Vert f(v_1)-f(v_2)\Vert \le \gamma \Vert v_1-v_2\Vert$$
其中，$\gamma$是discount rate。

对于BOE $\mathbf{v}=f(\mathbf{v})=ma{x}_{\pi }({\mathbf{r}}_{\pi }+\gamma {\mathbf{P}}_{\pi }\mathbf{v})$，其总存在一个最优解${\mathbf{v}}^{\ast }$，而且${\mathbf{v}}^{\ast }$是唯一的。最优解可以被迭代求解为：
$${\mathbf{v}}_{k+1}=f({\mathbf{v}}_k)=ma{x}_{\pi }({\mathbf{r}}_{\pi }+\gamma {\mathbf{P}}_{\pi }{\mathbf{v}}_k)$$
给定任何初始猜测 $v^0$，该序列$v_k$都会以指数速度快速收敛到 $v^{\ast }$。 收敛速度由$\gamma$决定。

迭代算法：

对于矩阵形式的Bellman最优等式：
$${\mathbf{v}}_{k+1}=f({\mathbf{v}}_k)=ma{x}_{\pi }({\mathbf{r}}_{\pi }+\gamma {\mathbf{P}}_{\pi }{\mathbf{v}}_k)$$
其元素形式为：
$$\begin{array}{rl}{v}_{k+1}(s)& =ma{x}_{\pi }\pi (a|s)\left(\sum _{r}p(r|s,a)+\gamma \sum _{s^{\prime }}p(s^{\prime }|s,a)v_k(s^{\prime })\right)\\ & =ma{x}_{\pi }\sum _a\pi (a|s)q_k(s,a)\\ & =ma{x}_a{q}_k(s,a)\end{array}$$
Procedure Summary：

• 对于任何$s$，其最近估计值为$v_k(s)$

• 对于任何$a\in \mathcal{A}(s)$，计算$q_k(s,a)={\sum }_{r}p(r|s,a)+\gamma {\sum }_{s^{\prime }}p(s^{\prime }|s,a)v_k(s^{\prime })$

• 对$s$计算policy ${\pi }_{k+1}$：
  $${\pi }_{k+1}(a|s)=\{\begin{array}{cc}1& a=a_k^{\ast }(s)\\ 0& a\ne a_k^{\ast }(s)\end{array}$$
  其中，$a_k^{\ast }(s)={\text{argmax}}_a{q}_k(s,a)$

• 计算$v_{k+1}(s)={\text{max}}_a{q}_k(s,a)$

例：

对于下图：

action：$a_{\ell },a_0,a_r$分别代表向左、保持不变，向右。

reward：进入target area：+1，试图突破边界：-1。

$q(s,a)$值表：

考虑$\gamma =0.9$

算法目标是发现$v^{\ast }(s_i)$和${\pi }^{\ast }$。

k=0：

v-value：$v_0(s_1)=v_0(s_2)=v_0(s_3)=0$

q-value：

greedy policy:
$$\begin{gathered} \pi (a_r|s_1)=1 \\ \pi (a_0|s_2)=1 \\ \pi (a_{\ell }|s_3)=1 \end{gathered}$$

BOE: Optimality

假设$v^{\ast }$是Bellman最优等式的解，其满足：
$${\mathbf{v}}^{\ast }=ma{x}_{\pi }({\mathbf{r}}_{\pi }+\gamma {\mathbf{P}}_{\pi }{\mathbf{v}}^{\ast })$$
假设：
$${\pi }^{\ast }={\text{argmax}}_{\pi }({\mathbf{r}}_{\pi }+\gamma {\mathbf{P}}_{\pi }{\mathbf{v}}^{\ast })$$
那么：
$${\mathbf{v}}^{\ast }={\mathbf{r}}_{\pi }-\gamma {\mathbf{P}}_{{\pi }^{\ast }}{\mathbf{v}}^{\ast }$$
因此，${\pi }^{\ast }$是策略，$v^{\ast }=v_{\pi }^{\ast }$是对应的state value。

Theorem (Policy Optimality)：

假设 $v^* $是 $v=max\pi (r_{\pi }+\gamma P_{\pi }v)$的唯一解，$v_{\pi }$ 是对于任何给定policy $\pi$ 满足$v_{\pi }=r_{\pi }+\gamma P_{\pi }{v}_{\pi }$ 的state value函数，则：
$$v^{\ast }\ge v_{\pi }\forall \pi$$
Theorem (Greedy Optimal Policy)：

对于任何$s\in S$，确定的greedy policy是：
$${\pi }^{\ast }(a|s)=\{\begin{array}{cc}1& a=a^{\ast }(s)\\ 0& a\ne a^{\ast }(s)\end{array}(1)$$
是BOE求得的最优policy。其中：
$$a^{\ast }(s)={\text{argmax}}_a{q}^{\ast }(a,s)$$
其中$q^{\ast }(s,a):={\sum }_{r}p(r|s,a)+\gamma {\sum }_{s^{\prime }}p(s^{\prime }|s,a)v^{\ast }(s^{\prime })$

Analyzing optimal policies

考虑BOE等式：
$$v(s)=ma{x}_{\pi }\pi (a|s)\left(\sum _{r}p(r|s,a)+\gamma \sum _{s^{\prime }}p(s^{\prime }|s,a)v_k(s^{\prime })\right)$$
有三个要素：

• Reward: $r$
• System model：$p(s^{\prime }|s,a)$，$p(r|s,a)$
• Discount rate: $\gamma$
• $v(s),v(s^{\prime }),\pi (a|s)$是未知需要计算的。

接下来，通过改变$r$和$\gamma$来讨论optimal policy的变化。

通过求解BOE得到最优policy和对应的最优state value。

敢于冒险的最优策略：进入forbidden area！

改变 $\gamma =0.9$ 到 $\gamma =0.5$

最优policy变得短视！ 避开所有forbidden area！

改变$\gamma =0$

最优policy变得极其短视！ 另外，选择立即reward最大的行动！ 达不到目标！

如果加大进入forbidden area的处罚力度（改变$r_{forbidden=-1}$到$r_{forbidden}=-10$）

最优的政策也会避开forbidden area。

Theorem （Optimal Policy Invariance）：

考虑一个马尔可夫决策过程，其中 $v^{\ast }\in {\mathbb{R}}^{|S|}$作为满足 $v\ast =ma{x}_{\pi }(r_{\pi }+\gamma P_{\pi }{v}^{\ast })$的最优状态值。如果每个奖励$r$通过仿射变换变为$ar+b$，其中$a,b\in \mathbb{R}$且$a\ne 0$，则对应的最优状态值$v^{\prime }$也是$v^{\ast }$的仿射变换。
$$v^{\prime }=a{v}^{\ast }+\frac{b}{1-\gamma }1$$
其中，$\gamma \in (0,1)$是discount rate，$1=[1,...,1{]}^T$。因此，最优policy对于reward信号的仿射变换是不变的。

关于无意义绕路：

走弯路不施加惩罚也可以避免优化过程中走弯路。

discount rate!

$\text{Policy}(a):\text{return}=1+\gamma 1+{\gamma }^{2}1+\cdots =1/(1-\gamma )=10$

$\text{Policy(b)}:\text{return}=0+\gamma 0+{\gamma }^{2}0+\cdots ={\gamma }^2/(1-\gamma )=8.1$

以上内容为B站西湖大学智能无人系统 强化学习的数学原理 公开课笔记。