状態価値

• ある状態から方策$\pi$に従って行動を決定していったときに得られる収益の期待値

  • 状態価値関数$V^{\pi }(s)$は $V^{\pi }(s)=\mathbb{E}[G_t|S_t=s]$
  • ここで$G_t$は収益、$\pi$は方策
  • 状態価値関数としてVが使われるのはValueだからかな

• 状態価値関数の推定

  • 収益として割引報酬和を考える $G_t={\sum }_{\tau =0}^{\infty }{\gamma }^{\tau }{R}_{t+1+\tau }=R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\cdots$
  • とすると $V^{\pi }(s)=\mathbb{E}[{\gamma }^{\tau }{R}_{t+1+\tau }|S_t=s]$ $=\mathbb{E}[R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\cdots |S_t=s]$ $=\mathbb{E}[R_{t+1}|S_t=s]+\mathbb{E}[\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\cdots |S_t=s]$
    • 期待値の線形性より $=\mathbb{E}[R_{t+1}|S_t=s]+\gamma \mathbb{E}[R_{t+2}+\gamma R_{t+3}+\cdots |S_t=s]$
    • ここで2項目が$S_{t+1}=s$となってくれると$V^{\pi }(s^{\prime })$と書けてうれしい
      • $s^{\prime }=S_{t+1}$
    • 2項目は、 ${\sum }_a\pi (a|s){\sum }_{s^{\prime }}P(s^{\prime }|s,a)\gamma \mathbb{E}[R_{t+2}+\gamma R_{t+3}+\cdots |S_{t+1}=s^{\prime }]$ $={\sum }_a\pi (a|s){\sum }_{s^{\prime }}P(s^{\prime }|s,a)V^{\pi }(s^{\prime })$
    • ここで$P(s^{\prime }|s,a)$は状態遷移確率である
      • ある状態である行動をしたときに次の状態へ行く環境のダイナミクス部分
    • と書けて、1項目は $\mathbb{E}[R_{t+1}|S_t=s]={\sum }_a\pi (a|s){\sum }_{s^{\prime }}P(s^{\prime }|s,a)r(s,a,s^{\prime })$
    • なので、まとめると $V^{\pi }(s)={\sum }_a\pi (a|s){\sum }_{s^{\prime }}P(s^{\prime }|s,a)(r(s,a,s^{\prime })+\gamma V^{\pi }(s^{\prime }))$
    • と書ける。
  • これは状態価値関数におけるベルマン方程式と呼ぶ