行動価値

• ある状態のときにある行動をしたとき、から方策$\pi$に従って行動を決定していったときに得られる収益の期待値

  • ここでのある行動は方策$\pi$とは関係ない
  • 行動価値関数$Q^{\pi }(s,a)$は $Q^{\pi }(s,a)=\mathbb{E}[G_t|S_t=s,A_t=a]$

• 行動価値関数の推定

  • [状態価値関数]のときと同様に考える
    • つまり収益として$G_t={\sum }_{\tau =0}^{\infty }{\gamma }^{\tau }{R}_{t+1+\tau }=R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\cdots$を考える
  • 行動価値は $Q^{\pi }(s,a)={\sum }_{s^{\prime }}P(s^{\prime }|s,a)(r(s,a,s^{\prime })+\gamma V^{\pi }(s^{\prime }))$
  • と書ける
    • ここで$P(s^{\prime }|s,a)$は状態遷移確率である
    • $V^{\pi }$は状態価値関数である
  • また行動価値を使うことで状態価値関数をしたのように書くことができる $V^{\pi }(s)={\sum }_a\pi (a|s){\sum }_{s^{\prime }}P(s^{\prime }|s,a)(r(s,a,s^{\prime })+\gamma V^{\pi }(s^{\prime }))$ $={\sum }_a\pi (a|s)Q^{\pi }(s,a)$
  • 行動価値関数のベルマン方程式は下のように書ける $Q^{\pi }(s,a)={\sum }_{s^{\prime }}P(s^{\prime }|s,a)(r(s,a,s^{\prime })+\gamma V^{\pi }(s^{\prime }))$