方策勾配定理

• 方策をパラメータ$\theta$によってパラメタライズし、最適化を行う方法をするときに出てくる定理
• ${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{{\pi }_{\theta }}[{\nabla }_{\theta }\log {\pi }_{\theta }(a|s)Q^{\pi }(s,a)]$
  • ここでの期待値はs,aに関しての期待値を表している
  • 報酬として平均報酬の期待値を採用すると行動価値がちょっと変わってくるので注意