【強化学習】ベルマン期待方程式 - 2手先を読んで価値を算出【強化学習の基礎方程式】RL vol. 9 #166 #VRアカデミア #ReinforcementLearning

高評価: 262件

再生: 12,391回

公開日: 2023年12月22日

難解なベルマン方程式も「2手先を読む」という観点で見ればスッキリ！VからQ、QからVの1手先の方程式と合わせてどうぞ！
このベルマン期待方程式は、学習でめちゃ使うので、ここで押さえておきましょう！

1:25の行動価値関数のベルマン方程式から割引率γが抜けていました。正しいものは36:17頃のまとめにあります。
26:55の状態価値関数のベルマン方程式、36:20の行動価値関数の1手先の未来の式から、p(r | s, a) のあとの r が抜けていました。
動画内の誤り一覧 http://bit.ly/error_asp

【プレイリスト】
https://www.youtube.com/playlist?list=PLhDAH9aTfnxI1OywfnxXCDTWGtYL2NxJR

【目次】
0:00 イントロ
1:04 ベルマン期待方程式とは
2:57 記号の復習
9:57 ベルマン方程式の正体に迫る
11:32 ステップ１：状態の次は行動
15:27 ステップ２：行動の次は報酬と次の状態
20:27 γが入る理由
26:07 ステップ３：いざベルマン方程式！
30:40 数学的証明
36:17 まとめ
38:54 エンディングトーク

【紹介した過去動画】
TBA

【参考文献】
分析モデル入門
https://amzn.to/3Ng0nC7
私の本！　この動画シリーズは、この第3部強化学習の内容を動画向けにアレンジ、大幅追加、大幅削除したものです。
合わせてみていただくと分かり易いかと！

強化学習（第2版）
https://amzn.to/3K4QsR8
Sutton 先生の「強化学習」本の和訳です。分厚いですが、時間があり、基礎をしっかり学びたい人におすすめ！
ちなみに、英語版は公式で pdf もダウンロードできます → http://incompleteideas.net/book/

強化学習 (機械学習プロフェッショナルシリーズ)
https://amzn.to/44R2XYr
理論家向けの方にはこちら！
しっかりと数式が解説されており、基礎の理論をしっかりと学ぶことができます。

機械学習スタートアップシリーズ Pythonで学ぶ強化学習
https://amzn.to/3XYDrOM
手を動かしながら学びたい人向け！
サンプルコードとともに、基礎的な強化学習アルゴリズムを学べます！

将棋AIで学ぶディープラーニング
https://www.amazon.co.jp/dp/B07B7JJ929
強化学習というと、将棋 AI を思い浮かべる人も少なくないはず！
そういう人におすすめ！
将棋 AI 向けの強化学習は、他の参考文献にある方法とはかなり異なる方法で作られます。
将棋を目指す方は、ぜひこれを見てみてください！
更に強いのを作るならこれ → https://amzn.to/3pU1aDa

強化学習の基礎と深層強化学習
https://www.slideshare.net/ShotaImai3/rlssdeepreinforcementlearning
合間に広告が貼ることが極めて重い欠点ですが、内容は素晴らしく、全体感を見渡すことができます。

【宣伝：本も買ってね！】
データサイエンスに頻出の分析モデルを、全領域、深く、書きあげました！
本質を捉えたデータ分析のための分析モデル入門 https://amzn.to/3Ng0nC7

【終わりに】
ご視聴ありがとうございました！
面白かったら高評価、チャンネル登録お願いします。
動画の質問、感想などは、コメント欄や Twitter にどうぞ！
お仕事、コラボのご依頼は、公式 WebPage や Twitter の DM からお願い致します。

AIcia Solid Project - Official Website - https://sites.google.com/view/aicia-official/top
動画生成：AIcia Solid (Twitter: https://twitter.com/AIcia_Solid/ )
動画編集：AIbis Solid (妹)

=======

Logo: ChikakoHorioさん ( https://twitter.com/ChikakoHorio )
Model: http://3d.nicovideo.jp/works/td44519
Model by: W01fa さん ( https://twitter.com/W01fa )