【强化学习的数学原理】课程视频/书籍/PPT

W. O8 F/ k5 ?$ P2 z* A+ u( e

经过漫长的准备，【强化学习的数学原理】这个课程的视频+书籍+PPT终于都上线了！链接在文末。

下面我来介绍一下这门课程。

. {; u0 ?4 \% `2 x

这门课程从零开始、从数学角度、结合大量例子、循序渐进地揭示强化学习的本质原理。

% e! o1 d$ e' ^+ ]# G

如果你学习的时候喜欢刨根问底、追求“知其然并知其所以然”，相信这个课程能很好地帮助你透彻理解强化学习！

1. 开发这个课程的初衷

2 a5 q5 x& ]% I* F) M: l9 [# ~

1）从我2019年第一次在西湖大学讲授强化学习的课程，到现在已经是第四次了。在这个过程中，得到了大量的反馈、积累了许多的经验，最终形成了现在的内容和书籍。

2）强化学习入门难吗？即使你有机器学习或者深度学习的基础，即使你有自动控制理论的基础，想要入门强化学习并非易事！

3）虽然现在关于强化学习的资料有很多，我个人感觉现有的书籍要么倾向于直观解释（例如Sutton和Barto的书），要么数学和专业性过强（例如Bertsekas的书）。

5 V2 d) v( C' K+ E* v- ?

4）我开发这门课的目的：一方面，从数学的角度去介绍强化学习，让读者“知其然也知其所以然；另一方面，对零基础初学者友好，从最基本的概念开始、生动易懂、循序渐进。

2. 这个课程是否适合你？

- Z x# }! u) y$ H0 H

这个课程融入了我很多的心思，和很多其它中英文课程有较大不同。你可以看看这门课是否适合你。

1）这门课不要求读者有任何强化学习的背景知识。因为它会从最基本的概念开始介绍，配上丰富的例子，相信它能在让你“快速”入门的同时也能明了许多概念算法的原理。如果读者已经有了一定的强化学习背景，相信它也能给你带来新的理解。

- `( Y6 a+ d5 Y( `

2）这门课从数学角度介绍强化学习，从而帮助读者“知其然更知其所以然”。强化学习的数学性较强，如果不讲数学，很多时候看似懂了但经不起推敲。相反，如果从数学角度开始学习，看似是笨办法，实则是透彻理解强化学习的捷径。我也相信许多读者也有过这样的体会：千言万语的文字描述有时候比不上一个数学公式能让人理解深刻。

# ]# Y. S& ?1 X- _% ~- F" \

3）本书更多关注“原理”而不是“编程”，帮助大家透彻理解概念和算法的原理。如果大家对编程实现感兴趣，可以参考很多已有的精彩的学习资料，这里就不再重复造轮子了。

% h2 c$ A: [8 V9 v- z+ g, C

3. 课程内容概览

) U6 d9 M5 F$ E8 S

强化学习的系统性也很强，许多概念一环扣一环。要想深入的理解强化学习，要从最基础的概念出发，一点一滴的学习。

4 n2 d S' H, |4 s! [* r' C

下图是整个课程的“地图”，也是我的书中的一幅插图，展示了各个部分及其之间的关系。

9 ~2 Q, g5 {1 b( p" w+ v& S, n

' j8 e* c: V( I1 u6 _+ y9 U0 \

4. 作者简介

赵世钰是西湖大学工学院特聘研究员、博士生导师、智能无人系统实验室负责人、国家海外高层次人才引进计划（青年项目）获得者。他本硕毕业于北京航空航天大学，博士毕业于新加坡国立大学。他2019年回国加入西湖大学工学院，回国之前在英国谢菲尔德大学自动控制与系统工程系担任讲师和博士生导师。更多信息请参见实验室网站https://shiyuzhao.westlake.edu.cn或者个人网页www.shiyuzhao.net（GoogleSite）。

5. 写在最后

0 h- p4 ~3 ]: m; f, V' m3 v

在准备这些材料的过程中，真正体会到了什么是呕心沥血。从这本书里的每一句话、每一个图、每一个公式，到课程视频的剪辑、字幕的制作、再到PPT的制作、甚至设计护眼背景色等等细节，力求让同学们能有最好的学习体验。在这个过程中要感谢我的许多学生的给力帮助。

希望这门课程能够真正的帮助大家跨过强化学习的门槛，进入到这个有趣而生机勃勃的领域！

% J9 ?% V; d& M; a1 x

6. 部分网友留言

1 f& n; |' ` f: n1 e5 B9 n3 I

也许网友的留言更具有参考性。这是部分来自B站视频的留言。

0 [$ H" r1 c0 J3 J

* h8 n- C; x2 l

7. 本课程相关资料汇总

课程视频网址（B站） 课程视频网址（知乎学习专区）书籍PDF和PPT下载网址（GitHub）书籍的介绍（知乎）赵世钰老师知乎个人网页西湖大学实验室网站 2 l/ o0 R' }9 \$ G & A, f$ Q6 }6 L6 K ; Z0 |; P K; j/ m" E