《深度强化学习实战》第三章读书摘要

ddllxxrr

《深度强化学习实战》第三章读书摘要 [复制链接]

状态 是智能体收到的用于决定采取什么动作的信息，可以是电子游戏的原始像素、自动驾驶汽车的传感器数据，也可以是Gridworld中代表网格上所有对象位置的张量。

策略（表示为派）是智能体在收到一个状态时所遵揗的对策。

奖励 是智能体在采取动作后得到的反馈，会产生一个新状态。

 

17. learning的主要思相是，算法预测一个状态-动作对的值，然后将该预测值与稍后观察到的累积奖励进行比较并更新算法的参数，以便下次做出更好的预测。

 

 

Q-learning本身与深度学习或神经网络无关，它是一种抽象的数学结构，指的是通过学习一个名为Q函数的函数来解决控制任务。向Q函数提供一个状态（例如一个游戏状态），它会预测在给定输入状态下可能采取的所有可能动作的价值大小，我们将这些预测值称为Q值。

 

 

本章有点乱但小结总结的不错：

状态空间：是环境可能处于的所有可能状态的集合。状态通常被编码为张量，所以状态空间可能是一枪战类型为R（n次方）或R（n*m）的矩阵。

动作空间：是给定状态下所有可能动作的集合。例如，象棋游戏的动作空间将是给定某个游戏状态下所有符合规则走法的集合。

状态-价值：是在遵循某个策略的情况下某个状态的期望贴现奖励总和。

动作-价值：是在特定状态下采取某个动作的期望奖励，它是状态-动作对应的值。

策略函数：是将状态映射到动作的函数，可用于决定在给定某个输入状态时应该采取哪个动作。

Q函数是一个接收状态-动作并返回动作-价值的函数。

18. learning是强化学习的一程形式，其中我们试图对Q函数进行建模。

深度Q网络（DQN）只是使用深度学习算法作为Q-learning模型的情况。

 

 

 

 

lugl4313820

这个要有一定基础的才能看懂呀，特别是线性代数要学好。

chejm

希望楼主整体 介绍下这本书的内容，参考是否有购买价值

ddllxxrr

chejm 发表于 2023-11-6 15:19 希望楼主整体 介绍下这本书的内容，参考是否有购买价值

咋说呢，这本书是老外写的，有些地方看不懂 。有些例子举的不是中国人能接受的。再有就是PYTHON要求精通级。数学公式也多。反正有点高难。但是人家请得比国内的，我觉得，能讲得透彻一点。