基于函数逼近的强化学习与动态规则 本书特色

本书讨论大规模连续空间的强化学习理论及方法，重点介绍使用函数逼近的强化学习和动态规划方法。该研究已成为近年来计算机科学与技术领域中*活跃的研究分支之一。 全书共分6 章。第1 章为概述；第2 章为动态规划与强化学习介绍；第3 章为大规模连续空间中的动态规划与强化学习；第4 章为基于模糊表示的近似值迭代；第5 章为用于在线学习和连续动作控制的近似策略迭代；第6 章为基于交叉熵基函数优化的近似策略搜索。 本书可以作为理工科高等院校计算机专业和自动控制专业研究生的教材，也可以作为相关领域科技工作者和工程技术人员的参考书。

基于函数逼近的强化学习与动态规则 内容简介

1.本书针对连续变化的控制问题，重点集中在近似动态规划（DP）和强化学习（RL）方面。给出了DP和RL问题及其解的形式化描述，给出了带函数逼近的DP和RL方法的一个扩展的解释，对带模糊逼近的值迭代算法进行了讨论，专业性很强。 2.本书在国际同行中具有很高知名度，一度被很多国家作为研究生和工程师的技术教程，影响力很大。 3.强化学习成为了目前人工智能方向的研究热点，尤其是将强化学习应用于实际项目中，成为通用人工智能（GAI）研究的主要思路。

基于函数逼近的强化学习与动态规则 目录

目 录

第 1章 概述 1
1.1 动态规划与强化学习问题 2
1.2 动态规划与强化学习中的逼近 5
1.3 关于本书 7

第 2章 动态规划与强化学习介绍 9
2.1 引言 9
2.2 马尔可夫决策过程 12
2.2.1 确定性情况 12
2.2.2 随机性情况 16
2.3 值迭代 20
2.3.1 基于模型的值迭代 20
2.3.2 模型无关的值迭代与探索的必要性 25
2.4 策略迭代 27
2.4.1 基于模型的策略迭代 28
2.4.2 模型无关的策略迭代 33
2.5 策略搜索 35
2.6 总结与讨论 38

第3章 大规模连续空间中的动态规划与强化学习 40
3.1 介绍 40
3.2 大规模连续空间中近似的必要性 43
3.3 近似框架 45
3.3.1 带参近似 45
3.3.2 无参近似 48
3.3.3 带参与无参逼近器的比较 49
3.3.4 附注 50
3.4 近似值迭代 51
3.4.1 基于模型的带参近似值迭代算法 51
3.4.2 模型无关的带参近似值迭代算法 54
3.4.3 无参近似值迭代算法 58
3.4.4 非扩张近似的作用及收敛性 59
3.4.5 实例：用于直流电机的近似Q值迭代 62
3.5 近似策略迭代 67
3.5.1 用于近似策略评估的类值迭代算法 68
3.5.2 基于线性带参近似的模型无关策略评估 70
3.5.3 基于无参近似的策略评估 80
3.5.4 带回滚的基于模型的近似策略评估 80
3.5.5 策略改进与近似策略迭代 81
3.5.6 理论保障 84
3.5.7 实例：用于直流电机的*小二乘策略迭代 86
3.6 自动获取值函数逼近器 90
3.6.1 基函数*优化方法 91
3.6.2 基函数构造 93
3.6.3 附注 95
3.7 近似策略搜索 95
3.7.1 策略梯度与行动者-评论家算法 96
3.7.2 梯度无关的策略搜索 101
3.7.3 实例：用于直流电机问题的梯度无关策略搜索 103
3.8 近似值迭代、近似策略迭代及近似策略搜索算法的比较 106
3.9 总结与讨论 108

第4章 基于模糊表示的近似值迭代 110
4.1 引言 110
4.2 模糊Q值迭代 112
4.2.1 模糊Q值迭代的近似和投影映射 112
4.2.2 同步和异步模糊Q值迭代 116
4.3 模糊Q值迭代的分析 119
4.3.1 收敛性 119
4.3.2 一致性 126
4.3.3 计算复杂度 131
4.4 优化隶属度函数 132
4.4.1 隶属度函数优化的一般方法 132
4.4.2 交叉熵优化 133
4.4.3 基于交叉熵隶属度函数优化的模糊Q值迭代 135
4.5 实验研究 137
4.5.1 直流电机：收敛性和一致性研究 137
4.5.2 双连杆机械臂：动作插值的效果以及与拟合Q值迭代的比较 142
4.5.3 倒立摆：实时控制 146
4.5.4 过山车：隶属度函数优化的效果 149
4.6 总结与讨论 152

第5章 用于在线学习和连续动作控制的近似策略迭代 154
5.1 引言 154
5.2 *小二乘策略迭代的概述 155
5.3 在线*小二乘策略迭代 157
5.4 使用先验知识的在线LSPI 161
5.4.1 使用策略近似的在线LSPI 161
5.4.2 具有单调策略的在线LSPI 162
5.5 采用连续动作、多项式近似的LSPI 165
5.6 实验研究 167
5.6.1 用于倒立摆的在线LSPI 167
5.6.2 用于双连杆机械臂的在线LSPI 178
5.6.3 使用直流电机先验知识的在线LSPI 181
5.6.4 在倒立摆中使用带有连续动作逼近器的LSPI 183
5.7 总结与讨论 187

第6章 基于交叉熵基函数优化的近似策略搜索 189
6.1 介绍 189
6.2 交叉熵优化方法 190

 1/2    1 2 下一页 尾页

自然科学 数学 函数

在线阅读