本书对增强学习与近似动态规划的理论、算法及应用进行了深入研究和论述。主要内容包括：求解Markov链学习预测问题的时域差值学习算法和理论，求解连续空间Markov决策问题的梯度增强学习算法以及进化-梯度混合增强学习算法，基于核的近似动态规划算法，增强学习在移动机器人导航与控制中的应用等。本书是作者在多个国家自然科学基金项目资助下取得的研究成果的总结，意在推动增强学习与近似动态规划理论与应用的发展，对于智能科学的前沿研究和智能学习系统的应用具有重要的科学意义。本书可作为高等院校与科研院所中从事人工智能与智能信息处理、机器人与智能控制、智能决策支持系统等专业领域的研究和教学用书，也可作为自动化、计算机与管理学领域其他相关专业师生及科研人员的参考书。

《智能科学技术著作丛书》序
前言
章绪论
1．1引言
1．2增强学习与近似动态规划的研究概况
1．2．1增强学习研究的相关学科背景
1．2．2增强学习算法的研究进展
1．2．3增强学习的泛化方法与近似动态规划
1．2．4增强学习相关理论研究与多Agent增强学习
1．2．5增强学习应用的研究进展
1．3移动机器人导航控制方法的研究现状和发展趋势
1．3．1移动机器人体系结构的研究进展
1．3．2移动机器人反应式导航方法的研究概况
1．3．3移动机器人路径跟踪控制的研究概况
1．4全书的组织结构
参考文献
第2章线性时域差值学习理论与算法
2．1Markov链与多步学习预测问题
2．1．1Markov链的基础理论
2．1．2基于Markov链的多步学习预测问题
2．2TD（λ）学习算法
2．2．1表格型TD（λ）学习算法
2．2．2基于值函数逼近的TD（λ）学习算法
2．3多步递推最小二乘TD学习算法及其收敛性理论
2．3．1多步递推最小二乘TD（RLS-TD（λ）》学习算法
2．3．2RLS-TD（λ）学习算法的一致收敛性分析
2．4多步学习预测的仿真研究
2．4．1HopWorld问题学习预测仿真
2．4．2连续状态随机行走问题的学习预测仿真
2．5小结
参考文献
第3章基于核的时域差值学习算法
3．1核方法与基于核的学习机器
3．1．1核函数的概念与性质
3．1．2再生核Hilbert空间与核函数方法
3．2核最小二乘时域差值学习算法
3．2．1线性TD（λ）学习算法
3．2．2KLS-TD（λ）学习算法
3．2．3学习预测实验与比较
3．3小结
参考文献
第4章求解Markov决策问题的梯度增强学习算法
4．1Markov决策过程与表格型增强学习算法
4．1．1Markov决策过程及其最优值函数
4．1．2表格型增强学习算法及其收敛性理论
4．2基于改进CMAC的直接梯度增强学习算法
4．2．1CMAC的结构
4．2．2基于CMAC的直接梯度增强学习算法
4．2．3两种改进的CMAC编码结构及其应用实例
4．3基于值函数逼近的残差梯度增强学习算法
4．3．1多层前馈神经网络函数逼近器与已有的梯度增强学习算法
4．3．2非平稳策略残差梯度（RGNP）增强学习算法
4．3．3RGNP学习算法的收敛性和近似最优策略性能的理论分析
4．3．4Mountain-Car问题的仿真研究
4．3．5Acrobot学习控制的仿真研究
4．4求解连续行为空间Markov决策问题的快速AHC学习算法
4．4．1AHC学习算法与Actor-Critic学习控制结构
4．4．2Fast-AHC学习算法
4．4．3连续控制量条件下的倒立摆学习控制仿真研究
4．4．4连续控制量条件下Acrobot系统的学习控制
4．5小结
参考文献
第5章求解Markov决策问题的进化-梯度混合增强学习算法
5．1进化计算的基本原理和方法
5．1．1进化计算的基本原理和算法框架
5．1．2进化算法的基本要素
……
第6章基于核的近似动态规划算法与理论
第7章基于增强学习的移动机器人反应式导航方法
第8章RL与ADP在移动机器人运动控制中的应用
第9章总结与展望