Preface

Notation

1 Introduction

  1.1 Motivational Examples

  1.2 Related Literature

  1.3 Outline

2 Control Models and Ergodicity

  2.1 The Controlled System

  2.2 Control Policies and Extended Generator

  2.3 Positive Recurrence and Ergodicity

  2.4 Conclusions

3 Basic Optimality Criteria

  3.1 Discounted Reward Criterion

  3.2 An LQ Example: Discounted Case

  3.3 A Pollution Accumulation Example

  3.4 Ergodic Reward Criterion

  3.5 An LQ System Example: Average Case

  3.6 A Pollution Accumulation Example

  3.7 Conclusions

4 Bias Optimality

 4.1 Preliminaries

 4.2 Existence of Bias Optimal Policies

 4.3 Overtaking Optimality

 4.4 Asymptotic Rate of Average Optimal Policies

 4.5 A Pollution Accumulation Example

 4.6 Conclusions

5 Sensitive-Discount Optimality

 5.1 m-Discount Optimality

 5.2 Poisson Equation and Average Reward HJB Equation

 5.3 Laurent Series

 5.4 Existence and Characterizations of m-Discount Optimal Policies

 5.5 Special Cases: m -- -1 and m = 0

 5.6 Blackwell Optimality

 5.7 A Pollution Accumulation Example

 5.8 Conclusions

6 Concluding Remarks

  References

  A Technical Complements

  Index

《无穷区间受控马氏切换扩散系统先进最优准则》编著者富恩特斯。

《无穷区间受控马氏切换扩散系统先进最优准则》内容提要：传统的随机控制在无界时间域所关心的问题是众所周知的折扣准则和平均准则或遍历准则。人们普遍认识到，这两个基本准则都有一定的不足。第一个准则集中在早期一段时间的系统行为，而第二个侧重于系统的渐近行为，没有考虑到有限时间的行为。折扣准则从某种意义忽略长时期的行为，而平均准则不能提供任何关于有限时间的性能。要克服这些缺点，人们设计了所谓的选择性或高级的准则。本书侧重于研究扩散切换系统选择性控制准则。随机控制的研究自开始以来，已经有许多关于无限时域控制系统。然而，选择准则的结果仍然是稀缺的。至今只有极少数的论文关住它。此外，最近的关于选择准则的文献都集中在马尔可夫决策过程，连续时间的马尔可夫链，控制扩散等。对马尔可夫切换扩散系统，相应工作仍处于起步阶段。面对需要，本书总结了一些最近的进展，并更新和扩展了已有的结果。

这本书是为控制工程师、运筹学家、应用数学家和任何需要考虑无限时域控制问题的人编写的。部分内容可以扩展到一个短期研究生课程。它也可以用作选择性控制准则及相关事宜的参考书。

《无穷区间受控马氏切换扩散系统先进最优准则》编著者富恩特斯。

本书侧重于研究扩散切换系统选择性控制准则。随机控制的研究自开始以来，已经有许多关于无限时域控制系统。然而，选择准则的结果仍然是稀缺的。至今只有极少数的论文关住它。此外，最近的关于选择准则的文献都集中在马尔可夫决策过程，连续时间的马尔可夫链，控制扩散等。对马尔可夫切换扩散系统，相应工作仍处于起步阶段。面对需要，本书总结了一些最近的进展，并更新和扩展了已有的结果。