第1章 馬爾可夫決策理論簡介 1
1.1 序列決策問題 1
1.2 馬爾可夫過程定義 2
1.3 馬爾可夫決策理論表示方法 4
1.4 馬爾可夫決策過程問題分類 7
第2章 有限階段問題 8
2.1 有限階段問題概述與逆推歸納法 8
2.2 動態規劃理論 12
2.3 相關例題與講解 15
第3章 折扣成本問題 20
3.1 折扣成本問題的引入 20
3.2 貝爾曼方程與動態規劃算子 21
3.3 數值迭代算法與解的存在性 23
3.4 貝爾曼方程解的唯一性 29
3.5 策略迭代算法 30
3.6 平穩策略*優化 35
第4章 平均成本問題 36
4.1 問題描述與問題轉化 36
4.2 平均成本問題的*優策略 38
4.3 與折扣成本問題的關系 39
第5章 Q學習 46
5.1 異步數值迭代與實時數值迭代 46
5.2 探索-利用權衡 47
5.3 Q函數與Q學習算法 49
5.4 Q學習算法的收斂性分析 50
5.5 Q學習的應用實例 51
第6章 線性規劃方法 55
6.1 貝爾曼方程求解的線性規劃表述 55
6.2 線性規劃問題的對偶形式 56
6.3 近似線性規劃 58
6.4 應用實例 61
第7章 隱馬爾可夫模型 66
7.1 隱馬爾可夫模型簡介 66
7.2 隱馬爾可夫模型動力學 67
7.3 前向算法 69
7.4 后向算法 74
7.5 維特比算法 78
第8章 部分可觀測馬爾可夫決策過程 85
8.1 HMM濾波 85
8.2 有限階段POMDP問題 86
8.3 POMDP的信念空間表述 88
8.4 機器更換的POMDP示例 90
8.5 有限觀測狀態的有限階段POMDP求解方法介紹 93
8.5.1 精確算法：逐步剪枝 94
8.5.2 Lovejoy次優算法 95
第9章 應用案例介紹 97
9.1 災難中的人員疏散問題 97
9.2 基于馬爾可夫過程和SEIR模型的傳染病預測 100
9.2.1 模型分析 101
9.2.2 數據來源及參數 102
9.2.3 結果分析 104
9.2.4 不足與改進 106
9.3 貧困縣精準扶貧資源分配優化 107
9.3.1 精準扶貧解析 107
9.3.2 模型假設 108
9.3.3 模型構建 108
9.3.4 算例驗證 110
9.4 基于馬爾可夫決策過程的國家撤僑方案設計 112
9.4.1 撤僑模型的建立步驟 113
9.4.2 利比亞撤僑問題的MATLAB(r) 仿真 117
9.4.3 結論與總結 120
第10章 其他常用算法介紹 122
10.1 貪婪算法 122
10.2 分治算法 123
10.3 回溯法 124
10.4 分支限界法 125
10.5 大數據決策方法概述 128
附錄 數學基礎補充內容 129
參考文獻 131