目錄
《大數據與數據科學專著系列》序
前言
主要符號表
第1章 深度神經網絡與學習理論 1
1.1 機器學習及其三要素 2
1.2 深度神經網絡 3
1.3 學習理論 6
1.4 深度神經網絡的學習理論問題 10
1.5 文獻導讀 13
第2章 淺層神經網絡的逼近理論 15
2.1 淺層神經網絡的稠密性.15
2.2 淺層神經網絡逼近的復雜性與優越性 18
2.3 淺層神經網絡逼近的局限性 22
2.4 相關證明 26
2.5 文獻導讀 40
第3章 深度的必要性 43
3.1 函數逼近中深度的作用.43
3.2 深度與寬度對神經網絡覆蓋數的影響 45
3.3 深度的必要性.49
3.4 深度神經網絡的*優泛化性 51
3.5 數值實驗 53
3.6 相關證明 55
3.7 文獻導讀 69
第4章 深度全連接神經網絡的學習理論 72
4.1 深度全連接神經網絡的性質 72
4.2 深度全連接神經網絡的適用性 75
4.3 數據規模在深度學習中的作用 80
4.4 數值實驗 84
4.5 相關證明 87
4.6 文獻導讀 102
第5章 深度稀疏連接神經網絡的學習理論 104
5.1 稀疏連接神經網絡 104
5.2 深度稀疏連接神經網絡的性質.108
5.3 深度選擇與深度-參數平衡現象 111
5.4 深度稀疏連接神經網絡的構造 115
5.5 數值實驗 118
5.6 相關證明 121
5.7 文獻導讀 133
第6章 深度卷積神經網絡的學習理論 136
6.1 卷積神經網絡 136
6.2 零填充在卷積神經網絡中的作用 141
6.3 池化的作用 143
6.4 卷積神經網絡的逼近與學習性能 147
6.5 數值實驗 149
6.6 相關證明 152
6.7 文獻導讀 164
第7章 過參數化神經網絡的學習理論 167
7.1 過參數化神經網絡 167
7.2 全局極小解的分布與性質 169
7.3 過參數化神經網絡的泛化性能 171
7.4 數值實驗 174
7.5 相關證明 177
7.6 文獻導讀 185
參考文獻 187
《大數據與數據科學專著系列》已出版書目 195