第 1章 神經網絡入門 1
1．1　對神經網絡的興趣 2
1．2　神經網絡所處的位置 4
1．3　關于神經網絡 6
1．4　神經網絡能做的事情 13
1．5　數學與編程 20
專欄　神經網絡的歷史 23

第 2章 學習正向傳播 29
2．1　先來學習感知機 30
2．2　感知機的工作原理 32
2．3　感知機和偏置 35
2．4　使用感知機判斷圖像的長邊 38
2．5　使用感知機判斷圖像是否為正方形 41
2．6　感知機的缺點 44
2．7　多層感知機 48
2．8　使用神經網絡判斷圖像是否為正方形 52
2．9　神經網絡的權重 55
2．10　激活函數 66
2．11　神經網絡的表達式 69
2．12　正向傳播 74
2．13　神經網絡的通用化 80
專欄　激活函數到底是什么 83

第3章 學習反向傳播 89
3．1　神經網絡的權重和偏置 90
3．2　人的局限性 92
3．3　誤差 95
3．4　目標函數 100
3．5　梯度下降法 107
3．6　小技巧：德爾塔 119
3．7　德爾塔的計算 130
3．7．1　輸出層的德爾塔 130
3．7．2　隱藏層的德爾塔 134
3．8　反向傳播 141
專欄　梯度消失到底是什么 145

第4章 學習卷積神經網絡 151
4．1　擅長處理圖像的卷積神經網絡 152
4．2　卷積過濾器 154
4．3　特征圖 162
4．4　激活函數 165
4．5　池化 167
4．6　卷積層 168
4．7　卷積層的正向傳播 176
4．8　全連接層的正向傳播 186
4．9　反向傳播 190
4．9．1　卷積神經網絡的反向傳播 190
4．9．2　誤差 192
4．9．3　全連接層的更新表達式 197
4．9．4　卷積過濾器的更新表達式 201
4．9．5　池化層的德爾塔 205
4．9．6　與全連接層相連的卷積層的德爾塔 207
4．9．7　與卷積層相連的卷積層的德爾塔 212
4．9．8　參數的更新表達式 217
專欄　交叉熵到底是什么 221

第5章 實現神經網絡 227
5．1　使用Python 實現 228
5．2　判斷長寬比的神經網絡 229
5．2．1　神經網絡的結構 232
5．2．2　正向傳播 234
5．2．3　反向傳播 239
5．2．4　訓練 244
5．2．5　小批量 250
5．3　手寫數字的圖像識別與卷積神經網絡 255
5．3．1　準備數據集 257
5．3．2　神經網絡的結構 263
5．3．3　正向傳播 266
5．3．4　反向傳播 278
5．3．5　訓練 286
專欄　后話 297

附錄
A．1　求和符號 302
A．2　微分 303
A．3　偏微分 307
A．4　復合函數 310
A．5　向量和矩陣 312
A．6　指數與對數 316
A．7　Python 環境搭建 319
A．8　Python 基礎知識 322