掃一掃
關(guān)注中圖網(wǎng)
官方微博
包郵 破解深度學(xué)習(xí)(基礎(chǔ)篇):模型算法與實(shí)現(xiàn)
作者：瞿煒 著
開(kāi)本：
16開(kāi)
頁(yè)數(shù)：
264
本類(lèi)榜單：計(jì)算機(jī)/網(wǎng)絡(luò)銷(xiāo)量榜
本類(lèi)五星書(shū)更多>
-
>
全國(guó)計(jì)算機(jī)等級(jí)考試最新真考題庫(kù)模擬考場(chǎng)及詳解·二級(jí)MSOffice高級(jí)應(yīng)用
-
>
決戰(zhàn)行測(cè)5000題(言語(yǔ)理解與表達(dá))
-
>
軟件性能測(cè)試.分析與調(diào)優(yōu)實(shí)踐之路
-
>
第一行代碼Android
-
>
JAVA持續(xù)交付
-
>
EXCEL最強(qiáng)教科書(shū)(完全版)(全彩印刷)
-
>
深度學(xué)習(xí)
中圖價(jià):¥76.9
加入購(gòu)物車(chē)
破解深度學(xué)習(xí)(基礎(chǔ)篇):模型算法與實(shí)現(xiàn) 版權(quán)信息
- ISBN：9787115646194
- 條形碼：9787115646194 ; 978-7-115-64619-4
- 裝幀：平裝-膠訂
- 冊(cè)數(shù)：暫無(wú)
- 重量：暫無(wú)
- 所屬分類(lèi)：>
破解深度學(xué)習(xí)(基礎(chǔ)篇):模型算法與實(shí)現(xiàn) 本書(shū)特色
1.B站知名人工智能垂直類(lèi)博主梗直哥創(chuàng)作，基于全網(wǎng)累計(jì)播放百萬(wàn)次的人工智能系列視頻和課程編寫(xiě)。
2.配套視頻（原付費(fèi)內(nèi)容）助力學(xué)習(xí)，提升學(xué)習(xí)效率，講解深度學(xué)習(xí)背后的基礎(chǔ)知識(shí)。
3.涵蓋當(dāng)前深度學(xué)習(xí)的熱點(diǎn)領(lǐng)域，從理論到實(shí)戰(zhàn)全方位展開(kāi)，全面解除前沿技術(shù)。
4.知乎、B站、公眾號(hào)、知識(shí)星球等設(shè)有交流互動(dòng)渠道，針對(duì)不同讀者群體提供不的教學(xué)內(nèi)容和方法。
破解深度學(xué)習(xí)(基礎(chǔ)篇):模型算法與實(shí)現(xiàn) 內(nèi)容簡(jiǎn)介
本書(shū)旨在采用一種符合讀者認(rèn)知角度且能提升其學(xué)習(xí)效率的方式來(lái)講解深度學(xué)習(xí)背后的基礎(chǔ)知識(shí)。 本書(shū)總計(jì)9章，深入淺出地介紹了深度學(xué)習(xí)的理論與算法基礎(chǔ)，從理論到實(shí)戰(zhàn)全方位展開(kāi)。前三章旨在幫助讀者快速入門(mén)，介紹了必要的數(shù)學(xué)概念和**工具的用法。后六章沿著深度學(xué)習(xí)的發(fā)展脈絡(luò)，從*簡(jiǎn)單的多層感知機(jī)開(kāi)始，講解了深度神經(jīng)網(wǎng)絡(luò)的基本原理、常見(jiàn)挑戰(zhàn)、優(yōu)化算法，以及三大典型模型（基礎(chǔ)卷積神經(jīng)網(wǎng)絡(luò)、基礎(chǔ)循環(huán)神經(jīng)網(wǎng)絡(luò)和注意力神經(jīng)網(wǎng)絡(luò)）。 本書(shū)系統(tǒng)全面，深入淺出，且輔以生活中的案例進(jìn)行類(lèi)比，以此降低學(xué)習(xí)難度，幫助讀者迅速掌握深度學(xué)習(xí)的基礎(chǔ)知識(shí)。本書(shū)適合有志于投身人工智能領(lǐng)域的人員閱讀，也適合作為高等院校人工智能專(zhuān)業(yè)的教學(xué)用書(shū)。
破解深度學(xué)習(xí)(基礎(chǔ)篇):模型算法與實(shí)現(xiàn) 目錄
第 1章 歡迎來(lái)到深度學(xué)習(xí)的世界 1
1.1 什么是深度學(xué)習(xí) 1
1.2 主要核心模型 3
1.2.1 卷積神經(jīng)網(wǎng)絡(luò) 3
1.2.2 循環(huán)神經(jīng)網(wǎng)絡(luò) 4
1.2.3 注意力機(jī)制 4
1.2.4 深度生成模型 5
1.2.5 小結(jié) 6
1.3 研究和應(yīng)用領(lǐng)域 6
1.3.1 計(jì)算機(jī)視覺(jué) 6
1.3.2 語(yǔ)音技術(shù) 7
1.3.3 自然語(yǔ)言處理 7
1.3.4 多模態(tài)融合 8
1.3.5 小結(jié) 9
1.4 使用的技術(shù)棧 9
1.4.1 編程語(yǔ)言 9
1.4.2 深度學(xué)習(xí)框架 9
1.4.3 數(shù)據(jù)集 10
1.4.4 代碼編輯器 10
1.4.5 項(xiàng)目IDE 10
1.4.6 小結(jié) 10
第 2章 必要的數(shù)學(xué)預(yù)備知識(shí) 11
2.1 線性代數(shù) 12
2.1.1 學(xué)人工智能為什么要學(xué)線性
代數(shù) 12
2.1.2 線性代數(shù)名字的由來(lái) 13
2.1.3 線性代數(shù)的本質(zhì)作用 13
2.1.4 學(xué)線性代數(shù)為何總強(qiáng)調(diào)幾何
意義 13
2.1.5 標(biāo)量 14
2.1.6 向量 14
2.1.7 矩陣 17
2.1.8 張量 19
2.1.9 小結(jié) 20
2.2 微積分 20
2.2.1 極限 21
2.2.2 導(dǎo)數(shù) 21
2.2.3 微分 23
2.2.4 偏導(dǎo)數(shù) 23
2.2.5 梯度 24
2.2.6 鏈?zhǔn)椒▌t 24
2.2.7 小結(jié) 25
2.3 概率統(tǒng)計(jì) 25
2.3.1 什么是概率 25
2.3.2 概率和統(tǒng)計(jì) 28
2.3.3 貝葉斯定理 30
2.3.4 *大似然估計(jì) 31
2.3.5 小結(jié) 31
第3章 環(huán)境安裝和工具使用 33
3.1 配置深度學(xué)習(xí)環(huán)境 34
3.1.1 CUDA簡(jiǎn)介 34
3.1.2 顯卡驅(qū)動(dòng) 34
3.1.3 安裝CUDA 35
3.1.4 安裝Anaconda 37
3.1.5 小結(jié) 39
3.2 conda實(shí)用命令 39
3.2.1 Anaconda 圖形化界面介紹 39
3.2.2 conda的命令行操作 41
3.2.3 小結(jié) 43
3.3 Jupyter Notebook快速上手 44
3.3.1 Jupyter Notebook的安裝與
運(yùn)行 45
3.3.2 常用配置項(xiàng) 47
3.3.3 快捷鍵 48
3.3.4 Markdown語(yǔ)法 49
3.3.5 小結(jié) 50
3.4 安裝深度學(xué)習(xí)框架PyTorch 50
3.4.1 PyTorch、CUDA與
NVIDIA 50
3.4.2 安裝PyTorch 50
3.4.3 驗(yàn)證安裝是否成功 51
3.4.4 小結(jié) 52
第4章 深度神經(jīng)網(wǎng)絡(luò)：誤差倒查
分解 53
4.1 神經(jīng)網(wǎng)絡(luò)原理 53
4.1.1 神經(jīng)元模型 53
4.1.2 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 54
4.1.3 損失函數(shù) 57
4.1.4 反向傳播 58
4.1.5 小結(jié) 59
4.2 多層感知機(jī) 59
4.2.1 線性模型的局限 60
4.2.2 多層感知機(jī)模型 61
4.2.3 激活函數(shù) 61
4.2.4 小結(jié) 66
4.3 前向傳播和反向傳播 67
4.3.1 前向傳播 67
4.3.2 反向傳播 68
4.3.3 小結(jié) 70
4.4 多層感知機(jī)代碼實(shí)現(xiàn) 70
4.4.1 搭建神經(jīng)網(wǎng)絡(luò)的步驟 71
4.4.2 代碼實(shí)現(xiàn) 71
4.4.3 小結(jié) 76
4.5 回歸問(wèn)題 76
4.5.1 一元線性回歸 77
4.5.2 多元線性回歸 78
4.5.3 多項(xiàng)式回歸 79
4.5.4 簡(jiǎn)單理解梯度下降 80
4.5.5 代碼實(shí)現(xiàn) 80
4.5.6 小結(jié) 84
4.6 分類(lèi)問(wèn)題 84
4.6.1 多分類(lèi)問(wèn)題的數(shù)學(xué)表示 85
4.6.2 Softmax回歸 86
4.6.3 對(duì)數(shù)損失函數(shù) 86
4.6.4 交叉熵?fù)p失函數(shù) 87
4.6.5 代碼實(shí)現(xiàn) 87
4.6.6 小結(jié) 90
第5章 常見(jiàn)挑戰(zhàn)及對(duì)策：一切為了
泛化能力 91
5.1 訓(xùn)練問(wèn)題分析 91
5.1.1 模型架構(gòu)設(shè)計(jì) 91
5.1.2 過(guò)擬合與欠擬合 92
5.1.3 代碼實(shí)現(xiàn) 94
5.1.4 小結(jié) 99
5.2 過(guò)擬合欠擬合應(yīng)對(duì)策略 99
5.2.1 數(shù)據(jù)集選擇 99
5.2.2 模型選擇 100
5.2.3 訓(xùn)練策略選擇 101
5.2.4 小結(jié) 102
5.3 正則化 102
5.3.1 正則化定義 103
5.3.2 L1正則化 103
5.3.3 L2正則化 104
5.3.4 范數(shù)懲罰 105
5.3.5 權(quán)重衰減 105
5.3.6 小結(jié) 106
5.4 Dropout方法及代碼實(shí)現(xiàn) 106
5.4.1 基本原理 106
5.4.2 直觀解釋 107
5.4.3 優(yōu)缺點(diǎn)分析 109
5.4.4 代碼實(shí)現(xiàn) 109
5.4.5 小結(jié) 112
5.5 梯度消失和梯度爆炸 112
5.5.1 根源分析 113
5.5.2 梯度消失 114
5.5.3 梯度爆炸 114
5.5.4 解決辦法 115
5.5.5 小結(jié) 117
5.6 模型文件的讀寫(xiě) 117
5.6.1 張量的保存和加載 117
5.6.2 模型參數(shù)的保存和加載 118
5.6.3 小結(jié) 119
第6章 梯度下降算法及變體：高效
求解模型參數(shù) 120
6.1 為什么要學(xué)*優(yōu)化 120
6.1.1 深度學(xué)習(xí)的*優(yōu)化 120
6.1.2 訓(xùn)練誤差和泛化誤差 121
6.1.3 常見(jiàn)的優(yōu)化挑戰(zhàn) 123
6.1.4 小結(jié) 125
6.2 損失函數(shù)及其性質(zhì) 126
6.2.1 起源和重要性 126
6.2.2 *大似然估計(jì) 126
6.2.3 *大后驗(yàn) 128
6.2.4 貝葉斯估計(jì) 129
6.2.5 損失函數(shù)的性質(zhì) 129
6.2.6 小結(jié) 133
6.3 梯度下降算法 133
6.3.1 搜索逼近策略 134
6.3.2 梯度 134
6.3.3 偏導(dǎo)數(shù)鏈?zhǔn)椒▌t 135
6.3.4 學(xué)習(xí)率 136
6.3.5 梯度下降算法 136
6.3.6 小結(jié) 137
6.4 梯度下降算法的各種變體 137
6.4.1 加速版改進(jìn)：隨機(jī)梯度
下降法 138
6.4.2 折中版改進(jìn)：小批量隨機(jī)梯度
下降法 139
6.4.3 一階動(dòng)量改進(jìn)版：動(dòng)量法 140
6.4.4 二階動(dòng)量改進(jìn)版：AdaGrad
算法 142
6.4.5 自動(dòng)調(diào)整學(xué)習(xí)率：RMSProp和
AdaDelta算法 144
6.4.6 自適應(yīng)動(dòng)量：Adam算法 145
6.4.7 算法大串聯(lián)及討論 145
6.4.8 小結(jié) 147
6.5 梯度下降算法代碼實(shí)現(xiàn) 147
6.5.1 梯度下降過(guò)程 147
6.5.2 不同優(yōu)化器效果對(duì)比 151
6.5.3 小結(jié) 155
6.6 學(xué)習(xí)率調(diào)節(jié)器 155
6.6.1 簡(jiǎn)介 155
6.6.2 常見(jiàn)的學(xué)習(xí)率調(diào)節(jié)器 156
6.6.3 代碼實(shí)現(xiàn) 157
6.6.4 模型訓(xùn)練對(duì)比 158
6.6.5 常見(jiàn)學(xué)習(xí)率調(diào)節(jié)器的實(shí)現(xiàn) 160
6.6.6 小結(jié) 161
第7章 基礎(chǔ)卷積神經(jīng)網(wǎng)絡(luò)：圖像處理
利器 162
7.1 為什么要用卷積神經(jīng)網(wǎng)絡(luò) 162
7.1.1 全連接層的問(wèn)題 162
7.1.2 多層感知機(jī)的局限 163
7.1.3 解決思路 164
7.1.4 小結(jié) 164
7.2 圖像卷積 165
7.2.1 卷積 165
7.2.2 圖像卷積 166
7.2.3 互相關(guān)運(yùn)算 167
7.2.4 小結(jié) 168
7.3 卷積層 168
7.3.1 網(wǎng)絡(luò)結(jié)構(gòu) 169
7.3.2 感受野 169
7.3.3 與全連接層的區(qū)別 170
7.3.4 小結(jié) 172
7.4 卷積層常見(jiàn)操作 172
7.4.1 填充 172
7.4.2 步長(zhǎng) 173
7.4.3 卷積常見(jiàn)參數(shù)關(guān)系 173
7.4.4 多通道卷積 174
7.4.5 分組卷積 175
7.4.6 小結(jié) 176
7.5 池化層 176
7.5.1 卷積神經(jīng)網(wǎng)絡(luò)典型結(jié)構(gòu) 177
7.5.2 *大池化和平均池化 177
7.5.3 池化層特點(diǎn) 178
7.5.4 小結(jié) 179
7.6 卷積神經(jīng)網(wǎng)絡(luò)代碼實(shí)現(xiàn) 179
7.6.1 LeNet簡(jiǎn)介 179
7.6.2 代碼實(shí)現(xiàn) 180
7.6.3 模型訓(xùn)練 182
7.6.4 小結(jié) 184
第8章 基礎(chǔ)循環(huán)神經(jīng)網(wǎng)絡(luò)：為序列
數(shù)據(jù)而生 185
8.1 序列建模 185
8.1.1 序列數(shù)據(jù) 185
8.1.2 序列模型 187
8.1.3 小結(jié) 188
8.2 文本數(shù)據(jù)預(yù)處理 189
8.2.1 預(yù)處理流程 189
8.2.2 去除噪聲 189
8.2.3 分詞 190
8.2.4 去除停用詞 190
8.2.5 標(biāo)準(zhǔn)化 191
8.2.6 詞表 191
8.2.7 特征提取 191
8.2.8 小結(jié) 193
8.3 循環(huán)神經(jīng)網(wǎng)絡(luò) 194
8.3.1 核心思想 194
8.3.2 展開(kāi)計(jì)算圖 194
8.3.3 RNN結(jié)構(gòu) 195
8.3.4 訓(xùn)練模式 196
8.3.5 小結(jié) 197
8.4 RNN的反向傳播 197
8.4.1 沿時(shí)間反向傳播 197
8.4.2 參數(shù)梯度 198
8.4.3 小結(jié) 199
8.5 時(shí)間序列數(shù)據(jù)預(yù)測(cè) 199
8.5.1 數(shù)據(jù)集準(zhǔn)備 200
8.5.2 構(gòu)建模型 202
8.5.3 小結(jié) 207
8.6 編解碼器思想及Seq2Seq模型 208
8.6.1 編解碼器思想 208
8.6.2 序列到序列學(xué)習(xí) 209
8.6.3 編碼器 210
8.6.4 解碼器 210
8.6.5 模型訓(xùn)練 211
8.6.6 束搜索算法 211
8.6.7 小結(jié) 214
8.7 Seq2Seq模型代碼實(shí)現(xiàn) 214
8.7.1 模型架構(gòu) 214
8.7.2 Seq2Seq模型簡(jiǎn)單實(shí)現(xiàn) 215
8.7.3 小結(jié) 222
第9章 注意力神經(jīng)網(wǎng)絡(luò)：賦予模型
認(rèn)知能力 223
9.1 注意力機(jī)制的原理 224
9.1.1 生物學(xué)中的注意力 224
9.1.2 深度學(xué)習(xí)中的注意力機(jī)制 225
9.1.3 編解碼器思想和注意力機(jī)制的
結(jié)合 225
9.1.4 注意力的計(jì)算 228
9.1.5 全局注意力、局部注意力和
自注意力 230
9.1.6 注意力機(jī)制與Transformer 231
9.1.7 注意力機(jī)制的應(yīng)用 231
9.1.8 小結(jié) 232
9.2 復(fù)雜注意力機(jī)制 233
9.2.1 經(jīng)典注意力機(jī)制計(jì)算的
局限性 233
9.2.2 鍵值對(duì)注意力 234
9.2.3 多頭注意力 235
9.2.4 自注意力 236
9.2.5 小結(jié) 238
9.3 注意力池化及代碼實(shí)現(xiàn) 239
9.3.1 注意力可視化 239
9.3.2 注意力池化 241
9.3.3 小結(jié) 246
9.4 Transformer模型 246
9.4.1 模型結(jié)構(gòu) 246
9.4.2 編碼器結(jié)構(gòu) 247
9.4.3 多頭自注意力層 248
9.4.4 位置嵌入 249
9.4.5 殘差結(jié)構(gòu) 250
9.4.6 解碼器 251
9.4.7 編解碼器的協(xié)同工作 252
9.4.8 線性層和Softmax層 253
9.4.9 優(yōu)缺點(diǎn) 254
9.4.10 小結(jié) 254
9.5 Transformer模型的代碼實(shí)現(xiàn) 255
9.5.1 任務(wù)數(shù)據(jù) 255
9.5.2 Transformer模型 256
9.5.3 小結(jié) 264
1.1 什么是深度學(xué)習(xí) 1
1.2 主要核心模型 3
1.2.1 卷積神經(jīng)網(wǎng)絡(luò) 3
1.2.2 循環(huán)神經(jīng)網(wǎng)絡(luò) 4
1.2.3 注意力機(jī)制 4
1.2.4 深度生成模型 5
1.2.5 小結(jié) 6
1.3 研究和應(yīng)用領(lǐng)域 6
1.3.1 計(jì)算機(jī)視覺(jué) 6
1.3.2 語(yǔ)音技術(shù) 7
1.3.3 自然語(yǔ)言處理 7
1.3.4 多模態(tài)融合 8
1.3.5 小結(jié) 9
1.4 使用的技術(shù)棧 9
1.4.1 編程語(yǔ)言 9
1.4.2 深度學(xué)習(xí)框架 9
1.4.3 數(shù)據(jù)集 10
1.4.4 代碼編輯器 10
1.4.5 項(xiàng)目IDE 10
1.4.6 小結(jié) 10
第 2章 必要的數(shù)學(xué)預(yù)備知識(shí) 11
2.1 線性代數(shù) 12
2.1.1 學(xué)人工智能為什么要學(xué)線性
代數(shù) 12
2.1.2 線性代數(shù)名字的由來(lái) 13
2.1.3 線性代數(shù)的本質(zhì)作用 13
2.1.4 學(xué)線性代數(shù)為何總強(qiáng)調(diào)幾何
意義 13
2.1.5 標(biāo)量 14
2.1.6 向量 14
2.1.7 矩陣 17
2.1.8 張量 19
2.1.9 小結(jié) 20
2.2 微積分 20
2.2.1 極限 21
2.2.2 導(dǎo)數(shù) 21
2.2.3 微分 23
2.2.4 偏導(dǎo)數(shù) 23
2.2.5 梯度 24
2.2.6 鏈?zhǔn)椒▌t 24
2.2.7 小結(jié) 25
2.3 概率統(tǒng)計(jì) 25
2.3.1 什么是概率 25
2.3.2 概率和統(tǒng)計(jì) 28
2.3.3 貝葉斯定理 30
2.3.4 *大似然估計(jì) 31
2.3.5 小結(jié) 31
第3章 環(huán)境安裝和工具使用 33
3.1 配置深度學(xué)習(xí)環(huán)境 34
3.1.1 CUDA簡(jiǎn)介 34
3.1.2 顯卡驅(qū)動(dòng) 34
3.1.3 安裝CUDA 35
3.1.4 安裝Anaconda 37
3.1.5 小結(jié) 39
3.2 conda實(shí)用命令 39
3.2.1 Anaconda 圖形化界面介紹 39
3.2.2 conda的命令行操作 41
3.2.3 小結(jié) 43
3.3 Jupyter Notebook快速上手 44
3.3.1 Jupyter Notebook的安裝與
運(yùn)行 45
3.3.2 常用配置項(xiàng) 47
3.3.3 快捷鍵 48
3.3.4 Markdown語(yǔ)法 49
3.3.5 小結(jié) 50
3.4 安裝深度學(xué)習(xí)框架PyTorch 50
3.4.1 PyTorch、CUDA與
NVIDIA 50
3.4.2 安裝PyTorch 50
3.4.3 驗(yàn)證安裝是否成功 51
3.4.4 小結(jié) 52
第4章 深度神經(jīng)網(wǎng)絡(luò)：誤差倒查
分解 53
4.1 神經(jīng)網(wǎng)絡(luò)原理 53
4.1.1 神經(jīng)元模型 53
4.1.2 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 54
4.1.3 損失函數(shù) 57
4.1.4 反向傳播 58
4.1.5 小結(jié) 59
4.2 多層感知機(jī) 59
4.2.1 線性模型的局限 60
4.2.2 多層感知機(jī)模型 61
4.2.3 激活函數(shù) 61
4.2.4 小結(jié) 66
4.3 前向傳播和反向傳播 67
4.3.1 前向傳播 67
4.3.2 反向傳播 68
4.3.3 小結(jié) 70
4.4 多層感知機(jī)代碼實(shí)現(xiàn) 70
4.4.1 搭建神經(jīng)網(wǎng)絡(luò)的步驟 71
4.4.2 代碼實(shí)現(xiàn) 71
4.4.3 小結(jié) 76
4.5 回歸問(wèn)題 76
4.5.1 一元線性回歸 77
4.5.2 多元線性回歸 78
4.5.3 多項(xiàng)式回歸 79
4.5.4 簡(jiǎn)單理解梯度下降 80
4.5.5 代碼實(shí)現(xiàn) 80
4.5.6 小結(jié) 84
4.6 分類(lèi)問(wèn)題 84
4.6.1 多分類(lèi)問(wèn)題的數(shù)學(xué)表示 85
4.6.2 Softmax回歸 86
4.6.3 對(duì)數(shù)損失函數(shù) 86
4.6.4 交叉熵?fù)p失函數(shù) 87
4.6.5 代碼實(shí)現(xiàn) 87
4.6.6 小結(jié) 90
第5章 常見(jiàn)挑戰(zhàn)及對(duì)策：一切為了
泛化能力 91
5.1 訓(xùn)練問(wèn)題分析 91
5.1.1 模型架構(gòu)設(shè)計(jì) 91
5.1.2 過(guò)擬合與欠擬合 92
5.1.3 代碼實(shí)現(xiàn) 94
5.1.4 小結(jié) 99
5.2 過(guò)擬合欠擬合應(yīng)對(duì)策略 99
5.2.1 數(shù)據(jù)集選擇 99
5.2.2 模型選擇 100
5.2.3 訓(xùn)練策略選擇 101
5.2.4 小結(jié) 102
5.3 正則化 102
5.3.1 正則化定義 103
5.3.2 L1正則化 103
5.3.3 L2正則化 104
5.3.4 范數(shù)懲罰 105
5.3.5 權(quán)重衰減 105
5.3.6 小結(jié) 106
5.4 Dropout方法及代碼實(shí)現(xiàn) 106
5.4.1 基本原理 106
5.4.2 直觀解釋 107
5.4.3 優(yōu)缺點(diǎn)分析 109
5.4.4 代碼實(shí)現(xiàn) 109
5.4.5 小結(jié) 112
5.5 梯度消失和梯度爆炸 112
5.5.1 根源分析 113
5.5.2 梯度消失 114
5.5.3 梯度爆炸 114
5.5.4 解決辦法 115
5.5.5 小結(jié) 117
5.6 模型文件的讀寫(xiě) 117
5.6.1 張量的保存和加載 117
5.6.2 模型參數(shù)的保存和加載 118
5.6.3 小結(jié) 119
第6章 梯度下降算法及變體：高效
求解模型參數(shù) 120
6.1 為什么要學(xué)*優(yōu)化 120
6.1.1 深度學(xué)習(xí)的*優(yōu)化 120
6.1.2 訓(xùn)練誤差和泛化誤差 121
6.1.3 常見(jiàn)的優(yōu)化挑戰(zhàn) 123
6.1.4 小結(jié) 125
6.2 損失函數(shù)及其性質(zhì) 126
6.2.1 起源和重要性 126
6.2.2 *大似然估計(jì) 126
6.2.3 *大后驗(yàn) 128
6.2.4 貝葉斯估計(jì) 129
6.2.5 損失函數(shù)的性質(zhì) 129
6.2.6 小結(jié) 133
6.3 梯度下降算法 133
6.3.1 搜索逼近策略 134
6.3.2 梯度 134
6.3.3 偏導(dǎo)數(shù)鏈?zhǔn)椒▌t 135
6.3.4 學(xué)習(xí)率 136
6.3.5 梯度下降算法 136
6.3.6 小結(jié) 137
6.4 梯度下降算法的各種變體 137
6.4.1 加速版改進(jìn)：隨機(jī)梯度
下降法 138
6.4.2 折中版改進(jìn)：小批量隨機(jī)梯度
下降法 139
6.4.3 一階動(dòng)量改進(jìn)版：動(dòng)量法 140
6.4.4 二階動(dòng)量改進(jìn)版：AdaGrad
算法 142
6.4.5 自動(dòng)調(diào)整學(xué)習(xí)率：RMSProp和
AdaDelta算法 144
6.4.6 自適應(yīng)動(dòng)量：Adam算法 145
6.4.7 算法大串聯(lián)及討論 145
6.4.8 小結(jié) 147
6.5 梯度下降算法代碼實(shí)現(xiàn) 147
6.5.1 梯度下降過(guò)程 147
6.5.2 不同優(yōu)化器效果對(duì)比 151
6.5.3 小結(jié) 155
6.6 學(xué)習(xí)率調(diào)節(jié)器 155
6.6.1 簡(jiǎn)介 155
6.6.2 常見(jiàn)的學(xué)習(xí)率調(diào)節(jié)器 156
6.6.3 代碼實(shí)現(xiàn) 157
6.6.4 模型訓(xùn)練對(duì)比 158
6.6.5 常見(jiàn)學(xué)習(xí)率調(diào)節(jié)器的實(shí)現(xiàn) 160
6.6.6 小結(jié) 161
第7章 基礎(chǔ)卷積神經(jīng)網(wǎng)絡(luò)：圖像處理
利器 162
7.1 為什么要用卷積神經(jīng)網(wǎng)絡(luò) 162
7.1.1 全連接層的問(wèn)題 162
7.1.2 多層感知機(jī)的局限 163
7.1.3 解決思路 164
7.1.4 小結(jié) 164
7.2 圖像卷積 165
7.2.1 卷積 165
7.2.2 圖像卷積 166
7.2.3 互相關(guān)運(yùn)算 167
7.2.4 小結(jié) 168
7.3 卷積層 168
7.3.1 網(wǎng)絡(luò)結(jié)構(gòu) 169
7.3.2 感受野 169
7.3.3 與全連接層的區(qū)別 170
7.3.4 小結(jié) 172
7.4 卷積層常見(jiàn)操作 172
7.4.1 填充 172
7.4.2 步長(zhǎng) 173
7.4.3 卷積常見(jiàn)參數(shù)關(guān)系 173
7.4.4 多通道卷積 174
7.4.5 分組卷積 175
7.4.6 小結(jié) 176
7.5 池化層 176
7.5.1 卷積神經(jīng)網(wǎng)絡(luò)典型結(jié)構(gòu) 177
7.5.2 *大池化和平均池化 177
7.5.3 池化層特點(diǎn) 178
7.5.4 小結(jié) 179
7.6 卷積神經(jīng)網(wǎng)絡(luò)代碼實(shí)現(xiàn) 179
7.6.1 LeNet簡(jiǎn)介 179
7.6.2 代碼實(shí)現(xiàn) 180
7.6.3 模型訓(xùn)練 182
7.6.4 小結(jié) 184
第8章 基礎(chǔ)循環(huán)神經(jīng)網(wǎng)絡(luò)：為序列
數(shù)據(jù)而生 185
8.1 序列建模 185
8.1.1 序列數(shù)據(jù) 185
8.1.2 序列模型 187
8.1.3 小結(jié) 188
8.2 文本數(shù)據(jù)預(yù)處理 189
8.2.1 預(yù)處理流程 189
8.2.2 去除噪聲 189
8.2.3 分詞 190
8.2.4 去除停用詞 190
8.2.5 標(biāo)準(zhǔn)化 191
8.2.6 詞表 191
8.2.7 特征提取 191
8.2.8 小結(jié) 193
8.3 循環(huán)神經(jīng)網(wǎng)絡(luò) 194
8.3.1 核心思想 194
8.3.2 展開(kāi)計(jì)算圖 194
8.3.3 RNN結(jié)構(gòu) 195
8.3.4 訓(xùn)練模式 196
8.3.5 小結(jié) 197
8.4 RNN的反向傳播 197
8.4.1 沿時(shí)間反向傳播 197
8.4.2 參數(shù)梯度 198
8.4.3 小結(jié) 199
8.5 時(shí)間序列數(shù)據(jù)預(yù)測(cè) 199
8.5.1 數(shù)據(jù)集準(zhǔn)備 200
8.5.2 構(gòu)建模型 202
8.5.3 小結(jié) 207
8.6 編解碼器思想及Seq2Seq模型 208
8.6.1 編解碼器思想 208
8.6.2 序列到序列學(xué)習(xí) 209
8.6.3 編碼器 210
8.6.4 解碼器 210
8.6.5 模型訓(xùn)練 211
8.6.6 束搜索算法 211
8.6.7 小結(jié) 214
8.7 Seq2Seq模型代碼實(shí)現(xiàn) 214
8.7.1 模型架構(gòu) 214
8.7.2 Seq2Seq模型簡(jiǎn)單實(shí)現(xiàn) 215
8.7.3 小結(jié) 222
第9章 注意力神經(jīng)網(wǎng)絡(luò)：賦予模型
認(rèn)知能力 223
9.1 注意力機(jī)制的原理 224
9.1.1 生物學(xué)中的注意力 224
9.1.2 深度學(xué)習(xí)中的注意力機(jī)制 225
9.1.3 編解碼器思想和注意力機(jī)制的
結(jié)合 225
9.1.4 注意力的計(jì)算 228
9.1.5 全局注意力、局部注意力和
自注意力 230
9.1.6 注意力機(jī)制與Transformer 231
9.1.7 注意力機(jī)制的應(yīng)用 231
9.1.8 小結(jié) 232
9.2 復(fù)雜注意力機(jī)制 233
9.2.1 經(jīng)典注意力機(jī)制計(jì)算的
局限性 233
9.2.2 鍵值對(duì)注意力 234
9.2.3 多頭注意力 235
9.2.4 自注意力 236
9.2.5 小結(jié) 238
9.3 注意力池化及代碼實(shí)現(xiàn) 239
9.3.1 注意力可視化 239
9.3.2 注意力池化 241
9.3.3 小結(jié) 246
9.4 Transformer模型 246
9.4.1 模型結(jié)構(gòu) 246
9.4.2 編碼器結(jié)構(gòu) 247
9.4.3 多頭自注意力層 248
9.4.4 位置嵌入 249
9.4.5 殘差結(jié)構(gòu) 250
9.4.6 解碼器 251
9.4.7 編解碼器的協(xié)同工作 252
9.4.8 線性層和Softmax層 253
9.4.9 優(yōu)缺點(diǎn) 254
9.4.10 小結(jié) 254
9.5 Transformer模型的代碼實(shí)現(xiàn) 255
9.5.1 任務(wù)數(shù)據(jù) 255
9.5.2 Transformer模型 256
9.5.3 小結(jié) 264
展開(kāi)全部
破解深度學(xué)習(xí)(基礎(chǔ)篇):模型算法與實(shí)現(xiàn) 作者簡(jiǎn)介
瞿煒，美國(guó)伊利諾伊大學(xué)人工智能博士，哈佛大學(xué)、京都大學(xué)客座教授；前中國(guó)科學(xué)院大學(xué)教授、模式識(shí)別國(guó)家重點(diǎn)實(shí)驗(yàn)室客座研究員；國(guó)家部委特聘專(zhuān)家、重點(diǎn)實(shí)驗(yàn)室學(xué)術(shù)委員會(huì)委員；知名國(guó)際期刊編委，多個(gè)頂級(jí)學(xué)術(shù)期刊審稿人及國(guó)際學(xué)術(shù)會(huì)議委員。 李力，人工智能專(zhuān)家，長(zhǎng)期致力于計(jì)算機(jī)視覺(jué)和強(qiáng)化學(xué)習(xí)領(lǐng)域的研究與實(shí)踐。曾在多家頂尖科技企業(yè)擔(dān)任資深算法工程師，擁有十余年行業(yè)經(jīng)驗(yàn)，具備豐富的技術(shù)能力和深厚的理論知識(shí)。 楊潔，人工智能和自然語(yǔ)言處理領(lǐng)域資深應(yīng)用專(zhuān)家，在自然語(yǔ)言理解、基于知識(shí)的智能服務(wù)、跨模態(tài)語(yǔ)言智能、智能問(wèn)答系統(tǒng)等技術(shù)領(lǐng)域具有深厚的實(shí)戰(zhàn)背景。
書(shū)友推薦
- >
唐代進(jìn)士錄
- >
隨園食單
- >
上帝之肋:男人的真實(shí)旅程
- >
史學(xué)評(píng)論
- >
小考拉的故事-套裝共3冊(cè)
- >
我從未如此眷戀人間
- >
莉莉和章魚(yú)
- >
企鵝口袋書(shū)系列·偉大的思想20:論自然選擇(英漢雙語(yǔ))
本類(lèi)暢銷(xiāo)
