目錄

本書源代碼

目錄

第1章導(dǎo)論（13min）

1.1基于深度學(xué)習(xí)的自然語言處理

1.2本書章節(jié)脈絡(luò)

1.3自然語言處理算法流程

1.4小結(jié)

第2章Python開發(fā)環(huán)境配置（35min）

2.1Linux服務(wù)器

2.1.1MobaXterm

2.1.2使用MobaXterm連接遠(yuǎn)程服務(wù)器

2.1.3在服務(wù)器上安裝Python開發(fā)環(huán)境

2.1.4使用Anaconda國內(nèi)源

2.1.5pip設(shè)定永久阿里云源

2.2Python虛擬環(huán)境

2.3PyCharm遠(yuǎn)程連接服務(wù)器

2.4screen任務(wù)管理

2.5Docker技術(shù)

2.6小結(jié)

第3章自然語言處理的發(fā)展進(jìn)程

3.1人工規(guī)則與自然語言處理

3.2機(jī)器學(xué)習(xí)與自熱語言處理

3.2.1詞袋模型

3.2.2ngram

3.2.3頻率與逆文檔頻率

3.3深度學(xué)習(xí)與自然語言處理

3.4小結(jié)

第4章無監(jiān)督學(xué)習(xí)的原理與應(yīng)用（30min）

4.1淺層無監(jiān)督預(yù)訓(xùn)練模型

4.2深層無監(jiān)督預(yù)訓(xùn)練模型

4.2.1BERT

4.2.2SelfAttention Layer原理

4.2.3SelfAttention Layer的內(nèi)部運(yùn)算邏輯

4.2.4MultiHead SelfAttention

4.2.5Layer Normalization

4.2.6BERT預(yù)訓(xùn)練

4.2.7BERT的微調(diào)過程

4.3其他預(yù)訓(xùn)練模型

4.3.1RoBERTa

4.3.2ERNIE

4.3.3BERT_WWM

4.3.4ALBERT

4.3.5Electra

4.3.6NEZHA

4.3.7NLP預(yù)訓(xùn)練模型對比

4.4自然語言處理四大下游任務(wù)

4.4.1句子對分類任務(wù)

4.4.2單句子分類任務(wù)

4.4.3問答任務(wù)

4.4.4單句子標(biāo)注任務(wù)

4.5小結(jié)

第5章無監(jiān)督學(xué)習(xí)進(jìn)階

5.1生成式對抗網(wǎng)絡(luò)

5.2元學(xué)習(xí)

5.2.1MetricBased Method

5.2.2ModelBased Method

5.2.3PretrainBased Method

5.3小結(jié)

第6章預(yù)訓(xùn)練

6.1賽題任務(wù)

6.2環(huán)境搭建

6.3代碼框架

6.4數(shù)據(jù)分析實(shí)踐

6.4.1數(shù)據(jù)預(yù)處理

6.4.2預(yù)訓(xùn)練任務(wù)模型構(gòu)建與數(shù)據(jù)生成

6.4.3模型訓(xùn)練

6.5小結(jié)

第7章文本分類（45min）

7.1數(shù)據(jù)分析

7.2環(huán)境搭建

7.3代碼框架

7.4文本分類實(shí)踐

7.4.1數(shù)據(jù)預(yù)處理

7.4.2模型構(gòu)建

7.4.3數(shù)據(jù)迭代器

7.4.4模型訓(xùn)練

7.4.5模型預(yù)測

7.5小結(jié)

第8章機(jī)器閱讀理解（16min）

8.1機(jī)器閱讀理解的定義

8.1.1完形填空

8.1.2多項(xiàng)選擇

8.1.3片段抽取

8.1.4自由回答

8.1.5其他任務(wù)

8.2評測方法

8.3研究方法

8.3.1基于規(guī)則的方法

8.3.2基于神經(jīng)網(wǎng)絡(luò)的方法

8.3.3基于深層語義的圖匹配方法

8.4經(jīng)典結(jié)構(gòu)

8.4.1BiDAF模型

8.4.2QANet模型

8.4.3基于BERT模型的機(jī)器閱讀理解

8.5多文檔機(jī)器閱讀理解實(shí)踐

8.5.1疫情政務(wù)問答助手

8.5.2信息檢索

8.5.3多任務(wù)學(xué)習(xí)

8.5.4實(shí)踐

8.6小結(jié)

第9章命名實(shí)體識別（15min）

9.1NER技術(shù)的發(fā)展現(xiàn)狀

9.2命名實(shí)體識別的定義

9.3命名實(shí)體識別模型

9.3.1預(yù)訓(xùn)練模型

9.3.2下接結(jié)構(gòu)

9.3.3條件隨機(jī)場

9.4命名實(shí)體識別實(shí)驗(yàn)

9.4.1數(shù)據(jù)介紹

9.4.2評估指標(biāo)

9.4.3數(shù)據(jù)預(yù)處理

9.4.4模型構(gòu)建

9.4.5數(shù)據(jù)迭代器

9.4.6模型訓(xùn)練

9.4.7模型預(yù)測

9.5小結(jié)

第10章文本生成（26min）

10.1文本生成的發(fā)展現(xiàn)狀

10.1.1文本生成模板

10.1.2變分自編碼器

10.1.3序列到序列技術(shù)

10.2基于預(yù)訓(xùn)練模型的文本生成模型

10.3文本生成任務(wù)實(shí)踐

10.3.1數(shù)據(jù)介紹

10.3.2評估指標(biāo)

10.3.3模型構(gòu)建

10.3.4數(shù)據(jù)迭代器

10.3.5模型訓(xùn)練

10.3.6模型預(yù)測

10.4小結(jié)

第11章?lián)p失函數(shù)與模型瘦身

11.1損失函數(shù)

11.2常用的損失函數(shù)

11.2.1回歸

11.2.2分類

11.3損失函數(shù)的進(jìn)階

11.3.1樣本不均衡

11.3.2Focal Loss

11.3.3Dice Loss

11.3.4拒識

11.3.5帶噪學(xué)習(xí)

11.4模型瘦身

11.4.1知識蒸餾

11.4.2模型剪枝

11.5小結(jié)