第 1章 人工智能多媒體計算概述 1

1.1　媒體與人工智能多媒體計算的基本概念　2

1.1.1　媒體定義及類型　2

1.1.2　數字媒體　3

1.1.3　多媒體及人工智能多媒體計算　3

1.2　人工智能多媒體計算的發展歷史　4

1.2.1　人工智能多媒體計算發展的第 1個里程碑：超文本　5

1.2.2　人工智能多媒體計算發展的第 2個里程碑：多媒體操作系統Alto　5

1.2.3　人工智能多媒體計算發展的第3個里程碑：多媒體計算機Amiga　6

1.2.4　人工智能多媒體計算發展的第4個里程碑：運動圖像壓縮MPEG-4標準　7

1.2.5　人工智能多媒體計算發展的第5個里程碑：iPod/iTunes及流媒體　8

1.2.6　人工智能多媒體計算發展的第6個里程碑：人工智能多媒體　10

1.2.7　人工智能多媒體計算發展的第7個里程碑：生成式融媒體　10

1.3　人工智能多媒體模態計算技術發展概述　11

1.3.1　人工智能多媒體文本信息計算的發展階段　12

1.3.2　人工智能多媒體語音信息計算的發展階段　13

1.3.3　人工智能多媒體圖像信息計算的發展階段　13

1.3.4　人工智能多媒體動畫信息計算的發展階段　14

1.3.5　人工智能多媒體圖形信息計算的發展階段　15

1.3.6　人工智能多媒體視頻信息計算的發展階段　16

1.4　人工智能多媒體計算的行業發展現狀　17

1.4.1　人工智能多媒體計算的產業結構　17

1.4.2　人工智能多媒體計算的應用領域　19

1.5　本章小結　20

習題　20

第 2章　人工智能多媒體計算的理論基礎　21

2.1　人工智能多媒體計算的數學基礎　21

2.1.1　微積分　21

2.1.2　線性代數　24

2.1.3　概率論　30

2.2　人工智能多媒體計算的信號處理基礎　33

2.2.1　信號　33

2.2.2　信號濾波　33

2.2.3　信號分析　34

2.3　人工智能多媒體計算的信息論基礎　36

2.3.1　香農通信系統模型　36

2.3.2　信息的度量　37

2.3.3　信源編碼　38

2.3.4　信道編碼　39

2.4　人工智能多媒體計算的人工智能基礎　40

2.4.1　機器學習　40

2.4.2　深度學習　45

2.5　本章小結　48

習題　48

第3章　人工智能多媒體文本信息計算　49

3.1　人工智能文本信息計算基礎及里程碑式成果　50

3.1.1　人工智能文本信息計算基礎　50

3.1.2　人工智能文本信息計算發展里程碑　51

3.2　人工智能文本信息計算算法　53

3.2.1　詞袋模型　53

3.2.2　詞頻-逆文檔頻率　54

3.2.3　潛在語義分析　55

3.2.4　知識圖譜　55

3.2.5　詞嵌入與Word2Vec　60

3.2.6　循環神經網絡/長短期記憶與序列到序列　62

3.3　現代人工智能文本信息計算算法：注意力機制與ChatGPT　65

3.4　人工智能文本信息計算應用：圖像描述生成　71

3.5　本章小結　72

習題　73

第4章　人工智能多媒體語音信息計算　74

4.1　人工智能語音信息計算基礎及發展里程碑　75

4.1.1　人工智能語音信息計算基礎　75

4.1.2　人工智能語音信息計算里程碑　79

4.2　人工智能語音信息計算算法　80

4.2.1　語音特征分析與梅爾頻率倒譜系數　80

4.2.2　語音識別與隱馬爾可夫模型　82

4.2.3　語音合成之基音同步疊加算法　86

4.2.4　語音壓縮與MP3算法　88

4.2.5　說話人識別與高斯混合模型　90

4.3　現代人工智能語音信息計算算法　91

4.3.1　語音通用與深度神經網絡　91

4.3.2　語音大模型與Whisper　93

4.4　人工智能語音信息計算應用：中文語音識別系統　93

4.5　本章小結　94

習題　95

第5章　人工智能多媒體圖像信息計算　96

5.1　人工智能圖像信息計算基礎和發展里程碑　97

5.1.1　視覺與圖像簡介　97

5.1.2　人工智能圖像信息計算發展里程碑　98

5.2　人工智能圖像信息計算算法　99

5.2.1　圖像邊緣檢測算法與Canny　99

5.2.2　圖像壓縮算法與JPEG　103

5.2.3　圖像復原算法與暗通道先驗　109

5.2.4　圖像識別算法與AlexNet　113

5.2.5　圖像生成算法與GAN　116

5.2.6　圖像目標檢測算法與YOLO　122

5.3　現代人工智能圖像信息計算算法：分割一切模型　125

5.4　人工智能圖像信息計算應用：圖像語義分割工具　126

5.5　本章小結　128

習題　128

第6章　人工智能多媒體動畫信息計算　129

6.1　人工智能動畫信息計算基礎及發展里程碑　130

6.1.1　人工智能動畫信息計算基礎　130

6.1.2　人工智能動畫信息計算里程碑　130

6.2　人工智能動畫信息計算處理算法　131

6.2.1　動畫關鍵幀插值與貝塞爾曲線　131

6.2.2　動作捕捉與光學動作捕捉算法　133

6.2.3　動畫路徑規劃算法與Dijkstra算法　135

6.2.4　骨骼動畫與蒙皮算法　136

6.2.5　動畫物理模擬與布料模擬算法　138

6.2.6　群體動畫算法與Flock-and-Boid模型　140

6.3　現代人工智能動畫信息計算算法：GANimation動畫生成　142

6.4　人工智能動畫信息計算應用：教育應用　143

6.5　本章小結　143

習題　144

第7章　人工智能多媒體圖形信息計算　145

7.1　人工智能圖形信息計算基礎及發展里程碑　146

7.1.1　人工智能圖形信息計算基礎　146

7.1.2　人工智能圖形信息計算發展里程碑　148

7.2　人工智能圖形信息計算基礎及發展里程碑　149

7.2.1　計算機圖形學的開端——Sketchpad的發明　149

7.2.2　圖形用戶界面　150

7.2.3　虛擬現實技術　153

7.2.4　圖形處理器　155

7.2.5　AR技術與Google Glass　164

7.3　現代人工智能圖形信息計算算法：NeRF/3D GS　166

7.3.1　圖形表達與NeRF　166

7.3.2　圖形渲染與3D GS　170

7.4　現代人工智能圖形信息計算應用：醫療場景　175

7.5　本章小結　177

習題　177

第8章　人工智能多媒體視頻信息計算　178

8.1　人工智能視頻信息計算基礎及發展里程碑　179

8.1.1　人工智能視頻信息計算簡介　179

8.1.2　人工智能視頻信息計算發展里程碑　181

8.2　人工智能視頻信息計算算法　183

8.2.1　模擬視頻與PAL　183

8.2.2　數字視頻與CCIR 601　184

8.2.3　數字視頻壓縮與MPEG-4　185

8.2.4　流媒體與iPod/iTunes　190

8.2.5　互聯網視頻與YouTube　192

8.2.6　短視頻與Musical.ly　194

8.3　現代人工智能視頻信息計算算法：Sora　196

8.4　現代人工智能視頻信息計算應用：手術場景分析　199

8.5　本章小結　199

習題　200

第9章　融媒體及生成式融媒體經典應用　201

9.1　生成式融媒體模型與GPT-4o　202

9.1.1　生成式融媒體基礎模型　202

9.1.2　GPT-4o　202

9.2　圖文生成式融媒體系統　203

9.3　通用生成式融媒體系統　204

9.4　生物學生成式融媒體系統　206

9.5　虛擬真實世界　210

9.6　本章小結　214

習題　214

第 10章　人工智能多媒體信息融合系統　215

10.1　人工智能多媒體信息融合系統概述　215

10.2　虛擬數字人系統　216

10.2.1　虛擬數字人的概念　216

10.2.2　虛擬數字人的發展　217

10.2.3　虛擬數字人的應用　218

10.2.4　虛擬數字人的未來趨勢　219

10.3　增強現實系統　219

10.3.1　增強現實的概念　220

10.3.2　HoloLens—從二維到三維的革新　220

10.3.3　Vision Pro—空間計算設備　221

10.3.4　增強現實的未來趨勢　222

10.4　沉浸式游戲系統　223

10.4.1　沉浸式游戲概述　223

10.4.2　虛擬現實游戲　223

10.4.3　增強現實游戲　225

10.4.4　元宇宙游戲　227

10.4.5　沉浸式游戲的未來趨勢　228

10.5　本章小結　229

習題　229

第 11章　人工智能多媒體計算的未來　230

11.1　多模態生成式多媒體　231

11.1.1　多模態生成式多媒體概述　231

11.1.2　文本生成模型的新進展　231

11.1.3　語音合成領域的突破　232

11.1.4　圖像、圖形生成模型的新突破　232

11.1.5　視頻、動畫生成技術的創新　233

11.1.6　多模態生成式多媒體的總結與未來展望　233

11.2　多媒體智能體　233

11.2.1　多媒體智能體的定義與意義　233

11.2.2　傳感器與自主行動響應　234

11.2.3　環境信息提取、分類與理解　235

11.2.4　內容編輯與創作　235

11.2.5　情感與語音內容分析　236

11.2.6　多媒體智能體發展的總結與未來展望　237

11.3　多媒體信息技術的發展潛力　237

11.3.1　多媒體信息技術概述　237

11.3.2　計算網絡云端化　237

11.3.3　交互顯示硬件　238

11.3.4　人工智能與多媒體內容　241

11.3.5　多媒體信息技術的總結與未來展望　241

11.4　多媒體安全與倫理　241

11.4.1　多媒體安全與倫理概述　241

11.4.2　隱私安全　241

11.4.3　技術安全與責任認定　242

11.4.4　算法偏見　242

11.4.5　就業問題與數字鴻溝　242

11.4.6　結語　243

11.5　本章小結　243

習題　243

參考文獻　244

后記　247