目　　錄

第1章　大數據概述 1
1.1　大數據的背景 1
1.1.1　互聯網的四次浪潮 2
1.1.2　大數據的變革思維 2
1.2　大數據簡介 3
1.2.1　大數據的概念 3
1.2.2　大數據的特征 4
1.2.3　大數據的結構類型 5
1.2.4　大數據的關鍵技術 6
1.2.5　大數據的核心產業鏈 7
1.3　大數據的發展和應用 9
1.3.1　大數據的發展態勢 9
1.3.2　我國大數據發展面臨的問題與
挑戰 11
1.3.3　大數據的應用 13
小結 14
習題 14
第2章　大數據的采集和預處理 16
2.1　大數據的采集 16
2.1.1　大數據的采集來源 17
2.1.2　大數據的采集方法 18
2.1.3　大數據的采集平臺 20
2.2　大數據的預處理技術 22
2.2.1　數據清洗 22
2.2.2　數據集成 23
2.2.3　數據變換 24
2.2.4　數據歸約 24
2.3　數據倉庫與ETL工具 26
2.3.1　數據倉庫的組成 26
2.3.2　數據倉庫的數據模型 28
2.3.3　常用的ETL工具 30
小結 33
習題 33
第3章　大數據存儲 35
3.1　傳統存儲 36
3.1.1　硬盤 36
3.1.2　直連式存儲 37
3.1.3　網絡存儲 39
3.2　分布式存儲 42
3.2.1　存儲結構 42
3.2.2　系統架構 43
3.2.3　典型系統 44
3.3　云存儲 46
3.3.1　云存儲的結構模型 46
3.3.2　云存儲的分類 47
3.3.3　云存儲的優勢和劣勢 48
3.3.4　云存儲的發展趨勢 49
小結 51
習題 51
第4章　大數據處理與計算 53
4.1　Hadoop處理框架 54
4.1.1　HDFS 54
4.1.2　MapReduce 55
4.1.3　YARN 58
4.1.4　ZooKeeper 60
4.2　Spark處理框架 62
4.2.1　Scala 62
4.2.2　Spark SQL 64
4.2.3　Spark Streaming 66
4.3　Storm開源流計算框架 67
4.3.1　Storm的基本概念 67
4.3.2　Spout和Bolt 69
4.3.3　Topology 69
小結 71
習題 71
第5章　大數據分析 73
5.1　大數據分析的類型 73
5.1.1　描述性分析 74
5.1.2　探索性分析 75
5.1.3　驗證性分析 75
5.2　大數據分析的方法 76
5.2.1　回歸分析 76
5.2.2　關聯分析 77
5.2.3　分類 82
5.2.4　聚類 84
5.3　大數據分析的工具 87
5.3.1　Excel 87
5.3.2　R 88
5.3.3　RapidMiner 89
5.3.4　KNIME 90
5.3.5　Weka 91
小結 93
習題 94
第6章　大數據可視化 96
6.1　大數據可視化概述 97
6.1.1　大數據可視化的概念 97
6.1.2　可視化的起源 97
6.1.3　大數據可視化的作用 98
6.2　大數據可視化的技術 99
6.2.1　基于圖形的可視化技術 99
6.2.2　基于平行坐標法的
可視化技術 106
6.2.3　其他大數據可視化技術 107
6.3　大數據可視化的工具 107
6.3.1　入門級工具 107
6.3.2　信息圖表工具 108
6.3.3　地圖工具 108
6.3.4　時間線工具 108
6.3.5　高級分析工具 109
6.4　大數據可視化的發展 109
6.4.1　大數據可視化面臨的挑戰 109
6.4.2　大數據可視化的發展方向 110
6.4.3　大數據可視化未來的應用 111
小結 112
習題 113
第7章　大數據應用 115
7.1　大數據在金融領域的應用 115
7.1.1　大數據與客戶管理 116
7.1.2　大數據與風險管控 119
7.1.3　大數據與運營優化 121
7.2　大數據在互聯網領域的應用 122
7.2.1　大數據與電子商務 122
7.2.2　大數據與社交媒體 126
7.2.3　大數據與零售行業 128
7.3　大數據在生物醫學領域的應用 129
7.3.1　大數據與流行病預測 129
7.3.2　大數據與智慧醫療 132
7.3.3　大數據與生物信息學 134
7.4　大數據在其他領域的應用 135
7.4.1　大數據與智慧物流 136
7.4.2　大數據與汽車行業 137
7.4.3　大數據與公共管理 141
7.4.4　大數據與教育行業 145
小結 147
習題 148
第8章　大數據隱私與安全 150
8.1　大數據面臨的隱私與安全問題 151
8.1.1　大數據隱私與安全的定義 151
8.1.2　影響大數據隱私與安全的
主要因素 152
8.1.3　大數據隱私與安全問題的
分類 153
8.2　大數據隱私與安全的防護策略 156
8.2.1　存儲安全策略 157
8.2.2　應用安全策略 158
8.2.3　管理安全策略 159
8.3　大數據隱私與安全的防護技術 162

8.3.1　數據采集與存儲安全技術 162
8.3.2　數據挖掘安全技術 166
8.3.3　數據發布安全技術 167
8.3.4　防范APT技術 168
小結 172
習題 173
參考文獻 175