目 錄

第1章 大數據時代下的統計學 1

1.1　統計學——天使還是惡魔 2

【知識點】統計學的定義 2

1.2　概率——上帝的指引 3

【案例1】硬幣的指引 3

【案例2】賭徒的錯覺 4

【知識點1】隨機性 5

【知識點2】概率 5

1.3　小概率事件≠必然不會發生的事件 7

【案例】挑戰者號航天飛機失事 7

【知識點】“必然會發生”的事件和“必然不會發生”的事件 7

1.4　你真的了解數據嗎？ 8

【案例】淘寶的客戶評價體系 9

【知識點】數據的類型 10

1.5　數據來自哪里？ 11

【案例】大數據，大偏差——谷歌的流感預測模型真的靠譜嗎？ 12

【知識點1】二手數據 13

【知識點2】相關關系和因果關系 13

第2章 樣本魅影 15

2.1　樣本——窺一斑而見全豹，觀滴水而知滄海 16

【案例1】客戶滿意度調查 16

【案例2】救護車壟斷業務調查 17

【知識點】隨機樣本、方便樣本和自愿回應樣本 18

2.2　抽樣——嘗一勺鍋里的靚湯 20

【案例1】紅豆和綠豆 20

【案例2】“捉放法”估算魚苗成活率 21

【案例3】被解雇的市場調研部員工 22

【知識點1】簡單隨機抽樣 23

【知識點2】抽樣中存在的錯誤風險 24

【知識點3】訪問員 25

2.3　不回應誤差——沉默不是金 26

【案例】“不回應”的影響有多大 26

【知識點1】不回應 27

【知識點2】如何降低不回應率 27

2.4　措辭的藝術——僧推/敲月下門 29

【案例】幾字之差對民眾支持率的影響 29

【知識點1】響應誤差 30

【知識點2】有效性和可靠性 30

2.5　大數據時代，當“樣本”已成往事 32

【案例】Farecast，美國創業夢 32

【知識點】大數據的4V特征 33

第3章 描述數據 36

3.1　均值——可能會說謊的天平 37

【案例1】中關村創業者平均年齡39歲 37

【案例2】令人“啼笑皆非”的統計局數據 38

【知識點】均值計算 38

3.2　尋找中位數 39

【案例1】騰訊筆試題：大數據量尋找中位數 39

【案例2】淘寶賣家評分體系 40

【知識點1】求取中位數 42

【知識點2】四分位數 42

3.3　標準差、標準誤，傻傻分不清楚 45

【案例1】均值-方差證券資產組合理論 45

【案例2】語文成績調研 45

【知識點1】標準差 46

【知識點2】標準誤 47

3.4　數據可視化——“云想衣裳花想容” 49

【知識點1】什么是數據可視化？ 50

【知識點2】數據可視化的主要應用 50

【知識點3】數據可視化的工具 51

第4章 正態“女神” 53

4.1　期望——量化你的預期 54

【案例1】擲骰子和伯努利試驗 54

【案例2】賭場就是概率場 55

【知識點1】概率分布 56

【知識點2】期望 57

【知識點3】方差 59

4.2　大數定律——為什么十賭九輸 60

【案例1】澳門風云 60

【案例2】誰會是被騙的人 61

【知識點】大數定律 62

4.3　正態分布——大道至簡，大美天成 63

【案例】高爾頓釘板 63

【知識點】正態分布 64

4.4　中心極限定理 66

【案例】肯德基和麥當勞的博弈 66

【知識點】中心極限定理 67

第5章 統計推斷 70

5.1　點估計——統計學家比間諜干得漂亮 71

【案例1】第二次世界大戰中的德軍坦克數 71

【案例2】首家新鮮咖啡速遞服務企業 72

【知識點1】樣本統計量和總體參數 73

【知識點2】點估計 74

5.2　置信區間——責善切戒盡言 75

【案例】美國蓋洛普公司的民意調查 75

【知識點1】置信水平 76

【知識點2】置信區間 76

5.3　兩類錯誤：有罪被判無罪和無罪被判有罪哪個更嚴重 78

【案例1】法律中的人文精神 78

【案例2】抗擊埃博拉要避免兩類錯誤 79

【知識點1】零假設和備擇假設 80

【知識點2】兩類錯誤 81

5.4　假設檢驗——“湊巧”可以拒絕嗎？ 82

【案例1】奶茶情緣 82

【案例2】咖啡新鮮嗎？ 84

【知識點1】顯著性水平 85

【知識點2】p值 85

【知識點3】統計顯著 86

【知識點4】統計顯著對比實際顯著 86

【知識點5】假設檢驗對比置信區間 87

【知識點6】單側檢驗對比雙側檢驗 87

5.5　p 值——打開“潘多拉魔盒”的鑰匙 89

【案例】p值變了，結果就變了 90

【知識點1】p值的歷史和思想 91

【知識點2】p值誤用 92

第6章 變量間的關系 94

6.1　卡方分析——細膩的眼神里豈容得半粒沙 94

【案例1】仙道遲到事件發生率分析 94

【案例2】性別和文化程度是相互獨立的嗎？ 95

【知識點1】卡方分布 96

【知識點2】卡方檢驗 97

6.2　相關性分析——早起的鳥兒有蟲吃 100

【案例1】早起的鳥兒有蟲吃 100

【案例2】化妝品銷售額與廣告費的關系分析 101

【知識點1】相關關系 102

【知識點2】相關分析 103

【知識點3】相關表、相關圖和相關系數 104

【知識點4】t統計量 105

6.3　ANOVA——地域，我們沒有什么不同 105

【案例】“地域歧視”問題 105

【知識點1】方差分析 106

【知識點2】方差分析統計模型 107

【知識點3】離差平方和及其分解 109

【知識點4】均方 110

【知識點5】F統計量 111

【知識點6】方差分析表 112

6.4　回歸分析——對不起，其實我也想長高 116

【案例1】子女身高的遺傳發現 116

【案例2】身高的地區差異分析 117

【知識點1】回歸分析 118

【知識點2】隨機誤差項 119

【知識點3】*小二乘法 119

【知識點4】回歸分析T檢驗 121

【知識點5】回歸分析F檢驗 122

【知識點6】擬合優度 123

第7章 統計雜談 124

7.1　為什么對回歸情有獨鐘 124

【回歸和電影】 126

【回歸和手游】 128

7.2　調查問卷中的分類變量 132

【疼痛】 133

【Rank-Invariant】 135

【Svensson Method】 135

【工作環境和員工滿意度】 137

7.3　條件概率 139

【生男生女的問題】 140

【門后的世界：到底是誰錯了】 141

7.4　極大似然估計——看起來*像 144

【白狐，iPhone 6 Plus和房價】 144

7.5　統計軟件 146

【名門閨秀SAS】 147

【國民初戀SPSS】 148

【小家碧玉Stata，Minitab，Excel】 148

【清新蘿莉R】 150

7.6　貝葉斯 151

【起源】 152

【核心思想】 153

【自拍桿和藍牙耳機】 155

7.7　來自星星的統計陷阱 157

【問卷調查的潛在陷阱】 157

【王老吉狀告加多寶】 158

第8章 大數據，在水一方 161

8.1　洛陽紙貴——大數據思維 161

【案例1】罩杯和“敗家”程度 166

【案例2】外灘踩踏事件 168

【案例3】大數據和途牛網 170

8.2　大數據驅動運營 171

【案例】DataEye，數據驅動手游運營 176

8.3　商業智能——決策者的錦囊 178

【案例】廣告業的商業智能 179

8.4　市場智能——商業智能的衍生智慧 180

8.5　消費智能——當數據成為一種服務 183