數(shù)據(jù)天才：數(shù)據(jù)科學家修煉之道

第1章 數(shù)據(jù)科學是什么 1
-真?zhèn)螖?shù)據(jù)科學對比 2
- - 偽數(shù)據(jù)科學的兩個例子 5
- - 新大學的面貌 7
-數(shù)據(jù)科學家 10
- - 數(shù)據(jù)科學家與數(shù)據(jù)工程師 10
- - 數(shù)據(jù)科學家與統(tǒng)計學家 12
- - 數(shù)據(jù)科學家與業(yè)務分析師 13
-13個真實世界情景中的數(shù)據(jù)科學應用 14
- - 情景1：國家對烈性酒銷售的壟斷結束后，DUI（酒后駕駛）逮捕量減少 15
- - 情景2：數(shù)據(jù)科學與直覺 17
- - 情景3：數(shù)據(jù)故障將數(shù)據(jù)變成亂碼 19
- - 情景4：異常空間的回歸 21
- - 情景5：分析與誘導在提升銷量上有何不同價值 22
- - 情景6：關于隱藏數(shù)據(jù) 24
- - 情景7：汽油中的鉛會導致高犯罪率。真的嗎 25
- - 情景8：波音787（夢幻客機）問題 26
- - 情景9：NLP的7個棘手句子 27
- - 情景10：數(shù)據(jù)科學家決定著我們所吃的食品 28
- - 情景11：用較好的相關性增加亞馬遜的銷售量 30
- - 情景12：檢測Facebook上的假檔案或假“喜歡”數(shù) 32
- - 情景13：餐廳的分析 33
-數(shù)據(jù)科學的歷史、開拓者和現(xiàn)代趨勢 33
- - 統(tǒng)計學將會復興 34
- - 歷史與開拓者 36
- - 現(xiàn)代的趨勢 38
- - 最近的問答討論 40
-總結 44
第2章 大數(shù)據(jù)的獨特性 45
-兩個大數(shù)據(jù)的問題 45
- - 大數(shù)據(jù)“詛咒” 45
- - 數(shù)據(jù)快速流動問題 50
-大數(shù)據(jù)技術示例 56
- - 大數(shù)據(jù)問題是數(shù)據(jù)科學所面臨挑戰(zhàn)的縮影 56
- - 大規(guī)模數(shù)據(jù)集的聚類和分類 58
- - 1億行的Excel 63
-MapReduce不能做什么 67
- - 問題 67
- - 3種解決方案 68
- - 結論：何時使用MapReduce 69
-溝通問題 70
-數(shù)據(jù)科學：統(tǒng)計學的終結 72
- - 8種最差的預測建模技術 72
- - 把計算機科學、統(tǒng)計學和行業(yè)專業(yè)知識結合在一起 74
-大數(shù)據(jù)生態(tài)系統(tǒng) 78
-總結 79
第3章 成為一名數(shù)據(jù)科學家 80
-數(shù)據(jù)科學家的主要特征 80
- - 數(shù)據(jù)科學家的職能 80
- - 橫向與縱向數(shù)據(jù)科學家 83
-數(shù)據(jù)科學家的類型 86
- - 偽數(shù)據(jù)科學家 86
- - 自學成才的數(shù)據(jù)科學家 86
- - 業(yè)余數(shù)據(jù)科學家 87
- - 極限數(shù)據(jù)科學家 89
-數(shù)據(jù)科學家人群特征 90
-數(shù)據(jù)科學方面的培訓 91
- - 大學課程 91
- - 公司和協(xié)會培訓項目 95
- - 免費培訓項目 96
-數(shù)據(jù)科學家職業(yè)道路 98
- - 獨立顧問 98
- - 創(chuàng)業(yè)者 105
-總結 118
第4章 數(shù)據(jù)科學的技術（I） 119
-新型指標 120
- - 優(yōu)化數(shù)字營銷活動的指標 121
- - 欺詐檢測的指標 122
-選擇合適的分析工具 124
- - 分析軟件 124
- - 可視化工具 125
- - 實時產品 126
- - 編程語言 128
-可視化 128
- - 用R生成數(shù)據(jù)視頻 129
- - 更復雜的視頻 133
-無模型的統(tǒng)計建模 134
- - 無模型的統(tǒng)計建模是什么 135
- - 該算法是如何工作的 135
- - 源代碼生成數(shù)據(jù)集 137
-三類指標：中心性、波動性、顛簸性 137
- - 中心性、波動性和顛簸性之間的關系 138
- - 定義顛簸性 138
- - 在Excel中計算顛簸性 139
- - 使用顛簸系數(shù) 141
-大數(shù)據(jù)的統(tǒng)計聚類 141
-大數(shù)據(jù)的相關性和擬合度 143
- - 一系列新的秩相關性 146
- - 漸近分布與歸一化 148
- - -計算復雜度 152
- - 計算q(n) 152
- - 理論上的解決方案 155
-結構系數(shù) 156
-確定簇的數(shù)量 157
- - 方法 157
- - 例子 158
-網(wǎng)絡拓撲映射 159
-安全通信：數(shù)據(jù)加密 163
-總結 166
第5章 數(shù)據(jù)科學的技術（II） 167
-數(shù)據(jù)字典 168
- - 什么是數(shù)據(jù)字典 168
- - 建立數(shù)據(jù)字典 169
-隱性決策樹 169
- - 實現(xiàn)方法 171
- - 示例：互聯(lián)網(wǎng)流量打分 173
- - 結論 175
-與模型無關的置信區(qū)間 175
- - 方法 175
- - 分析橋第一定理 176
- - 應用 177
- - 源代碼 178
-隨機數(shù) 179
-解決問題的4個辦法 181
- - 擁有超強直覺能力的業(yè)務分析師的直觀法 182
- - 軟件工程師的蒙特卡洛模擬法 182
- - 統(tǒng)計學家的統(tǒng)計建模方法 183
- - 計算機科學家的大數(shù)據(jù)方法 183
-因果關系和相關性 183
-怎樣檢測因果關系 184
-數(shù)據(jù)科學項目的生命周期 186
-預測模型的錯誤 189
-邏輯相關回歸 191
- - 變量之間的相互作用 191
- - 一階近似 191
- - 二階近似 193
- - 用Excel進行回歸分析 195
-實驗設計 196
- - 有趣的指標 196
- - 把患者分成不同的人群進行治療 196
- - 私人定制的治療 197
-分析即服務和應用程序接口 198
- - 工作原理 199
- - 實施案例 199
- - 關鍵詞相關的API的源代碼 200
-其他主題 204
- - 當數(shù)據(jù)庫改變時，保存好數(shù)值 204
- - 優(yōu)化網(wǎng)絡爬蟲 205
- - 哈希連接 206
- - 用于模擬簇的簡單源代碼 207
-Hadoop和大數(shù)據(jù)的新型合成方差 208
- - Hadoop和MapReduce的介紹 208
- - 綜合指標 209
- - Hadoop、數(shù)值的和統(tǒng)計的穩(wěn)定性 210
- - 方差的抽象概念 211
- - 一個新的大數(shù)據(jù)定理 213
- - 平移不變性的度量標準 214
- - 實現(xiàn)：通信和計算成本 214
- - 最終意見 215
-總結 215
第6章 數(shù)據(jù)科學應用案例研究 217
-股票市場 217
- - 使回報率提高500%的模式 217
- - 優(yōu)化統(tǒng)計交易策略 220
- - 股票交易的API：統(tǒng)計模型 222
- - 股票交易的API：具體實現(xiàn) 225
- - 股票市場模擬 226
- - 些許數(shù)學知識 229
- - 新趨勢 231
-加密 232
- - 數(shù)據(jù)科學應用：隱寫術 232
- - 好的電子郵件加密 236
- - 驗證碼破解 239
-欺詐檢測 240
- - 點擊欺詐 241
- - 連續(xù)點擊評分與二進制欺詐/非欺詐 242
- - 數(shù)學模型與基準 244
- - 虛假轉化產生的偏差 245
- - 一些誤解 246
- - 統(tǒng)計面臨的挑戰(zhàn) 246
- - 點擊評分優(yōu)化關鍵詞出價 247
- - 組合優(yōu)化自動快速的特征選擇 249
- - 特征的預測能力：交叉驗證 250
- - 勾連檢測和僵尸網(wǎng)絡的關聯(lián)規(guī)則檢測 254
- - 模式檢測的極值理論 255
-數(shù)字分析 256
- - 在線廣告：到達率和頻率的計算公式 256
- - 電子郵件營銷：提高300%的性能 257
- - 在7天內優(yōu)化關鍵詞廣告宣傳活動 258
- - 自動新聞提要優(yōu)化 260
- - 用bit-ly進行競爭情報分析 261
- - 測量 Twitter 哈希標簽（hashtag）的收益 263
- - 用3個修補方法提升谷歌搜索 267
- - 改進相關性的算法 270
- - 廣告循環(huán)問題 272
-雜項 273
- - 簡單模型會獲得更好的銷售預測 273
- - 更好的醫(yī)療欺詐檢測 275
- - 歸因模型 276
- - 預測隕石撞擊 277
- - 在路口停車場收集數(shù)據(jù) 281
- - 數(shù)據(jù)科學的其他應用 282
-總結 282
第7章 踏上你的數(shù)據(jù)科學職業(yè)之路 283
-面試問題 283
- - 關于工作經驗的問題 283
- - 技術問題 285
- - 一般性問題 286
- - 關于數(shù)據(jù)科學項目的問題 288
-測試你自己的視覺和分析思維 291
- - 通過肉眼的檢測模式 292
- - 識別偏差 294
- - 誤導性的時間序列和隨機游走 295
-從統(tǒng)計學家到數(shù)據(jù)科學家 296
- - 數(shù)據(jù)科學家也是統(tǒng)計從業(yè)人員 297
- - 誰應該給數(shù)據(jù)科學家教統(tǒng)計學 298
- - 雇傭問題 298
- - 數(shù)據(jù)科學家與數(shù)據(jù)架構師密切合作 299
- - 誰應該參與戰(zhàn)略思考 299
- - 兩種類型的統(tǒng)計學家 300
- - 大數(shù)據(jù)與取樣 301
-數(shù)據(jù)科學家的分類 302
- - 數(shù)據(jù)科學最流行的技能集合 302
- - LinkedIn上的頂級數(shù)據(jù)科學家 306
-400個數(shù)據(jù)科學家職位頭銜 309
-薪酬調查 311
- - 根據(jù)技能和位置的薪酬分類 312
- - 創(chuàng)建自己的薪酬調查表 316
-總結 317
第8章 數(shù)據(jù)科學資源 318
-專業(yè)資源 318
- - 數(shù)據(jù)集 318
- - 書籍 319
- - 會議與組織 322
- - 網(wǎng)站 324
- - 概念定義 324
-職業(yè)建設資源 327
- - 招聘數(shù)據(jù)科學家的公司 328
- - 數(shù)據(jù)科學招聘廣告的樣本 329
- - 簡歷樣本 329
-總結 331