數(shù)據(jù)科學(xué)理論與實(shí)踐

第1章基礎(chǔ)理論
如何開始學(xué)習(xí)
1.1術(shù)語定義
1.2研究目的
1.3發(fā)展簡史
1.4理論體系
1.5基本原則
1.6數(shù)據(jù)科學(xué)家
如何繼續(xù)學(xué)習(xí)
習(xí)題
參考文獻(xiàn)
第2章理論基礎(chǔ)
如何開始學(xué)習(xí)
2.1數(shù)據(jù)科學(xué)的學(xué)科地位
2.2統(tǒng)計(jì)學(xué)
2.3機(jī)器學(xué)習(xí)
2.4數(shù)據(jù)可視化
如何繼續(xù)學(xué)習(xí)
習(xí)題
參考文獻(xiàn)
第3章流程與方法
如何開始學(xué)習(xí)
3.1基本流程
3.2數(shù)據(jù)加工
3.3數(shù)據(jù)審計(jì)
3.4數(shù)據(jù)分析
3.5數(shù)據(jù)可視化
3.6數(shù)據(jù)故事化
3.7項(xiàng)目管理
如何繼續(xù)學(xué)習(xí)
習(xí)題
參考文獻(xiàn)
第4章技術(shù)與工具
如何開始學(xué)習(xí)
4.1技術(shù)體系
4.2MapReduce
4.3Hadoop
4.4Spark
4.5NoSQL與NewSQL
4.6R與Python
4.7發(fā)展趨勢
如何繼續(xù)學(xué)習(xí)
習(xí)題
參考文獻(xiàn)
第5章數(shù)據(jù)產(chǎn)品及開發(fā)
如何開始學(xué)習(xí)
5.1定義
5.2主要特征
5.3關(guān)鍵活動(dòng)
5.4數(shù)據(jù)柔術(shù)
5.5數(shù)據(jù)能力
5.6數(shù)據(jù)戰(zhàn)略
5.7數(shù)據(jù)治理
如何繼續(xù)學(xué)習(xí)
習(xí)題
參考文獻(xiàn)
第6章典型案例及實(shí)踐
如何開始學(xué)習(xí)
6.12012年美國總統(tǒng)大選
6.2統(tǒng)計(jì)分析
6.3機(jī)器學(xué)習(xí)
6.4數(shù)據(jù)可視化
6.5SparkR編程
如何繼續(xù)學(xué)習(xí)
習(xí)題
參考文獻(xiàn)
附錄AR語言學(xué)習(xí)筆記與參考手冊
學(xué)習(xí)與參考指南
1. R變量定義方法
2. R語句的寫法
3. R中的賦值語句
4. R的文件讀寫路徑——當(dāng)前工作目錄
5. R的變量查找機(jī)制——搜索路徑
6. R中查看幫助的方法
7. R區(qū)分大小寫字母
8. R的注釋
9. R的語句
10. R中的變量命名規(guī)范
11. R中的關(guān)鍵字/保留字
12. R中的默認(rèn)數(shù)據(jù)類型
13. R中數(shù)據(jù)類型的判斷與強(qiáng)制類型轉(zhuǎn)換
14. R中的向量
15. R中的列表
16. R中的數(shù)據(jù)框
17. R中的因子類型
18. R中的循環(huán)語句
19. R中的選擇語句
20. R中的特殊運(yùn)算符
21. R中的快速生成數(shù)列的方法
22. R中自定義函數(shù)
23. R中常用的數(shù)學(xué)函數(shù)
24. R中的字符串處理函數(shù)
25. R中的常用統(tǒng)計(jì)函數(shù)
26. R中的隨機(jī)數(shù)
27. R包的用法
28. R中的矩陣
29. R中的數(shù)組
30. R中的面向?qū)ο缶幊?br />31. R中的S4類
32. R中的數(shù)據(jù)可視化
33. R的輸入輸出
34. R中的正則表達(dá)式
35. R的數(shù)據(jù)集
36. R第三方包——R的靈魂
37. 基于R的數(shù)據(jù)加工
附錄B數(shù)據(jù)科學(xué)的重要資源
1. 學(xué)術(shù)期刊
2. 國際會(huì)議
3. 研究機(jī)構(gòu)
4. 課程資源
5. 碩士學(xué)位項(xiàng)目
6. 專家學(xué)者
7. 相關(guān)工具
附錄C術(shù)語索引
后記
圖目錄
圖11DIKW金字塔2
圖12數(shù)據(jù)與數(shù)值的區(qū)別3
圖13大數(shù)據(jù)的本質(zhì)4
圖14大數(shù)據(jù)的特征5
圖15DIKUW模型及應(yīng)用8
圖16數(shù)據(jù)洞見8
圖17業(yè)務(wù)數(shù)據(jù)化與數(shù)據(jù)業(yè)務(wù)化9
圖18常用驅(qū)動(dòng)方式9
圖19數(shù)據(jù)的層次性9
圖110大數(shù)據(jù)生態(tài)系統(tǒng)10
圖111Gartner技術(shù)成熟度曲線11
圖112數(shù)據(jù)科學(xué)的萌芽期（1974—2009年）11
圖113數(shù)據(jù)科學(xué)的快速發(fā)展期（2010—2013年）12
圖114數(shù)據(jù)科學(xué)的逐漸成熟期（2014年至今）13
圖115數(shù)據(jù)科學(xué)的理論體系14
圖116數(shù)據(jù)科學(xué)的主要內(nèi)容15
圖117數(shù)據(jù)科學(xué)的“三世界原則”16
圖118數(shù)據(jù)科學(xué)的“三個(gè)要素”及“3C精神”17
圖119數(shù)據(jù)范式與知識范式的區(qū)別18
圖120數(shù)據(jù)管理范式的變化18
圖121大數(shù)據(jù)的資產(chǎn)屬性19
圖122常用驅(qū)動(dòng)方式20
圖123CAPTCHA項(xiàng)目21
圖124ReCAPTCHA項(xiàng)目21
圖125數(shù)據(jù)與算法之間的關(guān)系22
圖126BellKors Pragmatic Chaos團(tuán)隊(duì)獲得Netflix獎(jiǎng)23
圖127Netflix獎(jiǎng)公測結(jié)果23
圖128RStudio中編輯Markdown的窗口25
圖129數(shù)據(jù)科學(xué)家團(tuán)隊(duì)28
圖130學(xué)習(xí)數(shù)據(jù)科學(xué)的四則原則29
圖21數(shù)據(jù)科學(xué)的理論基礎(chǔ)35
圖22統(tǒng)計(jì)方法的分類（目的與思路視角）37
圖23統(tǒng)計(jì)學(xué)中的數(shù)據(jù)推斷37
圖24數(shù)據(jù)統(tǒng)計(jì)方法的類型（方法論視角）38
圖25數(shù)據(jù)統(tǒng)計(jì)基本方法38
圖26元分析與基本分析39
圖27GFT預(yù)測與美國疾病控制中心數(shù)據(jù)的對比40
圖28GFT估計(jì)與實(shí)際數(shù)據(jù)的誤差（2013年2月）40
圖29大數(shù)據(jù)時(shí)代的思維模式的轉(zhuǎn)變41
圖210西洋雙陸棋42
圖211自動(dòng)駕駛42
圖212機(jī)器學(xué)習(xí)的基本思路42
圖213機(jī)器學(xué)習(xí)的三要素44
圖214機(jī)器學(xué)習(xí)的類型45
圖215KNN算法的基本步驟46
圖216決策樹示例——識別鳥類48
圖217感知器示例50
圖218前向神經(jīng)網(wǎng)絡(luò)50
圖219歸納學(xué)習(xí)與分析學(xué)習(xí)52
圖220增強(qiáng)學(xué)習(xí)53
圖221IBM Watson54
圖222Pepper機(jī)器人54
圖223機(jī)器學(xué)習(xí)及其應(yīng)用55
圖224Anscombe四組數(shù)據(jù)的可視化57
圖225John Snow的鬼地圖（Ghost Map）58
圖31數(shù)據(jù)科學(xué)的基本流程62
圖32量化自我63
圖33整齊數(shù)據(jù)與干凈數(shù)據(jù)的區(qū)別64
圖34整齊數(shù)據(jù)示意圖64
圖35殘差67
圖36數(shù)據(jù)分析的類型68
圖37Analytics 1.0~3.069
圖38數(shù)據(jù)加工方法70
圖39數(shù)據(jù)審計(jì)與數(shù)據(jù)清洗71
圖310缺失數(shù)據(jù)的處理步驟72
圖311冗余數(shù)據(jù)的處理方法72
圖312數(shù)據(jù)分箱處理的步驟與類型73
圖313均值平滑與邊界值平滑74
圖314內(nèi)容集成76
圖315結(jié)構(gòu)集成76
圖316數(shù)據(jù)脫敏處理77
圖317數(shù)據(jù)連續(xù)性的定義及重要性81
圖318可視化審計(jì)82
圖319Gartner分析學(xué)價(jià)值扶梯模型83
圖320冰激凌的銷量與謀殺案的發(fā)生數(shù)量84
圖321數(shù)據(jù)分析的類型86
圖322拿破侖進(jìn)軍俄國慘敗而歸的歷史事件的可視化87
圖323可視化分析學(xué)的相關(guān)學(xué)科87
圖324可視化分析學(xué)模型88
圖325數(shù)據(jù)可視化的方法體系89
圖326視覺圖形元素與視覺通道89
圖327雷達(dá)圖示例89
圖328齊美爾連帶89
圖329視覺隱喻的示例——美國政府機(jī)構(gòu)的設(shè)置90
圖330地鐵路線圖的創(chuàng)始人Henry Beck91
圖331Henry Beck的倫敦地鐵線路圖91
圖332視覺突出的示例92
圖333完圖法則的示例92
圖334視覺通道的選擇與展示94
圖335視覺通道的精確度對比94
圖336視覺通道的可辨認(rèn)性——某公司產(chǎn)品銷售示意圖95
圖337視覺通道的可分離性差95
圖338上下文導(dǎo)致視覺假象196
圖339上下文導(dǎo)致視覺假象296
圖340對亮度和顏色的相對判斷容易造成視覺假象的示例96
圖341數(shù)據(jù)可視化與數(shù)據(jù)故事化描述97
圖342數(shù)據(jù)的故事化描述及故事的展現(xiàn)98
圖343項(xiàng)目管理的主要內(nèi)容101
圖344數(shù)據(jù)科學(xué)項(xiàng)目的基本流程102
圖41大數(shù)據(jù)產(chǎn)業(yè)全景圖107
圖42基礎(chǔ)設(shè)施108
圖43分析工具109
圖44企業(yè)應(yīng)用109
圖45行業(yè)應(yīng)用110
圖46跨平臺基礎(chǔ)設(shè)施和分析工具110
圖47開源系統(tǒng)111
圖48數(shù)據(jù)源與Apps111
圖49數(shù)據(jù)資源111
圖410MapReduce執(zhí)行過程113
圖411MapReduce對中間數(shù)據(jù)的處理116
圖412以MapReduce為核心和以YARN為核心的軟件棧對比118
圖413下一代MapReduce框架118
圖414Apache Hadoop官網(wǎng)119
圖415Apache Hadoop生態(tài)系統(tǒng)119
圖416Hadoop MapReduce數(shù)據(jù)處理流程121
圖417Apache Hive官網(wǎng)122
圖418Apache Pig官網(wǎng)123
圖419Apache Mahout官網(wǎng)124
圖420Apache HBase官網(wǎng)125
圖421HBase與Hadoop項(xiàng)目125
圖422HBase邏輯模型126
圖423Apache Zookeeper官網(wǎng)127
圖424Apache Flume官網(wǎng)127
圖425Apache Sqoop官網(wǎng)128
圖426Spark 技術(shù)架構(gòu)130
圖427Spark執(zhí)行流程130
圖428Spark Scheduler134
圖429傳統(tǒng)關(guān)系數(shù)據(jù)庫的優(yōu)點(diǎn)與缺點(diǎn)136
圖430關(guān)系數(shù)據(jù)庫與NoSQL數(shù)據(jù)庫之間的關(guān)系138
圖431NoSQL數(shù)據(jù)分布的兩個(gè)基本途徑139
圖432分片處理140
圖433主從復(fù)制141
圖434對等復(fù)制142
圖435數(shù)據(jù)不一致性142
圖436CAP理論143
圖437Memcached官網(wǎng)146
圖438一致性散列的分配方式147
圖439服務(wù)器增加時(shí)的變化147
圖440計(jì)算模式的演變150
圖441數(shù)據(jù)管理的新變化152
圖51數(shù)據(jù)產(chǎn)品開發(fā)中的數(shù)據(jù)與數(shù)據(jù)柔術(shù)157
圖52數(shù)據(jù)產(chǎn)品開發(fā)與數(shù)據(jù)柔術(shù)160
圖53數(shù)據(jù)產(chǎn)品的多樣性160
圖54數(shù)據(jù)產(chǎn)品的層次性161
圖55Google全球商機(jī)洞察（Global Market Finder）162
圖56數(shù)據(jù)產(chǎn)品鏈162
圖57傳統(tǒng)產(chǎn)品開發(fā)與數(shù)據(jù)產(chǎn)品開發(fā)的區(qū)別163