大數(shù)據(jù)挖掘及應(yīng)用

目錄
第1章大數(shù)據(jù)挖掘及應(yīng)用概論1
1.1大數(shù)據(jù)智能分析處理的普及和應(yīng)用1
1.1.1云計(jì)算1
1.1.2大數(shù)據(jù)3
1.1.3云計(jì)算與大數(shù)據(jù)的智能應(yīng)用4
1.2大數(shù)據(jù)的發(fā)展及挑戰(zhàn)10
1.2.1大數(shù)據(jù)的發(fā)展催生三元空間世界10
1.2.2大數(shù)據(jù)智能分析處理面臨的挑戰(zhàn)12
1.3數(shù)據(jù)挖掘概述14
1.3.1數(shù)據(jù)挖掘的概念14
1.3.2數(shù)據(jù)挖掘的功能15
1.3.3數(shù)據(jù)挖掘運(yùn)用的技術(shù)16
1.3.4大數(shù)據(jù)挖掘與傳統(tǒng)數(shù)據(jù)挖掘16
1.4大數(shù)據(jù)挖掘的計(jì)算框架17
1.4.1大數(shù)據(jù)挖掘計(jì)算框架17
1.4.2大數(shù)據(jù)挖掘處理基本流程21
1.5大數(shù)據(jù)時(shí)代“互聯(lián)網(wǎng)+”的未來(lái):智能互聯(lián)23
1.6本書(shū)架構(gòu)26
1.7小結(jié)27
1.8習(xí)題27
1.9參考文獻(xiàn)28第2章數(shù)據(jù)認(rèn)知與預(yù)處理29
2.1數(shù)據(jù)分析的定義和流程30
2.1.1如何理解和描述數(shù)據(jù)分析的問(wèn)題30
2.1.2數(shù)據(jù)獲取與準(zhǔn)備31
2.1.3數(shù)據(jù)質(zhì)量評(píng)估32
2.2數(shù)據(jù)類(lèi)型33
2.2.1屬性的定義33
2.2.2標(biāo)稱屬性33
2.2.3二元屬性34
2.2.4序值屬性34
2.2.5數(shù)值屬性34
2.3數(shù)據(jù)的統(tǒng)計(jì)描述方法35
2.3.1數(shù)據(jù)的中心趨勢(shì)度量35
2.3.2數(shù)據(jù)的離散趨勢(shì)度量37
2.4數(shù)據(jù)對(duì)象關(guān)系的計(jì)算方法39
2.4.1數(shù)據(jù)相似性計(jì)算方法40
2.4.2數(shù)據(jù)相關(guān)性計(jì)算方法46
2.5數(shù)據(jù)準(zhǔn)備48
2.5.1數(shù)據(jù)清洗與集成48
2.5.2數(shù)據(jù)歸約52
2.5.3數(shù)據(jù)轉(zhuǎn)換58
2.6數(shù)據(jù)統(tǒng)計(jì)分析常用工具介紹61
2.6.1Excel統(tǒng)計(jì)分析工具61
2.6.2SPSS統(tǒng)計(jì)分析工具63
2.6.3SAS統(tǒng)計(jì)分析工具64
2.6.4R語(yǔ)言統(tǒng)計(jì)分析工具66
2.7SPSS案例分析68
2.7.1日志文件數(shù)據(jù)準(zhǔn)備68
2.7.2數(shù)據(jù)錄入與編輯68
2.7.3數(shù)據(jù)清洗與轉(zhuǎn)換70
2.7.4數(shù)據(jù)方差分析72
2.7.5數(shù)據(jù)相關(guān)性分析74
2.7.6數(shù)據(jù)間距離分析74
2.8小結(jié)77
2.9習(xí)題78
2.10參考文獻(xiàn)79第3章數(shù)據(jù)可視化80
3.1可視化簡(jiǎn)介80
3.2高維數(shù)據(jù)可視化81
3.2.1降維方法82
3.2.2非降維方法84
3.3網(wǎng)絡(luò)數(shù)據(jù)可視化90
3.3.1節(jié)點(diǎn)鏈接法90
3.3.2鄰接矩陣布局96
3.3.3混合布局98
3.4可視化案例分析99
3.4.1案例一:ChinaVIS2015競(jìng)賽題99
3.4.2案例二:VASTChallenge2016競(jìng)賽題107
3.5小結(jié)120
3.6習(xí)題121
3.7參考文獻(xiàn)122第4章數(shù)據(jù)關(guān)聯(lián)分析123
4.1數(shù)據(jù)關(guān)聯(lián)分析簡(jiǎn)介123
4.2基本概念125
4.2.1頻繁項(xiàng)集和關(guān)聯(lián)規(guī)則126
4.2.2閉項(xiàng)集和極大頻繁項(xiàng)集128
4.2.3稀有模式和負(fù)模式129
4.3Apriori算法130
4.3.1Apriori算法的核心思想131
4.3.2Apriori算法描述132
4.3.3改進(jìn)的Apriori算法133
4.4FPGrowth算法137
4.4.1FPGrowth算法的核心思想138
4.4.2FPGrowth算法描述139
4.5面向大數(shù)據(jù)的有效數(shù)據(jù)結(jié)構(gòu)142
4.6關(guān)聯(lián)規(guī)則有效性的評(píng)估方法143
4.6.1關(guān)聯(lián)規(guī)則興趣度評(píng)估144
4.6.2關(guān)聯(lián)規(guī)則相關(guān)度評(píng)估144
4.6.3其他相關(guān)評(píng)估度量方法146
4.7多維關(guān)聯(lián)規(guī)則挖掘148
4.8多層關(guān)聯(lián)規(guī)則挖掘151
4.9基于Python平臺(tái)的案例分析156
4.10小結(jié)158
4.11習(xí)題159
4.12參考文獻(xiàn)161第5章數(shù)據(jù)分類(lèi)分析163
5.1基本概念和術(shù)語(yǔ)163
5.1.1數(shù)據(jù)分類(lèi)163
5.1.2解決分類(lèi)問(wèn)題的一般方法165
5.2決策樹(shù)算法166
5.2.1決策樹(shù)歸納166
5.2.2決策樹(shù)構(gòu)建167
5.2.3屬性測(cè)試條件的表示方法169
5.2.4選擇最佳劃分的度量171
5.2.5決策樹(shù)歸納算法175
5.2.6樹(shù)剪枝176
5.2.7決策樹(shù)歸納的特點(diǎn)178
5.3貝葉斯分類(lèi)算法180
5.3.1貝葉斯定理181
5.3.2樸素貝葉斯分類(lèi)182
5.3.3貝葉斯信念網(wǎng)絡(luò)184
5.4支持向量機(jī)算法185
5.4.1數(shù)據(jù)線性可分的情況185
5.4.2數(shù)據(jù)非線性可分的情況189
5.5粗糙集分類(lèi)算法190
5.6分類(lèi)器評(píng)估方法191
5.6.1評(píng)估分類(lèi)器性能的度量192
5.6.2保持方法和隨機(jī)二次抽樣195
5.6.3交叉驗(yàn)證195
5.6.4自助法195
5.6.5使用統(tǒng)計(jì)顯著性檢驗(yàn)選擇模型196
5.7組合分類(lèi)器技術(shù)197
5.7.1組合分類(lèi)方法簡(jiǎn)介198
5.7.2裝袋198
5.7.3提升和AdaBoost199
5.7.4隨機(jī)森林200
5.7.5提高類(lèi)不平衡數(shù)據(jù)的分類(lèi)準(zhǔn)確率200
5.8惰性學(xué)習(xí)法（k最近鄰分類(lèi)）201
5.9基于Python平臺(tái)的案例分析203
5.9.1數(shù)據(jù)集準(zhǔn)備203
5.9.2算法描述204
5.9.3算法測(cè)試206
5.10小結(jié)209
5.11習(xí)題209
5.12參考文獻(xiàn)211第6章數(shù)據(jù)聚類(lèi)分析214
6.1基本概念和術(shù)語(yǔ)214
6.1.1聚類(lèi)分析簡(jiǎn)介215
6.1.2對(duì)聚類(lèi)的基本要求215
6.1.3聚類(lèi)分析方法216
6.2基于劃分的方法218
6.2.1kmeans算法218
6.2.2k中心點(diǎn)算法221
6.3基于層次的方法224
6.3.1凝聚的與分裂的層次聚類(lèi)224
6.3.2簇間距離度量225
6.4基于密度的方法229
6.4.1傳統(tǒng)的密度：基于中心的方法230
6.4.2DBSCAN算法231
6.5基于概率模型的聚類(lèi)方法233
6.5.1模糊聚類(lèi)233
6.5.2基于概率模型的聚類(lèi)235
6.5.3期望最大化算法237
6.6聚類(lèi)評(píng)估239
6.6.1聚類(lèi)趨勢(shì)的估計(jì)239
6.6.2聚類(lèi)簇?cái)?shù)的確定241
6.6.3聚類(lèi)質(zhì)量的測(cè)定242
6.7基于Python平臺(tái)的案例分析245
6.7.1數(shù)據(jù)準(zhǔn)備245
6.7.2聚類(lèi)分析結(jié)果探討246
6.8小結(jié)248
6.9習(xí)題249
6.10參考文獻(xiàn)253第7章深度學(xué)習(xí)255
7.1引言255
7.1.1發(fā)展背景255
7.1.2基本概念256
7.2深信網(wǎng)257
7.2.1玻爾茲曼機(jī)258
7.2.2受限玻爾茲曼機(jī)258
7.2.3深信網(wǎng)260
7.3深玻爾茲曼機(jī)264
7.4棧式自動(dòng)編碼器266
7.4.1自動(dòng)編碼器266
7.4.2棧式自動(dòng)編碼器267
7.5卷積神經(jīng)網(wǎng)絡(luò)269
7.5.1卷積269
7.5.2池化270
7.5.3CNN訓(xùn)練過(guò)程272
7.5.4CNN網(wǎng)絡(luò)構(gòu)造的案例分析276
7.6深度學(xué)習(xí)開(kāi)源框架278
7.6.1開(kāi)源框架簡(jiǎn)介278
7.6.2開(kāi)源案例分析278
7.7深度學(xué)習(xí)應(yīng)用技巧284
7.8小結(jié)285
7.9習(xí)題286
7.10參考文獻(xiàn)286第8章R語(yǔ)言288
8.1下載和安裝R語(yǔ)言288
8.1.1下載R語(yǔ)言288
8.1.2安裝R語(yǔ)言288
8.2使用R語(yǔ)言292
8.2.1運(yùn)行R語(yǔ)言292
8.2.2R語(yǔ)言常用操作294
8.2.3包的使用298
8.3R語(yǔ)言的數(shù)據(jù)結(jié)構(gòu)300
8.3.1向量300
8.3.2矩陣301
8.3.3數(shù)組302
8.3.4因子303
8.3.5列表304
8.3.6數(shù)據(jù)框305
8.4R語(yǔ)言的編程結(jié)構(gòu)306
8.4.1條件語(yǔ)句306
8.4.2循環(huán)語(yǔ)句308
8.5R語(yǔ)言的數(shù)據(jù)挖掘和圖形繪制包310
8.6實(shí)際案例312
8.7小結(jié)314
8.8習(xí)題314
8.9參考文獻(xiàn)315第9章Hadoop大數(shù)據(jù)分布式處理生態(tài)系統(tǒng)316
9.1Hadoop集群基礎(chǔ)316
9.1.1Hadoop安裝317
9.1.2Hadoop配置319
9.2HDFS基礎(chǔ)操作324
9.3MapReduce并行計(jì)算框架331
9.3.1MapReduce程序?qū)嵗篧ordCount332
9.3.2HadoopStreaming333
9.4基于Storm的分布式實(shí)時(shí)計(jì)算334
9.4.1Storm簡(jiǎn)介334
9.4.2Storm基本概念334
9.4.3Storm編程338
9.5基于SparkStreaming的分布式實(shí)時(shí)計(jì)算346
9.5.1Spark內(nèi)存計(jì)算框架346
9.5.2SparkStreaming簡(jiǎn)介347
9.5.3SparkStreaming編程349
9.6小結(jié)352
9.7參考文獻(xiàn)353第10章大數(shù)據(jù)分析算法的并行化355
10.1并行算法設(shè)計(jì)基礎(chǔ)355
10.1.1并行算法概念355
10.1.2并行計(jì)算模型356
10.1.3并行算法設(shè)計(jì)的策略和技術(shù)360
10.2典型數(shù)據(jù)挖掘算法并行化案例362
10.2.1MRkmeans算法分析362
10.2.2Mahout聚類(lèi)算法案例364
10.2.3SparkMLlib聚類(lèi)算法案例369
10.3大數(shù)據(jù)分析應(yīng)用案例371
10.3.1搜索引擎日志數(shù)據(jù)分析371
10.3.2出租車(chē)軌跡數(shù)據(jù)分析374
10.3.3新聞組數(shù)據(jù)分析377
10.4小結(jié)383
10.5習(xí)題383
10.6參考文獻(xiàn)384第11章大數(shù)據(jù)挖掘及應(yīng)用展望385
11.1大數(shù)據(jù)時(shí)代的發(fā)展回顧與展望385
11.1.1大數(shù)據(jù)發(fā)展回顧385
11.1.2從“小”到“大”的數(shù)據(jù)分析處理387
11.1.3大數(shù)據(jù)的智能分析與挖掘389
11.2大數(shù)據(jù)中的新數(shù)據(jù)類(lèi)型391
11.3大數(shù)據(jù)挖掘的新方法394
11.3.1深度學(xué)習(xí)394
11.3.2知識(shí)計(jì)算395
11.3.3社會(huì)計(jì)算396
11.3.4特異群組挖掘397
11.4未來(lái)發(fā)展趨勢(shì)398
11.5小結(jié)399
11.6參考文獻(xiàn)399