大數(shù)據(jù)分析與算法

譯者序
前言
第1章　緒論 1
1.1　引言 1
1.2　數(shù)據(jù)科學(xué)的歷史 2
1.3　現(xiàn)代商業(yè)中數(shù)據(jù)科學(xué)的重要性 3
1.4　數(shù)據(jù)科學(xué)家 5
1.5　三維數(shù)據(jù)科學(xué)活動 6
1.5.1　管理數(shù)據(jù)流 7
1.5.2　處理數(shù)據(jù)管理 8
1.5.3　數(shù)據(jù)分析 11
1.6　數(shù)據(jù)科學(xué)與其他領(lǐng)域交叉 11
1.7　數(shù)據(jù)分析思維 13
1.8　應(yīng)用領(lǐng)域 13
1.8.1　資源的可持續(xù)發(fā)展 13
1.8.2　利用社交平臺進(jìn)行各種活動 14
1.8.3　智能Web應(yīng)用 14
1.8.4　Google自動統(tǒng)計員項目 15
1.9　應(yīng)用計算智能管理數(shù)據(jù)科學(xué)活動 15
1.10　商業(yè)中的數(shù)據(jù)科學(xué)場景 17
1.11　有助于數(shù)據(jù)科學(xué)的工具和技術(shù) 17
1.11.1　數(shù)據(jù)清洗工具 18
1.11.2　數(shù)據(jù)管理和建模工具 19
1.11.3　數(shù)據(jù)可視化工具 20
1.12　練習(xí) 21
參考文獻(xiàn) 22
第2章　數(shù)據(jù)分析 23
2.1　引言 23
2.2　跨行業(yè)標(biāo)準(zhǔn)過程 24
2.3　數(shù)據(jù)分析生命周期 25
2.4　數(shù)據(jù)科學(xué)項目生命周期 27
2.5　數(shù)據(jù)分析的復(fù)雜性 28
2.6　從數(shù)據(jù)到洞察力 30
2.7　構(gòu)建分析能力：銀行案例 31
2.8　數(shù)據(jù)質(zhì)量 32
2.9　數(shù)據(jù)準(zhǔn)備過程 33
2.10　溝通分析結(jié)果 34
2.10.1　溝通分析結(jié)果的策略 34
2.10.2　數(shù)據(jù)可視化 35
2.10.3　可視化技術(shù) 36
2.11　練習(xí) 37
參考文獻(xiàn) 37
第3章　基本學(xué)習(xí)算法 38
3.1　從數(shù)據(jù)中學(xué)習(xí) 38
3.2　監(jiān)督學(xué)習(xí) 40
3.2.1　線性回歸 40
3.2.2　決策樹 41
3.2.3　隨機(jī)森林 46
3.2.4　k-近鄰算法 47
3.2.5　邏輯回歸 49
3.2.6　模型組合器 50
3.2.7　樸素貝葉斯 53
3.2.8　貝葉斯信念網(wǎng)絡(luò) 54
3.2.9　支持向量機(jī) 56
3.3　無監(jiān)督學(xué)習(xí) 57
3.3.1　Apriori 算法 58
3.3.2　k-means算法 60
3.3.3　用于數(shù)據(jù)壓縮的降維 62
3.4　強(qiáng)化學(xué)習(xí) 62
3.5　案例研究：使用機(jī)器學(xué)習(xí)進(jìn)行市場營銷活動 65
3.6　練習(xí) 66
參考文獻(xiàn) 67
第4章　模糊邏輯 68
4.1　引言 68
4.2　模糊隸屬函數(shù) 70
4.2.1　三角形隸屬函數(shù) 71
4.2.2　梯形隸屬函數(shù) 71
4.2.3　高斯隸屬函數(shù) 71
4.2.4　sigmoid隸屬函數(shù) 72
4.3　隸屬值分配方法 72
4.4　模糊化與解模糊化方法 73
4.5　模糊集合操作 73
4.5.1　模糊集合的并集 74
4.5.2　模糊集合的交集 74
4.5.3　模糊集合的補(bǔ)集 74
4.6　模糊集合性質(zhì) 76
4.7　模糊關(guān)系 76
4.8　模糊命題 79
4.8.1　模糊連接詞 79
4.8.2　析取 79
4.8.3　合取 80
4.8.4　否定 80
4.8.5　蘊(yùn)含 80
4.9　模糊推理 80
4.10　基于模糊規(guī)則的系統(tǒng) 81
4.11　數(shù)據(jù)科學(xué)的模糊邏輯 82
4.11.1　應(yīng)用1：Web內(nèi)容挖掘 83
4.11.2　應(yīng)用2：Web結(jié)構(gòu)挖掘 84
4.11.3　應(yīng)用3：Web使用挖掘 85
4.11.4　應(yīng)用4：環(huán)境和社交數(shù)據(jù)處理 86
4.12　用模糊邏輯進(jìn)行數(shù)據(jù)科學(xué)活動的工具和技術(shù) 87
4.13　練習(xí) 88
參考文獻(xiàn) 88
第5章　人工神經(jīng)網(wǎng)絡(luò) 89
5.1　引言 89
5.2　符號學(xué)習(xí)方法 90
5.3　人工神經(jīng)網(wǎng)絡(luò)及其特點(diǎn) 91
5.4　ANN模型 93
5.4.1　Hopfield模型 93
5.4.2　感知器模型 94
5.4.3　多層感知器 96
5.4.4　多層感知器的深度學(xué)習(xí) 98
5.4.5　其他ANN模型 100
5.4.6　線性回歸與神經(jīng)網(wǎng)絡(luò) 101
5.5　ANN工具和程序 102
5.6　社交網(wǎng)絡(luò)平臺上的情感挖掘 103
5.6.1　情感挖掘相關(guān)工作 103
5.6.2　廣泛架構(gòu) 104
5.6.3　神經(jīng)網(wǎng)絡(luò)設(shè)計 104
5.7　應(yīng)用與挑戰(zhàn) 106
5.8　關(guān)注點(diǎn) 107
5.9　練習(xí) 108
參考文獻(xiàn) 109
第6章　遺傳算法與進(jìn)化計算 111
6.1　引言 111
6.2　遺傳算法 112
6.3　遺傳算法的基本原理 114
6.3.1　個體編碼 114
6.3.2　變異 114
6.3.3　交叉 115
6.3.4　適應(yīng)度函數(shù) 116
6.3.5　選擇 116
6.3.6　其他編碼策略 117
6.4　利用遺傳算法進(jìn)行函數(shù)優(yōu)化的實(shí)例 118
6.5　模式與模式定理 120
6.5.1　實(shí)例、定義位和模式順序 120
6.5.2　模式的重要性 121
6.6　基于特殊應(yīng)用的遺傳算子 121
6.7　進(jìn)化編程 123
6.8　遺傳算法在醫(yī)療保健中的應(yīng)用 124
6.8.1　醫(yī)療保健案例 124
6.8.2　基于遺傳算法的病人調(diào)度系統(tǒng) 125
6.8.3　編碼候選者 127
6.8.4　種群上的操作 127
6.8.5　其他應(yīng)用 128
6.9　練習(xí) 130
參考文獻(xiàn) 131
第7章　其他元啟發(fā)式和分類方法 132
7.1　引言 132
7.2　自適應(yīng)記憶過程 132
7.2.1　禁忌搜索 133
7.2.2　分散搜索 134
7.2.3　路徑重連 136
7.3　群體智能 136
7.3.1　蟻群優(yōu)化 137
7.3.2　人工蜂群算法 138
7.3.3　河流形成動力學(xué) 139
7.3.4　粒子群優(yōu)化 139
7.3.5　隨機(jī)擴(kuò)散搜索 141
7.3.6　群體智能與大數(shù)據(jù) 142
7.4　案例推理 142
7.4.1　案例推理中的學(xué)習(xí) 144
7.4.2　案例推理與數(shù)據(jù)科學(xué) 145
7.4.3　處理復(fù)雜的領(lǐng)域 146
7.5　粗糙集 146
7.6　練習(xí) 148
參考文獻(xiàn) 148
第8章　分析和大數(shù)據(jù) 149
8.1　引言 149
8.2　傳統(tǒng)分析與大數(shù)據(jù)分析 150
8.3　大規(guī)模并行處理 152
8.3.1　MapReduce 152
8.3.2　與RDBMS的比較 154
8.3.3　共享存儲的并行編程 155
8.3.4　Apache Hadoop 生態(tài)系統(tǒng) 155
8.3.5　Hadoop分布式文件系統(tǒng) 157
8.4　NoSQL