數(shù)據(jù)挖掘：概念與技術(shù)

譯者序
序
前言
第1章
引言 1
1.1
什么激發(fā)了數(shù)據(jù)挖掘,?為什么
它是重要的 1
1.2
什么是數(shù)據(jù)挖掘 3
1.3
在何種數(shù)據(jù)上進(jìn)行數(shù)據(jù)挖掘 6
1.3.1
關(guān)系數(shù)據(jù)庫(kù) 7
1.3.2
數(shù)據(jù)倉(cāng)庫(kù) 8
1.3.3
事務(wù)數(shù)據(jù)庫(kù) 10
1.3.4
高級(jí)數(shù)據(jù)庫(kù)系統(tǒng)和高級(jí)數(shù)據(jù)庫(kù)
應(yīng)用 11
1.4
數(shù)據(jù)挖掘功能—可以挖掘什么
類(lèi)型的模式 14
1.4.1
概念/類(lèi)描述：特征化和區(qū)分 14
1.4.2
關(guān)聯(lián)分析 15
1.4.3
分類(lèi)和預(yù)測(cè) 16
1.4.4
聚類(lèi)分析 16
1.4.5
孤立點(diǎn)分析 17
1.4.6
演變分析 17
1.5
所有模式都是有趣的嗎 18
1.6
數(shù)據(jù)挖掘系統(tǒng)的分類(lèi) 19
1.7
數(shù)據(jù)挖掘的主要問(wèn)題 20
1.8
小結(jié) 22
習(xí)題 22
文獻(xiàn)注釋 23
第2章
數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘的OLAP
技術(shù) 26
2.1
什么是數(shù)據(jù)倉(cāng)庫(kù) 26
2.1.1
操作數(shù)據(jù)庫(kù)系統(tǒng)與數(shù)據(jù)倉(cāng)庫(kù)的
區(qū)別 27
2.1.2
為什么需要一個(gè)分離的數(shù)據(jù)倉(cāng)庫(kù) 29
2.2
多維數(shù)據(jù)模型 29
2.2.1
由表和電子數(shù)據(jù)表到數(shù)據(jù)立方體 29
2.2.2
星型.?雪花和事實(shí)星座：多維數(shù)
據(jù)庫(kù)模式 32
2.2.3
定義星型.?雪花和事實(shí)星座模式的
例子 34
2.2.4
度量的分類(lèi)和計(jì)算 36
2.2.5
引入概念分層 37
2.2.6
多維數(shù)據(jù)模型上的OLAP操作 39
2.2.7
查詢多維數(shù)據(jù)庫(kù)的星型網(wǎng)查詢模型 41
2.3
數(shù)據(jù)倉(cāng)庫(kù)的系統(tǒng)結(jié)構(gòu) 42
2.3.1
數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)步驟和結(jié)構(gòu) 42
2.3.2
三層數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu) 44
2.3.3
OLAP服務(wù)器類(lèi)型：ROLAP,MOLAP,
HOLAP的比較 46
2.4
數(shù)據(jù)倉(cāng)庫(kù)實(shí)現(xiàn) 47
2.4.1
數(shù)據(jù)立方體的有效計(jì)算 47
2.4.2
索引OLAP數(shù)據(jù) 52
2.4.3
OLAP查詢的有效處理 54
2.4.4
元數(shù)據(jù)存儲(chǔ) 55
2.4.5
數(shù)據(jù)倉(cāng)庫(kù)后端工具和實(shí)用程序 56
2.5
數(shù)據(jù)立方體技術(shù)的進(jìn)一步發(fā)展 56
2.5.1
數(shù)據(jù)立方體發(fā)現(xiàn)驅(qū)動(dòng)的探查 56
2.5.2
多粒度上的復(fù)雜聚集：多特征方 59
2.5.3
其他進(jìn)展 61
2.6
從數(shù)據(jù)倉(cāng)庫(kù)到數(shù)據(jù)挖掘 61
2.6.1
數(shù)據(jù)倉(cāng)庫(kù)的使用 62
2.6.2
從聯(lián)機(jī)分析處理到聯(lián)機(jī)分析挖掘 63
2.7
小結(jié) 65
習(xí)題 66
文獻(xiàn)注釋 68
第3章
數(shù)據(jù)預(yù)處理 70
3.1
為什么要預(yù)處理數(shù)據(jù) 70
3.2
數(shù)據(jù)清理 72
3.2.1
空缺值 72
3.2.2
噪聲數(shù)據(jù) 73
3.2.3
不一致數(shù)據(jù) 74
3.3
數(shù)據(jù)集成和變換 75
3.3.1
數(shù)據(jù)集成 75
3.3.2
數(shù)據(jù)變換 76
3.4
數(shù)據(jù)歸約 77
3.4.1
數(shù)據(jù)立方體聚集 77
3.4.2
維歸約 79
3.4.3
數(shù)據(jù)壓縮 80
3.4.4
數(shù)值歸約 82
3.5
離散化和概念分層生成 87
3.5.1
數(shù)值數(shù)據(jù)的離散化和概念分層
生成 88
3.5.2
分類(lèi)數(shù)據(jù)的概念分層生成 91
3.6
小結(jié) 93
習(xí)題 93
文獻(xiàn)注釋 94
第4章
數(shù)據(jù)挖掘原語(yǔ).?語(yǔ)言和系統(tǒng)
結(jié)構(gòu) 96
4.1
數(shù)據(jù)挖掘原語(yǔ)：定義數(shù)據(jù)挖掘任務(wù) 96
4.1.1
任務(wù)相關(guān)的數(shù)據(jù) 98
4.1.2
要挖掘的知識(shí)的類(lèi)型 99
4.1.3
背景知識(shí)：概念分層 100
4.1.4
興趣度度量 102
4.1.5
發(fā)現(xiàn)模式的表示和可視化 104
4.2
一種數(shù)據(jù)挖掘查詢語(yǔ)言 105
4.2.1
任務(wù)相關(guān)數(shù)據(jù)說(shuō)明的語(yǔ)法 107
4.2.2
指定挖掘知識(shí)類(lèi)型的語(yǔ)法 107
4.2.3
概念分層說(shuō)明的語(yǔ)法 109
4.2.4
興趣度度量說(shuō)明的語(yǔ)法 110
4.2.5
模式表示和可視化說(shuō)明的語(yǔ)法 110
4.2.6
匯集—一個(gè)DMQL查詢的例子 111
4.2.7
其他數(shù)據(jù)挖掘語(yǔ)言和數(shù)據(jù)挖掘
原語(yǔ)的標(biāo)準(zhǔn)化 112
4.3
根據(jù)數(shù)據(jù)挖掘查詢語(yǔ)言設(shè)計(jì)圖形
用戶界面 113
4.4
數(shù)據(jù)挖掘系統(tǒng)的結(jié)構(gòu) 113
4.5
小結(jié) 115
習(xí)題 115
文獻(xiàn)注釋 117
第5章
概念描述：特征化與比較 119
5.1
什么是概念描述 119
5.2
數(shù)據(jù)概化和基于匯總的特征化 120
5.2.1
面向?qū)傩缘臍w納 120
5.2.2
面向?qū)傩詺w納的有效實(shí)現(xiàn) 124
5.2.3
導(dǎo)出概化的表示 125
5.3
解析特征化：屬性相關(guān)分析 128
5.3.1
為什么進(jìn)行屬性相關(guān)分析 129
5.3.2
屬性相關(guān)分析方法 129
5.3.3
解析特征化：一個(gè)例子 131
5.4
挖掘類(lèi)比較：區(qū)分不同的類(lèi) 132
5.4.1
類(lèi)比較方法和實(shí)現(xiàn) 133
5.4.2
類(lèi)比較描述的表示 135
5.4.3
類(lèi)描述：特征化和比較的表示 136
5.5
在大型數(shù)據(jù)庫(kù)中挖掘描述統(tǒng)計(jì)
度量 137
5.5.1
度量中心趨勢(shì) 138
5.5.2
度量數(shù)據(jù)的離散度 139
5.5.3
基本統(tǒng)計(jì)類(lèi)描述的圖形顯示 141
5.6
討論 144
5.6.1
概念描述：與典型的機(jī)器學(xué)習(xí)方法
比較 144
5.6.2
概念描述的增量挖掘和并行
挖掘 145
5.7
小結(jié) 146
習(xí)題 146
文獻(xiàn)注釋 147
第6章
挖掘大型數(shù)據(jù)庫(kù)中的關(guān)聯(lián)規(guī)則 149
6.1
關(guān)聯(lián)規(guī)則挖掘 149
6.1.1
購(gòu)物籃分析：一個(gè)引發(fā)關(guān)聯(lián)規(guī)則
挖掘的例子 150
6.1.2
基本概念 150
6.1.3
關(guān)聯(lián)規(guī)則挖掘：一個(gè)路線圖 151
6.2
由事務(wù)數(shù)據(jù)庫(kù)挖掘單維布爾關(guān)聯(lián)
規(guī)則 152
6.2.1
Apriori算法：使用候選項(xiàng)集找
頻繁項(xiàng)集 152
6.2.2
由頻繁項(xiàng)集產(chǎn)生關(guān)聯(lián)規(guī)則 156
6.2.3
提高Apriori的有效性 157
6.2.4
不產(chǎn)生候選挖掘頻繁項(xiàng)集 158
6.2.5
冰山查詢 161
6.3
由事務(wù)數(shù)據(jù)庫(kù)挖掘多層關(guān)聯(lián)規(guī)則 162
6.3.1
多層關(guān)聯(lián)規(guī)則 162
6.3.2
挖掘多層關(guān)聯(lián)規(guī)則的方法 163
6.3.3
檢查冗余的多層關(guān)聯(lián)規(guī)則 166
6.4
由關(guān)系數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)挖掘多維
關(guān)聯(lián)規(guī)則 167
6.4.1
多維關(guān)聯(lián)規(guī)則 167
6.4.2
使用量化屬性的靜態(tài)離散化挖掘
多維關(guān)聯(lián)規(guī)則 168
6.4.3
挖掘量化關(guān)聯(lián)規(guī)則 169
6.4.4
挖掘基于距離的關(guān)聯(lián)規(guī)則 171
6.5
由關(guān)聯(lián)挖掘到相關(guān)分析 172
6.5.1
強(qiáng)關(guān)聯(lián)規(guī)則不一定是有趣的：
一個(gè)例子 172
6.5.2
由關(guān)聯(lián)分析到相關(guān)分析 173
6.6
基于約束的關(guān)聯(lián)挖掘 174
6.6.1
關(guān)聯(lián)規(guī)則的元規(guī)則制導(dǎo)挖掘 174
6.6.2
用附加的規(guī)則約束制導(dǎo)的挖掘 175
6.7
小結(jié) 179
習(xí)題 180
文獻(xiàn)注釋 183
第7章
分類(lèi)和預(yù)測(cè) 185
7.1
什么是分類(lèi),?什么是預(yù)測(cè) 185
7.2
關(guān)于分類(lèi)和預(yù)測(cè)的問(wèn)題 187
7.2.1
準(zhǔn)備分類(lèi)和預(yù)測(cè)的數(shù)據(jù) 187
7.2.2
比較分類(lèi)方法 187
7.3
用判定樹(shù)歸納分類(lèi) 188
7.3.1
判定樹(shù)歸納 189
7.3.2
樹(shù)剪枝 192
7.3.3
由判定樹(shù)提取分類(lèi)規(guī)則 192
7.3.4
基本判定樹(shù)歸納的加強(qiáng) 193
7.3.5
判定樹(shù)歸納的可伸縮性 194
7.3.6
集成數(shù)據(jù)倉(cāng)庫(kù)技術(shù)和判定樹(shù)
歸納 195
7.4
貝葉斯分類(lèi) 196
7.4.1
貝葉斯定理 196
7.4.2
樸素貝葉斯分類(lèi) 197
7.4.3
貝葉斯信念網(wǎng)絡(luò) 199
7.4.4
訓(xùn)練貝葉斯信念網(wǎng)絡(luò) 200
7.5
后向傳播分類(lèi) 201
7.5.1
多層前饋神經(jīng)網(wǎng)絡(luò) 201
7.5.2
定義網(wǎng)絡(luò)拓?fù)?202
7.5.3
后向傳播 202
7.5.4
后向傳播和可解釋性 206
7.6
基于源自關(guān)聯(lián)規(guī)則挖掘概念的
分類(lèi) 207
7.7
其他分類(lèi)方法 209
7.7.1
k-最臨近分類(lèi) 209
7.7.2
基于案例的推理 209
7.7.3
遺傳算法 210
7.7.4
粗糙集方法 210
7.7.5
模糊集方法 211
7.8
預(yù)測(cè) 212
7.8.1
線性回歸和多元回歸 212
7.8.2
非線性回歸 213
7.8.3
其他回歸模型 214
7.9
分類(lèi)法的準(zhǔn)確性 214
7.9.1
評(píng)估分類(lèi)法的準(zhǔn)確率 214
7.9.2
提高分類(lèi)法的準(zhǔn)確率 215
7.9.3
準(zhǔn)確率足夠判定分類(lèi)法嗎 216
7.10
小結(jié) 217
習(xí)題 218
文獻(xiàn)注釋 219
第8章
聚類(lèi)分析 223
8.1
什么是聚類(lèi)分析 223
8.2
聚類(lèi)分析中的數(shù)據(jù)類(lèi)型 225
8.2.1
區(qū)間標(biāo)度變量 226
8.2.2
二元變量 227
8.2.3
標(biāo)稱(chēng)型.?序數(shù)型和比例標(biāo)度型
變量 228
8.2.4
混合類(lèi)型的變量 230
8.3
主要聚類(lèi)方法的分類(lèi) 231
8.4
劃分方法 232
8.4.1
典型的劃分方法：k-平均
和k-中心點(diǎn) 232
8.4.2
大型數(shù)據(jù)庫(kù)中的劃分方法：從k-中
心點(diǎn)到CLARANS 235
8.5
層次方法 236
8.5.1
凝聚的和分裂的層次聚類(lèi) 236
8.5.2
BIRCH：利用層次方法的平衡
迭代歸約和聚類(lèi) 238
8.5.3
CURE：利用代表點(diǎn)聚類(lèi) 239
8.5.4
Chameleon（變色龍）：一個(gè)利用
動(dòng)態(tài)模型的層次聚類(lèi)算法 240
8.6
基于密度的方法 242
8.6.1
DBSCAN：一個(gè)基于高密度連接
區(qū)域的密度聚類(lèi)方法 242
8.6.2
OPTICS：通過(guò)對(duì)象排序識(shí)別
聚類(lèi)結(jié)構(gòu) 243
8.6.3
DENCLUE：基于密度分布函數(shù)
的聚類(lèi) 245
8.7
基于網(wǎng)格的方法 246
8.7.1
STING：統(tǒng)計(jì)信息網(wǎng)格 247
8.7.2
WaveCluster：采用小波變換聚類(lèi) 248
8.7.3
CLIQUE：聚類(lèi)高維空間 249
8.8
基于模型的聚類(lèi)方法 251
8.8.1
統(tǒng)計(jì)學(xué)方法 251
8.8.2
神經(jīng)網(wǎng)絡(luò)方法 253
8.9
孤立點(diǎn)分析 254
8.9.1
基于統(tǒng)計(jì)的孤立點(diǎn)檢測(cè) 255
8.9.2
基于距離的孤立點(diǎn)檢測(cè) 256
8.9.3
基于偏離的孤立點(diǎn)檢測(cè) 257
8.10
小結(jié) 259
習(xí)題 260
文獻(xiàn)注釋 261
第9章
復(fù)雜類(lèi)型數(shù)據(jù)的挖掘 263
9.1
復(fù)雜數(shù)據(jù)對(duì)象的多維分析
和描述性挖掘 263
9.1.1
結(jié)構(gòu)化數(shù)據(jù)的概化 263
9.1.2
空間和多媒體數(shù)據(jù)概化中的聚集
和近似計(jì)算 264
9.1.3
對(duì)象標(biāo)識(shí)符和類(lèi)/子類(lèi)層次的概化 265
9.1.4
類(lèi)復(fù)合層次的概化 265
9.1.5
對(duì)象立方體的構(gòu)造與挖掘 266
9.1.6
用分而治之方法對(duì)規(guī)劃數(shù)據(jù)庫(kù)進(jìn)行
基于概化的挖掘 266
9.2
空間數(shù)據(jù)庫(kù)挖掘 269
9.2.1
空間數(shù)據(jù)立方體構(gòu)造
和空間OLAP 270
9.2.2
空間關(guān)聯(lián)分析 273
9.2.3
空間聚類(lèi)方法 273
9.2.4
空間分類(lèi)和空間趨勢(shì)分析 274
9.2.5
光柵數(shù)據(jù)庫(kù)挖掘 274
9.3
多媒體數(shù)據(jù)庫(kù)挖掘 274
9.3.1
多媒體數(shù)據(jù)的相似性搜索 275
9.3.2
多媒體數(shù)據(jù)的多維分析 276
9.3.3
多媒體數(shù)據(jù)的分類(lèi)和預(yù)測(cè)分析 277
9.3.4
多媒體數(shù)據(jù)中的關(guān)聯(lián)規(guī)則挖掘 277
9.4
時(shí)序數(shù)據(jù)和序列數(shù)據(jù)的挖掘 278
9.4.1
趨勢(shì)分析 279
9.4.2
時(shí)序分析中的相似搜索 280
9.4.3
序列模式挖掘 283
9.4.4
周期分析 284
9.5
文本數(shù)據(jù)庫(kù)挖掘 285
9.5.1
文本數(shù)據(jù)分析和信息檢索 285
9.5.2
文本挖掘：基于關(guān)鍵字的關(guān)聯(lián)和
文檔分類(lèi) 289
9.6
Web挖掘 290
9.6.1
挖掘Web鏈接結(jié)構(gòu),?識(shí)別權(quán)威
Web頁(yè)面 291
9.6.2
Web文檔的自動(dòng)分類(lèi) 293
9.6.3
多層Web信息庫(kù)的構(gòu)造 293
9.6.4
Web使用記錄的挖掘 294
9.7
小結(jié) 295
習(xí)題 296
文獻(xiàn)注釋 297
第10章
數(shù)據(jù)挖掘的應(yīng)用和發(fā)展趨勢(shì) 301
10.1
數(shù)據(jù)挖掘的應(yīng)用 301
10.1.1
針對(duì)生物醫(yī)學(xué)和DNA數(shù)據(jù)分析
的數(shù)據(jù)挖掘 301
10.1.2
針對(duì)金融數(shù)據(jù)分析的數(shù)據(jù)挖掘 302
10.1.3
零售業(yè)中的數(shù)據(jù)挖掘 303
10.1.4
電信業(yè)中的數(shù)據(jù)挖掘 304
10.2
數(shù)據(jù)挖掘系統(tǒng)產(chǎn)品和研究原型 305
10.2.1
怎樣選擇一個(gè)數(shù)據(jù)挖掘系統(tǒng) 305
10.2.2
商用數(shù)據(jù)挖掘系統(tǒng)的例子 307
10.3
數(shù)據(jù)挖掘的其他主題 308
10.3.1
視頻和音頻數(shù)據(jù)挖掘 308
10.3.2
科學(xué)和統(tǒng)計(jì)數(shù)據(jù)挖掘 311
10.3.3
數(shù)據(jù)挖掘的理論基礎(chǔ) 312
10.3.4
數(shù)據(jù)挖掘和智能查詢應(yīng)答 313
10.4
數(shù)據(jù)挖掘的社會(huì)影響 314
10.4.1
數(shù)據(jù)挖掘是宣傳出來(lái)的還是持久
的穩(wěn)定增長(zhǎng)的商業(yè) 314
10.4.2
數(shù)據(jù)挖掘只是經(jīng)理的事還是
每個(gè)人的事 316
10.4.3
數(shù)據(jù)挖掘?qū)﹄[私或數(shù)據(jù)安全構(gòu)
成威脅嗎 317
10.5
數(shù)據(jù)挖掘的發(fā)展趨勢(shì) 318
10.6
小結(jié) 319
習(xí)題 320
文獻(xiàn)注釋 321
附錄A
Microsoft''''s?OLE?DB?for?Data
Mining簡(jiǎn)介 323
A.1
創(chuàng)建DMM對(duì)象 324
A.2
向模型裝入訓(xùn)練數(shù)據(jù)并對(duì)模型
進(jìn)行訓(xùn)練 325
A.3
模型的使用 325
附錄B
DBMiner簡(jiǎn)介 328
B.1
系統(tǒng)結(jié)構(gòu) 328
B.2
輸入和輸出 329
B.3
系統(tǒng)支持的數(shù)據(jù)挖掘任務(wù) 329
B.4
對(duì)任務(wù)和方法選擇的支持 332
B.5
對(duì)KDD處理過(guò)程的支持 332
B.6
主要應(yīng)用 332
B.7
現(xiàn)狀 332
參考文獻(xiàn) 333
索引 362