大數(shù)據(jù)與人工智能導(dǎo)論

1
第一章 緒論\t10
1．1日益增長(zhǎng)的數(shù)據(jù)\t10
1．1．1大數(shù)據(jù)基本概念\t11
1．1．2大數(shù)據(jù)發(fā)展歷程\t11
1．1．3大數(shù)據(jù)的特征\t12
1．1．4大數(shù)據(jù)的基本認(rèn)識(shí)\t13
1．2人工智能\t14
1．2．1認(rèn)識(shí)人工智能\t14
1．2．2人工智能的派別與發(fā)展歷史\t14
1．2．3人工智能的現(xiàn)狀與應(yīng)用\t14
1．2．3 當(dāng)人工智能遇上大數(shù)據(jù)\t15
1．3 大數(shù)據(jù)與人工智能的機(jī)遇與挑戰(zhàn)\t16
1．3．1大數(shù)據(jù)與人工智能面臨的難題\t16
1．3．2大數(shù)據(jù)與人工智能的前景\t17
第二章 數(shù)據(jù)工程\t18
2．1數(shù)據(jù)的多樣性\t18
2．1．1數(shù)據(jù)格式的多樣性\t18
2．1．2數(shù)據(jù)來源的多樣性\t19
2．1．3數(shù)據(jù)用途的多樣性\t20
2．2數(shù)據(jù)工程的一般流程\t21
2．2．1 數(shù)據(jù)獲取\t21
2．2．2 數(shù)據(jù)存儲(chǔ)\t21
2．2．3 數(shù)據(jù)清洗\t21
2．2．4 數(shù)據(jù)建模\t21
2．2．5 數(shù)據(jù)處理\t22
2．3數(shù)據(jù)的獲取\t22
2．3．1數(shù)據(jù)來源\t23
2．3．2數(shù)據(jù)采集方法\t23
2．3．3 大數(shù)據(jù)采集平臺(tái)\t25
2．4數(shù)據(jù)的存儲(chǔ)與數(shù)據(jù)倉庫\t25
2．4．1數(shù)據(jù)存儲(chǔ)\t25
2．4．2數(shù)據(jù)倉庫\t26
2．5數(shù)據(jù)的預(yù)處理技術(shù)\t27
2．5．1 為什么要進(jìn)行數(shù)據(jù)預(yù)處理\t27
2．5．2 數(shù)據(jù)清理\t28
2．5．3 數(shù)據(jù)集成\t29
2．5．4 數(shù)據(jù)變換\t30
2．5．5 數(shù)據(jù)規(guī)約\t30
2．6模型的構(gòu)建與評(píng)估\t31
2．6．1模型的構(gòu)建\t31
2．6．2評(píng)價(jià)指標(biāo)\t31
2．7數(shù)據(jù)的可視化\t33
2．7．1 可視化的發(fā)展\t34
2．7．2 可視化工具\(yùn)t34
第三章 機(jī)器學(xué)習(xí)算法\t41
3-1機(jī)器學(xué)習(xí)緒論\t41
3．1．1 機(jī)器學(xué)習(xí)基本概念\t41
3．1．2評(píng)價(jià)標(biāo)準(zhǔn)\t43
3．1．3 機(jī)器模型的數(shù)學(xué)基礎(chǔ)\t46
3-2決策樹理論\t50
3．2．1決策樹模型\t50
3．2．2 決策樹的訓(xùn)練\t53
3．2．3 本節(jié)總結(jié)\t58
3．3 樸素貝葉斯理論\t59
3．4線性回歸\t63
3．5邏輯斯蒂回歸\t66
3．5．1二分類邏輯回歸模型\t66
3．5．2 二分類邏輯斯蒂回歸的訓(xùn)練\t68
3．5．3 softmax分類器\t71
3．5．4邏輯斯蒂回歸和softmax的應(yīng)用\t72
3．5．5本節(jié)總結(jié)\t72
3．6神經(jīng)網(wǎng)絡(luò)\t73
3．6．1生物神經(jīng)元和人工神經(jīng)元\t73
3．6．2感知機(jī)\t75
3．6．3\tBP神經(jīng)網(wǎng)絡(luò)\t77
3．6．4\tSklearn中的神經(jīng)網(wǎng)絡(luò)\t80
3．6．5本章小結(jié)\t81
3．6．6 拓展閱讀\t81
3．7支持向量機(jī)\t81
3．7．1 間隔\t82
3．7．2 支持向量機(jī)的原始形式\t84
3．7．3 支持向量機(jī)的對(duì)偶形式\t86
3．7．4特征空間的隱式映射：核函數(shù)\t87
3．7．5 支持向量機(jī)拓展\t90
3．7．6 支持向量機(jī)的應(yīng)用\t90
3．8集成學(xué)習(xí)\t91
3．8．1 基礎(chǔ)概念\t91
3．8．2 Boosting\t94
3．8．3 Bagging\t98
3．8．4 Stacking\t99
3．9聚類\t100
3．9．1聚類思想\t100
3．9．2性能計(jì)算和距離計(jì)算\t100
3．9．3原型聚類：K-means\t101
3．9．4密度聚類：DBSCAN\t103
3．9．5層次聚類\t105
3．9．6\tSklearn中的聚類\t105
3．9．7本章小結(jié)\t106
3．9．8拓展閱讀\t106
3．10降維與特征選擇\t106
3．10．1維數(shù)爆炸與降維\t106
3．10．2降維技術(shù)\t107
3．10．3特征選擇算法\t109
3．10．4 Sklearn中的降維\t112
3．10．5本章小結(jié)\t112
第四章 大數(shù)據(jù)框架\t113
4-1 Hadoop簡(jiǎn)介\t113
4．1．1 Hadoop的由來\t113
4．1．2 MapReduce和HDFS\t114
4-2 Hadoop大數(shù)據(jù)處理框架\t115
4．2．1 HDFS組件與運(yùn)行機(jī)制\t116
4．2．2 MapReduce組件與運(yùn)行機(jī)制\t120
4．2．3 Yarn框架和運(yùn)行機(jī)制\t122
4．2．4 Hadoop相關(guān)技術(shù)\t123
4-3 Hadoop安裝與部署\t124
4．3．1 安裝配置單機(jī)版Hadoop\t124
4．3．2 單機(jī)版WordCount程序\t128
4．3．3 安裝配置偽分布式Hadoop\t129
4-4 MapReduce編程\t135
4．4．1 MapReduce綜述\t136
4．4．2 Map階段\t136
4．4．3 shuffle階段\t137
4．4．4 Reduce階段\t138
4-5 HBase、Hive和Pig和簡(jiǎn)介\t138
4．5．1 HBase簡(jiǎn)介\t139
4．5．2 Hive簡(jiǎn)介\t139
4．5．3 Pig簡(jiǎn)介\t141
4-6 Spark簡(jiǎn)介\t141
4．6．1 spark概述\t141
4．6．2 Spark基本概念\t142
4．6．3 spark生態(tài)系統(tǒng)\t143
4．6．4 spark組件與運(yùn)行機(jī)制\t144
4-7 Spark安裝使用\t145
4．7．1 JDK安裝\t146
4．7．2 Scala安裝\t148
4．7．3 Spark安裝\t148
4．7．4 Winutils安裝\t148
4．7．5 使用Spark Shell\t149
4．7．6 Spark文件目錄\t151
4-8 Spark實(shí)例講解\t152
第五章 分布式數(shù)據(jù)挖掘算法\t153
5-1 K-Means聚類方法\t154
5．1．1 K-Means聚類算法簡(jiǎn)介\t154
5．1．2 K-Means算法的分布式實(shí)現(xiàn)\t154
5-2 樸素貝葉斯分類算法\t160
5．2．1 樸素貝葉斯分類并行化設(shè)計(jì)思路\t160
5．2．2 樸素貝葉斯分類并行化實(shí)現(xiàn)\t161
5-3 頻繁項(xiàng)集挖掘算法\t166
5．3．1 Apriori頻繁項(xiàng)集挖掘算法簡(jiǎn)介\t167
5．3．2 Apriori頻繁項(xiàng)集挖掘的并行化實(shí)現(xiàn)\t167
5-4參考資料\t172
第六章 深度學(xué)習(xí)簡(jiǎn)介\t173
6-1從神經(jīng)網(wǎng)絡(luò)到深度神經(jīng)網(wǎng)絡(luò)\t173
6．1．1深度學(xué)習(xí)應(yīng)用\t173
6．1．2 深度神經(jīng)網(wǎng)絡(luò)的困難\t175
6-2卷積神經(jīng)網(wǎng)絡(luò)CNN\t176
6．2．1卷積神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ)\t176
6．2．2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)\t177
6-3循環(huán)神經(jīng)網(wǎng)絡(luò)RNN\t182
6．3．1循環(huán)神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介\t182
6．3．2循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)\t182
第七章 數(shù)據(jù)分析實(shí)例\t185
7-1 基本數(shù)據(jù)分析\t185
7．1．1數(shù)據(jù)介紹\t185
7．1．2數(shù)據(jù)導(dǎo)入與數(shù)據(jù)初識(shí)\t185
7．1．3分類\t189
7．1．4 聚類\t191
7．1．5回歸\t192
7．1．6降維\t194
7．2深度學(xué)習(xí)項(xiàng)目實(shí)戰(zhàn)\t195
7．2．1 Tensorflow與keras安裝部署\t196
7．2．2使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行手寫數(shù)字識(shí)別\t198
7．2．3使用LSTM進(jìn)行文本情感分類\t201
附 錄\t206
A 矩陣基礎(chǔ)\t206
B 梯度下降\t209
牛頓法\t210
C 拉格朗日對(duì)偶性\t211
D python 語法知識(shí)\t213
E Java語法基礎(chǔ)介紹\t228