Python大數(shù)據(jù)分析與挖掘?qū)崙?zhàn)（微課版）

基礎(chǔ)篇\t1
第　1章 Python基礎(chǔ)　1
1．1　Python概述　1
1．2　Python安裝及啟動　1
1．2．1　Python安裝　1
1．2．2　Python啟動及界面認識　4
1．3　Python擴展包安裝　9
1．3．1　在線安裝　9
1．3．2　離線安裝　10
1．4　Python基本數(shù)據(jù)類型　11
1．4．1　數(shù)值的定義　11
1．4．2　字符串的定義　11
1．4．3　列表的定義　12
1．4．4　元組的定義　12
1．4．5　集合的定義　12
1．4．6　字典的定義　13
1．5　Python相關(guān)的公有方法　13
1．5．1　索引　13
1．5．2　切片　14
1．5．3　長度　15
1．5．4　統(tǒng)計　15
1．5．5　成員身份　15
1．5．6　變量刪除　16
1．6　列表、元組、字符串與字典方法　16
1．6．1　列表方法　16
1．6．2　元組方法　18
1．6．3　字符串方法　19
1．6．4　字典方法　20
1．7　條件語句　21
1．7．1　if…語句　21
1．7．2　if…else…語句　21
1．7．3　if…elif…else…語句　22
1．8　循環(huán)語句　22
1．8．1　while語句　22
1．8．2　for循環(huán)　23
1．9　函數(shù)　23
1．9．1　無返回值函數(shù)的定義與調(diào)用　23
1．9．2　有返回值函數(shù)的定義與調(diào)用　24
1．9．3　有多返回值函數(shù)的定義與調(diào)用　24
本章小結(jié)　25
本章練習(xí)　25
第　2章 科學(xué)計算包Numpy　26
2．1　Numpy簡介　26
2．2　創(chuàng)建數(shù)組　27
2．2．1　利用array()函數(shù)創(chuàng)建數(shù)組　27
2．2．2　利用內(nèi)置函數(shù)創(chuàng)建數(shù)組　28
2．3　數(shù)組尺寸　28
2．4　數(shù)組運算　29
2．5　數(shù)組切片　30
2．5．1　常見的數(shù)組切片方法　30
2．5．2　利用ix_()函數(shù)進行數(shù)組切片　31
2．6　數(shù)組連接　32
2．7　數(shù)據(jù)存取　33
2．8　數(shù)組形態(tài)變換　34
2．9　數(shù)組排序與搜索　35
2．10　矩陣與線性代數(shù)運算　36
2．10．1　創(chuàng)建Numpy矩陣　36
2．10．2　矩陣的屬性和基本運算　37
2．10．3　線性代數(shù)運算　38
本章小結(jié)　41
本章練習(xí)　42
第3章　數(shù)據(jù)處理包Pandas　43
3．1　Pandas簡介　43
3．2　序列　44
3．2．1　序列創(chuàng)建及訪問　44
3．2．2　序列屬性　45
3．2．3　序列方法　46
3．2．4　序列切片　47
3．2．5　序列聚合運算　48
3．3　數(shù)據(jù)框　48
3．3．1　數(shù)據(jù)框創(chuàng)建　49
3．3．2　數(shù)據(jù)框?qū)傩浴?9
3．3．3　數(shù)據(jù)框方法　50
3．3．4　數(shù)據(jù)框切片　54
3．4　外部文件讀取　56
3．4．1　Excel文件讀取　56
3．4．2　TXT文件讀取　57
3．4．3　CSV文件讀取　58
3．5　常用函數(shù)　59
3．5．1　滾動計算函數(shù)　59
3．5．2　數(shù)據(jù)框合并函數(shù)　60
3．5．3　數(shù)據(jù)框關(guān)聯(lián)函數(shù)　61
本章小結(jié)　62
本章練習(xí)　63
第4章　數(shù)據(jù)可視化包Matplotlib　65
4．1　Matplotlib繪圖基礎(chǔ)　65
4．1．1　Matplotlib圖像構(gòu)成　65
4．1．2　Matplotlib繪圖基本流程　65
4．1．3　中文字符顯示　67
4．1．4　坐標(biāo)軸字符刻度標(biāo)注　69
4．2　Matplotlib常用圖形繪制　70
4．2．1　散點圖　71
4．2．2　線性圖　72
4．2．3　柱狀圖　73
4．2．4　直方圖　74
4．2．5　餅圖　75
4．2．6　箱線圖　75
4．2．7　子圖　76
本章小結(jié)　79
本章練習(xí)　79
第5章　機器學(xué)習(xí)與實現(xiàn)　80
5．1　Scikit-learn簡介　80
5．2　數(shù)據(jù)預(yù)處理　80
5．2．1　缺失值處理　81
5．2．2　數(shù)據(jù)規(guī)范化　83
5．2．3　主成分分析　86
5．3　線性回歸　93
5．3．1　一元線性回歸　93
5．3．2　多元線性回歸　96
5．3．3　Python線性回歸應(yīng)用舉例　97
5．4　邏輯回歸　99
5．4．1　邏輯回歸模型　99
5．4．2　Python邏輯回歸模型應(yīng)用舉例　100
5．5　神經(jīng)網(wǎng)絡(luò)　101
5．5．1　神經(jīng)網(wǎng)絡(luò)模擬思想　101
5．5．2　神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及數(shù)學(xué)模型　103
5．5．3　Python神經(jīng)網(wǎng)絡(luò)分類應(yīng)用舉例　104
5．5．4　Python神經(jīng)網(wǎng)絡(luò)回歸應(yīng)用舉例　105
5．6　支持向量機　106
5．6．1　支持向量機原理　106
5．6．2　Python支持向量機應(yīng)用舉例　107
5．7　K-均值聚類　109
5．7．1　K-均值聚類的基本原理　110
5．7．2　Python K-均值聚類算法應(yīng)用舉例　113
5．8　關(guān)聯(lián)規(guī)則　114
5．8．1　關(guān)聯(lián)規(guī)則概念　114
5．8．2　布爾關(guān)聯(lián)規(guī)則挖掘　116
5．8．3　一對一關(guān)聯(lián)規(guī)則挖掘及Python實現(xiàn)　116
5．8．4　多對一關(guān)聯(lián)規(guī)則挖掘及Python實現(xiàn)　118
本章小結(jié)　123
本章練習(xí)　123
第6章　深度學(xué)習(xí)與實現(xiàn)　128
6．1　深度學(xué)習(xí)簡介　128
6．2　深度學(xué)習(xí)框架簡介　128
6．2．1　Caffe框架　128
6．2．2　Theano框架　129
6．2．3　PaddlePaddle框架　129
6．2．4　TensorFlow框架　129
6．3　TensorFlow基礎(chǔ)　129
6．3．1　TensorFlow安裝　129
6．3．2　TensorFlow命令簡介　133
6．3．3　TensorFlow案例　135
6．4　多層神經(jīng)網(wǎng)絡(luò)　139
6．4．1　多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及數(shù)學(xué)模型　139
6．4．2　多層神經(jīng)網(wǎng)絡(luò)分類問題應(yīng)用舉例　141
6．4．3　多層神經(jīng)網(wǎng)絡(luò)回歸問題應(yīng)用舉例　144
6．5　卷積神經(jīng)網(wǎng)絡(luò)　151
6．5．1　卷積層計算　151
6．5．2　池化層計算　153
6．5．3　全連接層計算　155
6．5．4　CNN應(yīng)用案例　155
6．6　循環(huán)神經(jīng)網(wǎng)絡(luò)　161
6．6．1　RNN結(jié)構(gòu)及數(shù)學(xué)模型　161
6．6．2　長短期記憶網(wǎng)絡(luò)（LSTM）　162
6．6．3　RNN應(yīng)用案例　164
本章小結(jié)　167
本章練習(xí)　168
案例篇　169
第7章　基于財務(wù)與交易數(shù)據(jù)的量化投資分析　169
7．1　案例背景　169
7．2　案例目標(biāo)及實現(xiàn)思路　169
7．3　基于總體規(guī)模與投資效率指標(biāo)的綜合評價　170
7．3．1　指標(biāo)選擇　171
7．3．2　數(shù)據(jù)獲取　171
7．3．3　數(shù)據(jù)處理　173
7．3．4　主成分分析　174
7．3．5　綜合排名　174
7．4　技術(shù)分析指標(biāo)選擇與計算　175
7．4．1　移動平均線　176
7．4．2　指數(shù)平滑異同平均線　176
7．4．3　隨機指標(biāo)　177
7．4．4　相對強弱指標(biāo)　177
7．4．5　乖離率指標(biāo)　178
7．4．6　能量潮指標(biāo)　178
7．4．7　漲跌趨勢指標(biāo)　179
7．4．8　計算舉例　179
7．5　量化投資模型與策略實現(xiàn)　182
7．5．1　投資組合構(gòu)建　183
7．5．2　基于邏輯回歸的量化投資策略實現(xiàn)　183
本章小結(jié)　186
本章練習(xí)　186
第8章　眾包任務(wù)定價優(yōu)化方案　187
8．1　案例背景　187
8．2　案例目標(biāo)及實現(xiàn)思路　188
8．3　數(shù)據(jù)獲取與探索　188
8．3．1　地理信息可視化包folium安裝　188
8．3．2　數(shù)據(jù)讀取與地圖可視化　189
8．4　指標(biāo)計算　190
8．4．1　指標(biāo)設(shè)計　190
8．4．2　指標(biāo)計算方法　191
8．4．3　程序?qū)崿F(xiàn)　192
8．5　任務(wù)定價模型構(gòu)建　198
8．5．1　指標(biāo)數(shù)據(jù)預(yù)處理　198
8．5．2　多元線性回歸模型　201
8．5．3　神經(jīng)網(wǎng)絡(luò)模型　202
8．6　方案評價　202
8．6．1　任務(wù)完成增加量　202
8．6．2　成本增加額　203
8．6．3　完整實現(xiàn)代碼　203
本章小結(jié)　205
本章練習(xí)　205
第9章　地鐵站點日客流量預(yù)測　205
9．1　案例背景　206
9．2　案例目標(biāo)及實現(xiàn)思路　206
9．3　數(shù)據(jù)獲取與探索　207
9．3．1　二分法查找思想　208
9．3．2　每日數(shù)據(jù)index范圍提取　208
9．4　指標(biāo)計算　209
9．4．1　指標(biāo)設(shè)計　210
9．4．2　指標(biāo)計算方法　210
9．4．3　程序?qū)崿F(xiàn)　210
9．4．4　指標(biāo)數(shù)據(jù)預(yù)處理　214
9．5　數(shù)據(jù)可視化　214
9．6．　因素分析　218
9．6．1　SPSS 進行指數(shù)平滑　218
9．6．2　因素分析結(jié)果　221
9．7神經(jīng)網(wǎng)絡(luò)預(yù)測模型的建立　222
9．7．1　示例站點客流量預(yù)測　222
9．7．2　全部站點客流量預(yù)測　224
9．7．3模型預(yù)測結(jié)果分析　226
本章小結(jié)　227
本章練習(xí)　227
第　10章 微博文本情感分析　228
10．1　案例背景　228
10．2　案例目標(biāo)及實現(xiàn)思路　228
10．3　數(shù)據(jù)預(yù)處理過程　229
10．3．1　數(shù)據(jù)讀取　229
10．3．2　分詞　230
10．3．3　去停用詞　232
10．3．4　詞向量　233
10．3．5　劃分數(shù)據(jù)集　236
10．4　支持向量機分類模型　237
10．5　基于LSTM網(wǎng)絡(luò)的分類模型　238
本章小結(jié)　241
本章練習(xí)　241
第　11章 基于人民幣圖像的面額識別　242
11．1　案例背景　242
11．2　案例目標(biāo)及實現(xiàn)思路　242
11．3　數(shù)據(jù)獲取與探索　243
11．4　支持向量機識別模型　245
11．4．1　顏色特征計算方法　245
11．4．2　自變量與因變量計算　246
11．4．3　模型實現(xiàn)　247
11．5　卷積神經(jīng)網(wǎng)絡(luò)識別模型：灰圖　248
11．5．1　數(shù)據(jù)處理　248
11．5．2　模型實現(xiàn)　249
11．6　卷積神經(jīng)網(wǎng)絡(luò)識別模型：彩圖　252
11．6．1　數(shù)據(jù)處理　252
11．6．2　模型實現(xiàn)　254
本章小結(jié)　255
本章練習(xí)　255
提高篇　257
第　12章 GUI可視化應(yīng)用開發(fā)　257
12．1　人民幣面額識別系統(tǒng)　257
12．1．1　Pycharm安裝　257
12．1．2　創(chuàng)建項目文件夾　260
12．1．3　配置QtDesigner工具　262
12．1．4　配置代碼生成工具　264
12．1．5　系統(tǒng)界面設(shè)計　266
12．1．6　系統(tǒng)界面轉(zhuǎn)化為PyQt5代碼　268
12．1．7　配置項目解釋器　271
12．1．8　系統(tǒng)功能實現(xiàn)　273
12．1．9　生成可獨立運行的exe文件　276
12．2　上市公司綜合評價系統(tǒng)　280
12．2．1　界面設(shè)計　281
12．2．2　系統(tǒng)功能實現(xiàn)　283
12．2．3　生成exe文件　286
本章小結(jié)　287
本章練習(xí)　287
附錄　綜合實訓(xùn)課題　288
參考文獻　290