Python數(shù)據(jù)分析實戰(zhàn)（第2版）

版權(quán)聲明
獻詞
譯者序
第　1章 數(shù)據(jù)分析簡介　1
1．1　數(shù)據(jù)分析　1
1．2　數(shù)據(jù)分析師的知識范疇　2
1．2．1　計算機科學(xué)　2
1．2．2　數(shù)學(xué)和統(tǒng)計學(xué)　3
1．2．3　機器學(xué)習(xí)和人工智能　3
1．2．4　數(shù)據(jù)來源領(lǐng)域　3
1．3　理解數(shù)據(jù)的性質(zhì)　4
1．3．1　數(shù)據(jù)到信息的轉(zhuǎn)變　4
1．3．2　信息到知識的轉(zhuǎn)變　4
1．3．3　數(shù)據(jù)的類型　4
1．4　數(shù)據(jù)分析過程　4
1．4．1　問題定義　5
1．4．2　數(shù)據(jù)抽取　6
1．4．3　數(shù)據(jù)準備　6
1．4．4　數(shù)據(jù)探索和可視化　7
1．4．5　預(yù)測建?！?
1．4．6　模型驗證　8
1．4．7　部署　8
1．5　定量和定性數(shù)據(jù)分析　9
1．6　開放數(shù)據(jù)　9
1．7　Python和數(shù)據(jù)分析　10
1．8　結(jié)論　11
第　2章 Python世界簡介　12
2．1　Python——編程語言　12
2．2　Python 2和Python 3　14
2．2．1　安裝Python　15
2．2．2　Python發(fā)行版　15
2．2．3　使用Python　17
2．2．4　編寫Python代碼　18
2．2．5　IPython　22
2．3　PyPI倉庫——Python包索引　25
2．4　SciPy　29
2．4．1　NumPy　29
2．4．2　pandas　29
2．4．3　matplotlib　30
2．5　小結(jié)　30
第3章　NumPy庫　31
3．1　NumPy簡史　31
3．2　NumPy安裝　31
3．3　ndarray：NumPy庫的心臟　32
3．3．1　創(chuàng)建數(shù)組　33
3．3．2　數(shù)據(jù)類型　34
3．3．3　dtype選項　34
3．3．4　自帶的數(shù)組創(chuàng)建方法　35
3．4　基本操作　36
3．4．1　算術(shù)運算符　36
3．4．2　矩陣積　37
3．4．3　自增和自減運算符　38
3．4．4　通用函數(shù)　39
3．4．5　聚合函數(shù)　39
3．5　索引機制、切片和迭代方法　40
3．5．1　索引機制　40
3．5．2　切片操作　41
3．5．3　數(shù)組迭代　42
3．6　條件和布爾數(shù)組　44
3．7　形狀變換　44
3．8　數(shù)組操作　45
3．8．1　連接數(shù)組　45
3．8．2　數(shù)組切分　46
3．9　常用概念　48
3．9．1　對象的副本或視圖　48
3．9．2　向量化　48
3．9．3　廣播機制　49
3．10　結(jié)構(gòu)化數(shù)組　51
3．11　數(shù)組數(shù)據(jù)文件的讀寫　52
3．11．1　二進制文件的讀寫　53
3．11．2　讀取文件中的列表形式數(shù)據(jù)　53
3．12　小結(jié)　54
第4章pandas庫簡介　55
4．1　pandas：Python數(shù)據(jù)分析庫　55
4．2　安裝pandas　56
4．2．1　用Anaconda安裝　56
4．2．2　用PyPI安裝　56
4．2．3　在Linux系統(tǒng)的安裝方法　57
4．2．4　用源代碼安裝　57
4．2．5　Windows模塊倉庫　57
4．3　測試pandas是否安裝成功　57
4．4　開始pandas之旅　58
4．5　pandas數(shù)據(jù)結(jié)構(gòu)簡介　58
4．5．1　Series對象　59
4．5．2　DataFrame對象　65
4．5．3　Index對象　71
4．6　索引對象的其他功能　72
4．6．1　更換索引　72
4．6．2　刪除　74
4．6．3　算術(shù)和數(shù)據(jù)對齊　75
4．7　數(shù)據(jù)結(jié)構(gòu)之間的運算　76
4．7．1　靈活的算術(shù)運算方法　76
4．7．2　DataFrame和Series對象之間的運算　77
4．8　函數(shù)應(yīng)用和映射　78
4．8．1　操作元素的函數(shù)　78
4．8．2　按行或列執(zhí)行操作的函數(shù)　78
4．8．3　統(tǒng)計函數(shù)　79
4．9　排序和排位次　80
4．10　相關(guān)性和協(xié)方差　82
4．11　NaN數(shù)據(jù)　84
4．11．1　為元素賦NaN值　84
4．11．2　過濾NaN　84
4．11．3　為NaN元素填充其他值　85
4．12　等級索引和分級　85
4．12．1　重新調(diào)整順序和為層級排序　87
4．12．2　按層級統(tǒng)計數(shù)據(jù)　88
4．13　小結(jié)　88
第5章　pandas：數(shù)據(jù)讀寫　89
5．1　I/O API工具　89
5．2　CSV和文本文件　90
5．3　讀取CSV或文本文件中的數(shù)據(jù)　90
5．3．1　用RegExp解析TXT文件　92
5．3．2　從TXT文件讀取部分數(shù)據(jù)　94
5．3．3　將數(shù)據(jù)寫入CSV文件　94
5．4　讀寫HTML文件　96
5．4．1　寫入數(shù)據(jù)到HTML文件　96
5．4．2　從HTML文件讀取數(shù)據(jù)　98
5．5　從XML讀取數(shù)據(jù)　99
5．6　讀寫Microsoft Excel文件　101
5．7　JSON數(shù)據(jù)　102
5．8　HDF5格式　105
5．9　pickle——Python對象序列化　106
5．9．1　用cPickle實現(xiàn)Python對象序列化　106
5．9．2　用pandas實現(xiàn)對象序列化　107
5．10　對接數(shù)據(jù)庫　108
5．10．1　SQLite3數(shù)據(jù)讀寫　108
5．10．2　PostgreSQL數(shù)據(jù)讀寫　110
5．11　NoSQL數(shù)據(jù)庫MongoDB數(shù)據(jù)讀寫　112
5．12　小結(jié)　113
第6章　深入pandas：數(shù)據(jù)處理　114
6．1　數(shù)據(jù)準備　114
合并　115
6．2　拼接　118
6．2．1　組合　121
6．2．2　軸向旋轉(zhuǎn)　122
6．2．3　刪除　124
6．3　數(shù)據(jù)轉(zhuǎn)換　124
6．3．1　刪除重復(fù)元素　125
6．3．2　映射　125
6．4　離散化和面元劃分　129
6．5　排序　133
6．6　字符串處理　134
6．6．1　內(nèi)置的字符串處理方法　134
6．6．2　正則表達式　135
6．7　數(shù)據(jù)聚合　137
6．7．1　GroupBy　137
6．7．2　實例　138
6．7．3　等級分組　139
6．8　組迭代　140
6．8．1　鏈式轉(zhuǎn)換　140
6．8．2　分組函數(shù)　141
6．9　高級數(shù)據(jù)聚合　142
6．10　小結(jié)　145
第7章　用matplotlib實現(xiàn)數(shù)據(jù)可視化　146
7．1　matplotlib庫　146
7．2　安裝　147
7．3　IPython和Jupyter QtConsole　147
7．4　matplotlib架構(gòu)　148
7．4．1　Backend層　149
7．4．2　Artist層　149
7．4．3　Scripting層（pyplot）　150
7．4．4　pylab和pyplot　150
7．5　pyplot　151
7．6　繪圖窗口　152
7．6．1　設(shè)置圖形的屬性　153
7．6．2　matplotlib和NumPy　155
7．7　使用kwargs　157
7．8　為圖表添加更多元素　159
7．8．1　添加文本　159
7．8．2　添加網(wǎng)格　162
7．8．3　添加圖例　163
7．9　保存圖表　165
7．9．1　保存代碼　165
7．9．2　將會話轉(zhuǎn)換為HTML文件　167
7．9．3　將圖表直接保存為圖片　168
7．10　處理日期值　168
7．11　圖表類型　170
7．12　線性圖　170
7．13　直方圖　177
7．14　條狀圖　178
7．14．1　水平條狀圖　180
7．14．2　多序列條狀圖　181
7．14．3　為pandas DataFrame生成多序列條狀圖　182
7．14．4　多序列堆積條狀圖　183
7．14．5　為pandas DataFrame繪制堆積條狀圖　186
7．14．6　其他條狀圖　187
7．15　餅圖　187
7．16　高級圖表　190
7．16．1　等值線圖　190
7．16．2　極區(qū)圖　192
7．17　mplot3d工具集　194
7．17．1　3D曲面　194
7．17．2　3D散點圖　195
7．17．3　3D條狀圖　196
7．18　多面板圖形　197
7．18．1　在其他子圖中顯示子圖　197
7．18．2　子圖網(wǎng)格　199
7．19　小結(jié)　200
第8章　用scikit-learn庫實現(xiàn)機器學(xué)習(xí)　201
8．1　scikit-learn庫　201
8．2　機器學(xué)習(xí)　201
8．2．1　有監(jiān)督和無監(jiān)督學(xué)習(xí)　201
8．2．2　訓(xùn)練集和測試集　202
8．3　用 scikit-learn實現(xiàn)有監(jiān)督學(xué)習(xí)　202
8．4　Iris數(shù)據(jù)集　202
8．5　K-近鄰分類器　207
8．6　Diabetes數(shù)據(jù)集　210
8．7　線性回歸：最小平方回歸　211
8．8　支持向量機　214
8．8．1　支持向量分類　215
8．8．2　非線性 SVC　218
8．8．3　繪制SVM分類器對Iris數(shù)據(jù)集的分類效果圖　220
8．8．4　支持向量回歸　222
8．9　小結(jié)　224
第9章　用TensorFlow庫實現(xiàn)深度學(xué)習(xí)　225
9．1　人工智能、機器學(xué)習(xí)和深度學(xué)習(xí)　225
9．1．1　人工智能　225
9．1．2　機器學(xué)習(xí)是人工智能的分支　226
9．1．3　深度學(xué)習(xí)是機器學(xué)習(xí)的分支　226
9．1．4　人工智能、機器學(xué)習(xí)和深度學(xué)習(xí)的關(guān)系　226
9．2　深度學(xué)習(xí)　227
9．2．1　神經(jīng)網(wǎng)絡(luò)和GPU　227
9．2．2　數(shù)據(jù)可用：開源數(shù)據(jù)資源、物聯(lián)網(wǎng)和大數(shù)據(jù)　228
9．2．3　Python　228
9．2．4　Python深度學(xué)習(xí)框架　228
9．3　人工神經(jīng)網(wǎng)絡(luò)　229
9．3．1　人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)　229
9．3．2　單層感知器　230
9．3．3　多層感知器　232
9．3．4　人工神經(jīng)網(wǎng)絡(luò)和生物神經(jīng)網(wǎng)絡(luò)的一致性　232
9．4　TensorFlow　233
9．4．1　TensorFlow：Google開發(fā)的框架　233
9．4．2　TensorFlow：數(shù)據(jù)流圖　233
9．5　開始TensorFlow 編程　234
9．5．1　安裝TensorFlow　234
9．5．2　Jupyter QtConsole編程　234
9．5．3　TensorFlow的模型和會話　234
9．5．4　張量　236
9．5．5　張量運算　238
9．6　用 TensorFlow實現(xiàn)SLP　239
9．6．1　開始之前　239
9．6．2　待分析的數(shù)據(jù)　239
9．6．3　SLP模型定義　241
9．6．4　學(xué)習(xí)階段　243
9．6．5　測試階段和正確率估計　246
9．7　用TensorFlow實現(xiàn)MLP（含一個隱含層）　248
9．7．1　MLP模型的定義　249
9．7．2　學(xué)習(xí)階段　250
9．7．3　測試階段和正確率計算　253
9．8　用TensorFlow實現(xiàn)多層感知器（含兩個隱含層）　255
9．8．1　測試階段和正確率計算　259
9．8．2　實驗數(shù)據(jù)評估　260
9．9　小結(jié)　262
第　10章 數(shù)據(jù)分析實例——氣象數(shù)據(jù)　263
10．1　待檢驗的假設(shè)：靠海對氣候的影響　263
10．2　數(shù)據(jù)源　265
10．3　用Jupyter Notebook分析數(shù)據(jù)　266
10．4　分析預(yù)處理過的氣象數(shù)據(jù)　269
10．5　風(fēng)向頻率玫瑰圖　279
10．5　小結(jié)　283
第　11章 Jupyter Notebook 內(nèi)嵌
JavaScript庫D3　284
11．1　開放的人口數(shù)據(jù)源　284
11．2　JavaScript庫D3　286
11．3　繪制簇狀條狀圖　290
11．4　地區(qū)分布圖　293
11．5　2014年美國人口地區(qū)分布圖　296
11．6　小結(jié)　300
第　12章 識別手寫體數(shù)字　301
12．1　手寫體識別　301
12．2　用scikit-learn識別手寫體數(shù)字　301
12．3　Digits數(shù)據(jù)集　302
12．4　使用估計器學(xué)習(xí)并預(yù)測　304
12．5　用TensorFlow識別手寫體數(shù)字　306
12．6　使用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)并預(yù)測　307
12．7　小結(jié)　310
第　13章 用NLTK分析文本數(shù)據(jù)　311
13．1　文本分析技術(shù)　311
13．1．1　自然語言處理工具集　311
13．1．2　導(dǎo)入NLTK庫和NLTK下載器　312
13．1．3　在NLTK語料庫檢索單詞　314
13．1．4　分析詞頻　315
13．1．5　從文本選擇單詞　317
13．1．6　二元組和搭配　318
13．2　網(wǎng)絡(luò)文本數(shù)據(jù)的應(yīng)用　319
13．2．1　從HTML文檔抽取文本　320
13．2．2　情感分析　320
13．3　小結(jié)　322
第　14章 用OpenCV庫實現(xiàn)圖像分析和視覺計算　323
14．1　圖像分析和計算視覺　323
14．2　OpenCV和Python　324
14．3　OpenCV和深度學(xué)習(xí)　324
14．4　安裝OpenCV　324
14．5　圖像處理和分析的第 1類方法　324
14．5．1　開始之前　324
14．5．2　加載和顯示圖像　325
14．5．3　圖像處理　326
14．5．4　保存新圖　327
14．5．5　圖像的基本操作　327
14．5．6　圖像混合　330
14．6　圖像分析　331
14．7　邊緣檢測和圖像梯度分析　332
14．7．1　邊緣檢測　332
14．7．2　圖像梯度理論　332
14．7．3　用梯度分析檢測圖像邊緣示例　333
14．8　深度學(xué)習(xí)示例：面部識別　337
14．9　小結(jié)　339
附錄A　用LaTeX編寫數(shù)學(xué)表達式　340
附錄B　開放數(shù)據(jù)源　350