Python數(shù)據(jù)分析從入門到精通

目錄

前言

第1章 Python語言基礎(chǔ)1
1.1 Python語言介紹1
1.1.1 Python語言的地位1
1.1.2 Python語言的優(yōu)點(diǎn)2
1.2 安裝Python3
1.2.1 在Windows系統(tǒng)中下載并安裝
Python3
1.2.2 在MacOS系統(tǒng)中下載并安裝
Python6
1.2.3 在Linux系統(tǒng)中下載并安裝
Python6
1.3 Python開發(fā)工具介紹7
1.3.1 使用Python自帶的開發(fā)工具
IDLE7
1.3.2 使用流行工具PyCharm7
1.4 認(rèn)識(shí)第一段Python程序11
1.4.1 使用IDLE編碼并運(yùn)行11
1.4.2 使用命令行方式運(yùn)行Python
程序12
1.4.3 使用交互式方式運(yùn)行Python
程序12
1.4.4 使用PyCharm實(shí)現(xiàn)第一個(gè)Python
程序13
第2章 處理網(wǎng)絡(luò)數(shù)據(jù)17
2.1 處理HTML和XML數(shù)據(jù)17
2.1.1 解析XML數(shù)據(jù)17
2.1.2 使用庫(kù)beautiful soup解析數(shù)據(jù)25
2.1.3 使用庫(kù)bleach解析數(shù)據(jù)27
2.1.4 使用庫(kù)cssutils解析數(shù)據(jù)29
2.1.5 使用庫(kù)html5lib解析數(shù)據(jù)31
2.1.6 使用庫(kù)markupsafe解析數(shù)據(jù)31
2.1.7 使用庫(kù)pyquery解析數(shù)據(jù)32
2.2 處理HTTP 數(shù)據(jù)34
2.2.1 使用內(nèi)置的http包處理數(shù)據(jù)34
2.2.2 使用庫(kù)requests處理數(shù)據(jù)36
2.2.3 使用庫(kù)httplib2處理數(shù)據(jù)37
2.2.4 使用庫(kù)urllib3處理數(shù)據(jù)41
2.3 處理URL 數(shù)據(jù)44
2.3.1 使用urllib包44
2.3.2 使用庫(kù)furl處理數(shù)據(jù)47
2.3.3 使用庫(kù)purl處理數(shù)據(jù)48
2.3.4 使用庫(kù)webargs處理數(shù)據(jù)50
2.4 爬取新聞保存到XML文件并分析
特征關(guān)系50
2.4.1 爬蟲抓取數(shù)據(jù)51
2.4.2 使用Stanford CoreNLP提取XML
數(shù)據(jù)的特征關(guān)系52
第3章 網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)54
3.1 網(wǎng)絡(luò)爬蟲基礎(chǔ)54
3.2 開發(fā)簡(jiǎn)單的網(wǎng)絡(luò)爬蟲應(yīng)用程序55
3.2.1 爬蟲抓取某高校教師信息55
3.2.2 抓取某吧的信息59
3.2.3 抓取XX百科64
3.2.4 爬蟲抓取某網(wǎng)站的信息并保存到
本地68
3.3 使用爬蟲框架Scrapy70
3.3.1 Scrapy框架基礎(chǔ)71
3.3.2 搭建Scrapy環(huán)境72
3.3.3 創(chuàng)建第一個(gè)Scrapy項(xiàng)目72
3.3.4 抓取某電影網(wǎng)的熱門電影信息76
3.3.5 抓取某網(wǎng)站中的照片并保存到
本地81
3.3.6 抓取某網(wǎng)站中的主播照片并保存到
本地82
第4章 處理特殊文本格式84
4.1 使用tablib模塊84
4.1.1 基本用法84
4.1.2 操作數(shù)據(jù)集中的指定行和列86
4.1.3 刪除并導(dǎo)出不同格式的數(shù)據(jù)87
4.1.4 生成一個(gè)Excel文件88
4.1.5 處理多個(gè)數(shù)據(jù)集89
4.1.6 使用標(biāo)簽過濾數(shù)據(jù)92
4.1.7 分離表格中的數(shù)據(jù)92
4.2 使用openpyxl處理Office
文件93
4.2.1 openpyxl基礎(chǔ)93
4.2.2 使用openpyxl讀取Excel文件的
數(shù)據(jù)96
4.2.3 將4組數(shù)據(jù)導(dǎo)入Excel文件96
4.2.4 在Excel文件中檢索某關(guān)鍵字
數(shù)據(jù)98
4.2.5 將數(shù)據(jù)導(dǎo)入Excel文件并生成一個(gè)
圖表99
4.3 使用pyexcel處理Office
文件100
4.3.1 使用pyexcel讀取并寫入CSV
文件100
4.3.2 使用pyexcel讀取指定Excel文件中
每個(gè)單元格數(shù)據(jù)101
4.3.3 按列讀取并顯示指定Excel文件中
每個(gè)單元格數(shù)據(jù)102
4.3.4 讀取顯示Excel文件中的所有
數(shù)據(jù)102
4.3.5 將3組數(shù)據(jù)導(dǎo)入新建的Excel
文件103
4.3.6 以多種方式獲取Excel數(shù)據(jù)104
4.3.7 將數(shù)據(jù)分別導(dǎo)入Excel文件和SQLite
數(shù)據(jù)庫(kù)105
4.3.8 在Flask Web項(xiàng)目中使用pyexcel處理
數(shù)據(jù)106
4.4 使用python-docx處理Office
文件109
4.4.1 使用python-docx處理Office文件的
流程109
4.4.2 創(chuàng)建Word文檔110
4.4.3 在Word中插入圖片110
4.4.4 創(chuàng)建結(jié)構(gòu)文檔112
4.4.5 讀取Word文檔114
4.5 使用xlrd和xlwt讀寫Excel115
4.5.1 使用庫(kù)xlrd115
4.5.2 使用庫(kù)xlwt117
4.6 使用xlsxwriter操作Excel
文件118
4.6.1 使用庫(kù)xlsxwriter的基本流程118
4.6.2 創(chuàng)建一個(gè)表格118
4.6.3 設(shè)置表格樣式120
4.6.4 向Excel文件中插入圖像122
4.6.5 向Excel文件中插入數(shù)據(jù)并繪制
柱狀圖123
4.6.6 向Excel文件中插入數(shù)據(jù)并繪制
散點(diǎn)圖125
4.6.7 向Excel文件中插入數(shù)據(jù)并繪制
柱狀圖和餅狀圖126
第5章 使用數(shù)據(jù)庫(kù)保存數(shù)據(jù)129
5.1 操作SQLite3數(shù)據(jù)庫(kù)129
5.1.1 sqlite3模塊介紹129
5.1.2 使用sqlite3模塊操作SQLite3
數(shù)據(jù)庫(kù)130
5.1.3 使用Flask+ SQLite3+ ECharts2實(shí)現(xiàn)
降水?dāng)?shù)據(jù)可視化系統(tǒng)132
5.2 操作MySQL數(shù)據(jù)庫(kù)138
5.2.1 搭建PyMySQL環(huán)境138
5.2.2 實(shí)現(xiàn)數(shù)據(jù)庫(kù)連接139
5.2.3 創(chuàng)建數(shù)據(jù)庫(kù)表140
5.2.4 爬取XX站用戶信息并保存到
MySQL數(shù)據(jù)庫(kù)141
5.3 使用MariaDB數(shù)據(jù)庫(kù)145
5.3.1 搭建MariaDB數(shù)據(jù)庫(kù)環(huán)境145
5.3.2 在Python程序中使用MariaDB
數(shù)據(jù)庫(kù)148
5.4 使用MongoDB數(shù)據(jù)庫(kù)150
5.4.1 搭建MongoDB環(huán)境150
5.4.2 在Python程序中使用MongoDB
數(shù)據(jù)庫(kù)151
5.5 使用ORM操作數(shù)據(jù)庫(kù)154
5.5.1 Python和ORM154
5.5.2 使用SQLAlchemy155
5.5.3 使用mongoengine160
第6章 操作處理CSV文件163
6.1 內(nèi)置CSV模塊介紹163
6.1.1 內(nèi)置成員163
6.1.2 操作CSV文件165
6.1.3 提取CSV數(shù)據(jù)并保存到MySQL
數(shù)據(jù)庫(kù)172
6.1.4 提取CSV數(shù)據(jù)并保存到SQLite
數(shù)據(jù)庫(kù)176
6.2 爬取圖書信息并保存為CSV
文件178
6.2.1 實(shí)例介紹178
6.2.2 具體實(shí)現(xiàn)178
6.3 使用CSV文件保存Scrapy抓取的
數(shù)據(jù)181
6.3.1 搭建Scrap