Python 3爬蟲、數據清洗與可視化實戰(zhàn)（第2版）

定　價：￥69.00

作　者：	零一韓要賓黃園園著著
出版社：	電子工業(yè)出版社
叢編項：
標　簽：	暫缺

購買這本書可以去

ISBN：	9787121391187	出版時間：	2020-07-01	包裝：	平裝
開本：	16開	頁數：	260	字數：

內容簡介

　　本書是一本通過實戰(zhàn)教初學者學習爬取數據、清洗和組織數據進行分析和可視化的Python 讀物。書中案例均經過實戰(zhàn)檢驗，筆者在實踐過程中深感采集數據、清洗和組織數據的重要性，作為一名數據行業(yè)的“碼農”，數據就是沃土，沒有數據，我們將無田可耕。本書共13 章，包括6 個核心主題，其一是Python 基礎入門，包括環(huán)境配置、基本操作、數據類型、語句和函數；其二是Python 爬蟲的構建，包括網頁結構解析、爬蟲流程設計、代碼優(yōu)化、爬蟲效率優(yōu)化、無線端的數據采集、容錯處理、反防爬蟲、表單交互和模擬頁面點擊；其三是Python數據庫應用，包括MongoDB、MySQL 在Python 中的連接與應用；其四是數據清洗和組織，包括NumPy 數組知識，以及pandas 數據的讀寫、分組、變形，缺失值、異常值和重復值處理，時序數據處理和正則表達式的使用等；其五是綜合應用實例，幫助讀者貫穿爬蟲、數據清洗與組織的過程；最后是數據可視化，包括matplotlib 和pyecharts 兩個庫的使用，涉及餅圖、柱形圖、線圖、詞云圖等圖形，幫助讀者進入可視化的殿堂。本書以實戰(zhàn)為主，適合Python 初學者及高等院校相關專業(yè)的學生閱讀，也適合Python 培訓機構作為實驗教材。

作者簡介

　　零一原名陳海城，慕研數據分析師事務所創(chuàng)始人，電商數據專家，數據分析師，開發(fā)工程師；從事教育培訓、數據分析和人工智能行業(yè)，專注于電商企業(yè)的數據化服務。韓要賓 CDA數據分析研究院資深講師；5年電商從業(yè)經驗，4年數據挖掘實戰(zhàn)經驗；專注于數據分析與挖掘、機器學習、深度學習，服務客戶包括蘇寧易購、迪卡儂、百草味、浙江師范大學等。黃園園具有10年軟件開發(fā)經驗，全棧工程師，六西格瑪黑帶，精通Python和機器學習算法，具有豐富的分布式爬蟲開發(fā)經驗；曾在蘇州三星電子電腦（SESC）、新加坡電信（NCS）、希捷科技（Seagate Technology）等世界知名企業(yè)研發(fā)部工作，參與過花旗銀行在線支付系統(tǒng)、銀行賬單自動化審核系統(tǒng)等大型軟件開發(fā)，曾任杭州沐垚科技有限公司CTO。

圖書目錄

第1 章 Python 語言基礎 1
1.1 安裝Python 環(huán)境 1
1.1.1 Python 3.6.2 安裝與配置 1
1.1.2 使用IDE 工具——PyCharm 4
1.1.3 使用IDE 工具——Anaconda 4
1.2 Python 操作入門 5
1.2.1 編寫第一個Python 代碼 5
1.2.2 Python 基本操作 . 8
1.2.3 變量 . 10
1.3 Python 數據類型 . 10
1.3.1 數字 . 10
1.3.2 字符串 11
1.3.3 列表 . 14
1.3.4 元組 . 15
1.3.5 集合 . 15
1.3.6 字典 . 15
1.4 Python 語句與函數 16
1.4.1 條件語句 16
1.4.2 循環(huán)語句 16
1.4.3 函數 . 17
1.5 習題 18

第2 章數據采集的基本知識 . 25
2.1 關于爬蟲的合法性 25
2.2 了解網頁 . 27
2.2.1 認識網頁結構 28
2.2.2 寫一個簡單的HTML 28
2.3 使用requests 庫請求網站 . 30
2.3.1 安裝requests 庫 30
2.3.2 爬蟲的基本原理 32
2.3.3 使用GET 方式抓取數據 . 33
2.3.4 使用POST 方式抓取數據 .. 34
2.4 使用Beautiful Soup 解析網頁 37
2.5 清洗和組織數據 . 41
2.6 爬蟲攻防戰(zhàn) 42
2.7 關于什么時候存儲數據 . 45
2.8 習題 45

第3 章用API 爬取天氣預報數據 . 48
3.1 注冊免費API 和閱讀技術文檔 . 48
3.2 獲取API 數據 50
3.3 存儲數據到MongoDB 55
3.3.1 下載并安裝MongoDB . 55
3.3.2 在PyCharm 中安裝Mongo Plugin . 56
3.3.3 將數據存入MongoDB 中 59
3.4 MongoDB 數據庫查詢 61
3.5 習題 64

第4 章大型爬蟲案例：抓取某電商網站的商品數據 . 65
4.1 觀察頁面特征和解析數據. 65
4.2 工作流程分析 74
4.3 構建類目樹 75
4.4 獲取景點產品列表 78
4.5 代碼優(yōu)化 . 80
4.6 爬蟲效率優(yōu)化 .. 84
4.7 容錯處理 . 87
4.8 習題 87

第5 章采集手機App 數據 . 89
5.1 模擬器及抓包環(huán)境配置 . 89
5.2 App 數據抓包 .. 93
5.3 手機App 數據的采集 95
5.4 習題 96

第6 章 Scrapy 爬蟲 . 98
6.1 Scrapy 簡介 98
6.2 安裝Scrapy 99
6.3 案例：用Scrapy 抓取股票行情 . 100
6.4 習題 . 108

第7 章 Selenium 爬蟲 109
7.1 Selenium 簡介 109
7.2 安裝Selenium 111
7.3 Selenium 定位及操作元素 . 111
7.4 案例：用Selenium 抓取某電商網站數據 . 114
7.5 習題 . 122

第8 章爬蟲案例集錦 124
8.1 采集外賣平臺數據 . 124
8.1.1 采集目標 124
8.1.2 采集代碼 126
8.2 采集內容平臺數據 . 127
8.2.1 采集目標 127
8.2.2 采集代碼 129
8.3 采集招聘平臺數據 . 130
8.3.1 采集目標 130
8.3.2 采集代碼 132
8.4 采集知識付費平臺數據 .. 133
8.4.1 采集目標 133
8.4.2 采集代碼 136

第9 章數據庫連接和查詢 137
9.1 使用PyMySQL . 137
9.1.1 連接數據庫 .. 137
9.1.2 案例：某電商網站女裝行業(yè)TOP100 銷量數據 139
9.2 使用SQLAlchemy .. 141
9.2.1 SQLAlchemy 基本介紹 . 141
9.2.2 SQLAlchemy 基本語法 . 142
9.3 MongoDB . 144
9.3.1 MongoDB 基本語法 144
9.3.2 案例：在某電商網站搜索“連衣裙”的商品數據 145
9.4 習題 . 146

第10 章 NumPy 數組操作 148
10.1 NumPy 簡介 148
10.2 一維數組 149
10.2.1 數組與列表的異同 149
10.2.2 數組的創(chuàng)建 150
10.3 多維數組 151
10.3.1 多維數組的高效性能 151
10.3.2 多維數組的索引與切片 152
10.3.3 多維數組的屬性和方法 153
10.4 數組的運算 .. 154
10.5 習題 155

第11 章 pandas 數據清洗 158
11.1 數據讀寫、選擇、整理和描述 . 158
11.1.1 從CSV 中讀取數據 160
11.1.2 向CSV 中寫入數據 161
11.1.3 數據選擇 . 161
11.1.4 數據整理 . 163
11.1.5 數據描述 . 164
11.2 數據分組、分割、合并和變形 . 165
11.2.1 數據分組 . 165
11.2.2 數據分割 . 168
11.2.3 數據合并 . 169
11.2.4 數據變形 . 175
11.2.5 案例：旅游數據的分析與變形 177
11.3 缺失值、異常值和重復值處理 . 181
11.3.1 缺失值處理 181
11.3.2 檢測和過濾異常值 184
11.3.3 移除重復值 187
11.3.4 案例：旅游數據值的檢查與處理 . 189
11.4 時序數據處理 . 192
11.4.1 日期/時間數據轉換 192
11.4.2 時序數據基礎操作 193
11.4.3 案例：天氣預報數據分析與處理 . 195
11.5 數據類型轉換 . 199
11.6 正則表達式 201
11.6.1 元字符與限定符 . 201
11.6.2 案例：用正則表達式提取網頁文本信息 . 202
11.7 習題 203

第12 章綜合應用實例 206
12.1 按性價比給用戶推薦旅游產品 . 206
12.1.1 數據采集 . 207
12.1.2 數據清洗、建模 . 211
12.2 通過熱力圖分析為用戶提供出行建議 . 213
12.2.1 某旅游網站熱門景點爬蟲代碼 .. 217
12.2.2 提取CSV 文件中經緯度和銷量信息 . 220
12.2.3 創(chuàng)建景點門票銷量熱力圖HTML 文件 221

第13 章數據可視化 . 224
13.1 應用matplotlib 畫圖 225
13.1.1 畫出各省份平均價格、各省份平均成交量柱狀圖 225
13.1.2 畫出各省份平均成交量折線圖、柱狀圖、箱形圖和餅圖 227
13.1.3 畫出價格與成交量的散點圖 228
13.2 應用pyecharts 畫圖 228
13.2.1 Echarts 簡介 228
13.2.2 pyecharts 簡介 229
13.2.3 初識pyecharts，玫瑰相送 229
13.2.4 pyecharts 基本語法 230
13.2.5 基于商業(yè)分析的pyecharts 圖表繪制 . 232
13.2.6 使用pyecharts 繪制其他圖表 . 242
13.2.7 pyecharts 和Jupyter 245
13.3 習題 246