大數(shù)據(jù)分析：Python爬蟲、數(shù)據(jù)清洗和數(shù)據(jù)可視化

目錄

配套資源下載



目錄
第1章大數(shù)據(jù)

1.1大數(shù)據(jù)概述

1.1.1大數(shù)據(jù)介紹

1.1.2大數(shù)據(jù)的特征

1.1.3大數(shù)據(jù)技術(shù)應(yīng)用與基礎(chǔ)

1.2大數(shù)據(jù)的意義

1.2.1大數(shù)據(jù)的國(guó)家戰(zhàn)略意義

1.2.2大數(shù)據(jù)的企業(yè)意義

1.2.3我國(guó)大數(shù)據(jù)市場(chǎng)的預(yù)測(cè)

1.3大數(shù)據(jù)的產(chǎn)業(yè)鏈分析

1.3.1技術(shù)分析

1.3.2運(yùn)營(yíng)分析

1.4本章小結(jié)

1.5實(shí)訓(xùn)

習(xí)題

第2章爬蟲與大數(shù)據(jù)

2.1爬蟲概述

2.1.1爬蟲介紹

2.1.2爬蟲的地位與作用

2.2Python介紹

2.2.1Python開發(fā)環(huán)境搭建

2.2.2編寫Python程序

2.2.3Python數(shù)據(jù)類型

2.3爬蟲相關(guān)知識(shí)

2.3.1了解網(wǎng)頁(yè)結(jié)構(gòu)

2.3.2Python與爬蟲

2.3.3基礎(chǔ)爬蟲框架

2.4利用爬蟲抓取網(wǎng)頁(yè)內(nèi)容

2.4.1觀察與分析頁(yè)面

2.4.2抓取過程分析

2.4.3獲取頁(yè)面內(nèi)容

2.5本章小結(jié)

2.6實(shí)訓(xùn)

習(xí)題

第3章Scrapy爬蟲

3.1Scrapy爬蟲概述

3.2Scrapy原理

3.2.1Scrapy框架的架構(gòu)

3.2.2Request對(duì)象和Response對(duì)象

3.2.3Select對(duì)象

3.2.4Spider開發(fā)流程

3.3Scrapy的開發(fā)與實(shí)現(xiàn)

3.3.1Scrapy爬蟲開發(fā)流程

3.3.2創(chuàng)建Scrapy項(xiàng)目并查看結(jié)構(gòu)

3.3.3編寫代碼并運(yùn)行爬蟲

3.4本章小結(jié)

3.5實(shí)訓(xùn)

習(xí)題

第4章數(shù)據(jù)庫(kù)連接與查詢

4.1數(shù)據(jù)庫(kù)

4.1.1數(shù)據(jù)庫(kù)概述

4.1.2關(guān)系數(shù)據(jù)庫(kù)設(shè)計(jì)

4.2MySQL數(shù)據(jù)庫(kù)

4.2.1MySQL數(shù)據(jù)庫(kù)概述

4.2.2MySQL數(shù)據(jù)庫(kù)下載、安裝與運(yùn)行

4.2.3MySQL數(shù)據(jù)庫(kù)命令行入門

4.3使用Python操作MySQL數(shù)據(jù)庫(kù)

4.3.1pymysql安裝與使用

4.3.2Python連接MySQL數(shù)據(jù)庫(kù)

4.4本章小結(jié)

4.5實(shí)訓(xùn)

習(xí)題

第5章數(shù)據(jù)可視化基礎(chǔ)與應(yīng)用

5.1數(shù)據(jù)可視化

5.1.1數(shù)據(jù)可視化概述

5.1.2數(shù)據(jù)可視化工具

5.1.3數(shù)據(jù)可視化圖表

5.2matplotlib可視化基礎(chǔ)

5.2.1numpy庫(kù)

5.2.2matplotlib認(rèn)識(shí)與安裝


5.2.3matplotlib測(cè)試

5.2.4matplotlib.pyplot庫(kù)

5.3matplotlib可視化繪圖

5.3.1繪制線性圖形

5.3.2繪制柱狀圖形

5.3.3繪制直方圖

5.3.4繪制散點(diǎn)圖

5.3.5繪制極坐標(biāo)圖

5.3.6繪制餅圖

5.4pyecharts可視化應(yīng)用

5.5本章小結(jié)

5.6實(shí)訓(xùn)

習(xí)題

第6章大數(shù)據(jù)存儲(chǔ)與清洗

6.1大數(shù)據(jù)存儲(chǔ)

6.2數(shù)據(jù)清洗

6.2.1數(shù)據(jù)清洗概述

6.2.2數(shù)據(jù)清洗的原理

6.2.3數(shù)據(jù)清洗的流程

6.2.4數(shù)據(jù)清洗的工具

6.3數(shù)據(jù)標(biāo)準(zhǔn)化

6.3.1數(shù)據(jù)標(biāo)準(zhǔn)化的概念

6.3.2數(shù)據(jù)標(biāo)準(zhǔn)化的方法

6.3.3數(shù)據(jù)標(biāo)準(zhǔn)化的實(shí)例

6.4本章小結(jié)

6.5實(shí)訓(xùn)

習(xí)題

第7章數(shù)據(jù)格式與編碼技術(shù)

7.1文件格式

7.2數(shù)據(jù)類型與編碼

7.2.1數(shù)據(jù)類型概述

7.2.2字符編碼

7.2.3數(shù)據(jù)轉(zhuǎn)換

7.3Kettle數(shù)據(jù)清洗與轉(zhuǎn)換工具的使用

7.3.1Kettle概述

7.3.2Kettle的安裝與使用

7.4CSV格式的數(shù)據(jù)轉(zhuǎn)換

7.4.1CSV格式概述

7.4.2CSV與JSON文件的轉(zhuǎn)換

7.5本章小結(jié)

7.6實(shí)訓(xùn)