Spark項目實戰(zhàn)

定　價：￥48.00

作　者：	黑馬程序員
出版社：	清華大學出版社
叢編項：
標　簽：	暫缺

購買這本書可以去

ISBN：	9787302581475	出版時間：	2021-07-01	包裝：	平裝-膠訂
開本：	16開	頁數(shù)：	184	字數(shù)：

內(nèi)容簡介

　　本書運用Spark計算框架的核心組件對電商數(shù)據(jù)進行分析，以項目形式呈現(xiàn)，其內(nèi)容涵蓋環(huán)境搭建、數(shù)據(jù)分析、數(shù)據(jù)持久化和數(shù)據(jù)可視化，涉及JavaEE、ECharts、Hadoop、HBase、Spark、Kafka和ZooKeeper等技術(shù)點的綜合應(yīng)用。針對項目開發(fā)過程的每個環(huán)節(jié)都進行了深入講解，使讀者由淺入深地了解每個環(huán)節(jié)的知識內(nèi)容。本書共分為7章。第1章主要介紹項目開發(fā)的基本情況；第2章主要介紹大數(shù)據(jù)集群環(huán)境的搭建；第3章主要介紹通過Spark實現(xiàn)熱門品類Top10分析，并對分析結(jié)果進行持久化操作；第4章主要介紹通過Spark實現(xiàn)各區(qū)域熱門商品Top3分析，并對分析結(jié)果進行持久化操作；第5章主要介紹通過Spark SQL實現(xiàn)網(wǎng)站轉(zhuǎn)化率統(tǒng)計，并對分析結(jié)果進行持久化操作；第6章主要介紹通過Spark Streaming實現(xiàn)廣告點擊流實時統(tǒng)計，并實時持久化統(tǒng)計結(jié)果；第7章主要介紹通過可視化技術(shù)將第3~6章的分析與統(tǒng)計結(jié)果進行圖形化展示。本書配有視頻、源代碼、教學設(shè)計、教學PPT、教學大綱等資源。同時，為了幫助初學者更好地學習書中的內(nèi)容，還提供了在線答疑，歡迎讀者關(guān)注。本書適合擁有Spark基礎(chǔ)的讀者閱讀，也可以作為高等院校相關(guān)課程的教學參考書。讀者不僅能夠通過項目實戰(zhàn)鞏固基礎(chǔ)知識的學習效果，還能學習商業(yè)智能系統(tǒng)的開發(fā)過程。

作者簡介

　　江蘇傳智播客教育科技股份有限公司（簡稱傳智播客）是一家致力于培養(yǎng)高素質(zhì)軟件開發(fā)人才的科技公司，“黑馬程序員”是傳智播客旗下高端IT教育品牌。

圖書目錄

第1章項目概述1
1.1項目需求和目標1
1.2預備知識2
1.3項目架構(gòu)設(shè)計及技術(shù)選取2
1.4開發(fā)環(huán)境和開發(fā)工具介紹3
1.5項目開發(fā)流程4
1.6硬件要求5
1.7本章小結(jié)6
第2章搭建大數(shù)據(jù)集群環(huán)境7
2.1安裝準備7
2.1.1認識Linux操作系統(tǒng) 7
2.1.2創(chuàng)建虛擬機8
2.1.3啟動虛擬機并安裝Linux操作
系統(tǒng)14
2.1.4克隆虛擬機22
2.1.5配置Linux操作系統(tǒng)網(wǎng)絡(luò)及主
機名25
2.1.6SSH配置29
2.1.7配置時間同步36
2.2安裝JDK41
2.3ZooKeeper集群部署42
2.3.1ZooKeeper集群的安裝與配置…42
2.3.2ZooKeeper集群的啟動與關(guān)閉…44
2.4Hadoop集群部署46
2.4.1Hadoop高可用集群規(guī)劃46
2.4.2安裝Hadoop47
2.4.3Hadoop高可用集群配置48
2.4.4啟動Hadoop高可用集群55
2.5Spark集群部署60
2.5.1Spark集群部署模式60
2.5.2Spark集群安裝配置61
2.5.3Spark集群測試62
2.6HBase集群部署64
2.6.1HBase集群規(guī)劃64
2.6.2HBase集群安裝配置65
2.6.3啟動HBase集群67
2.7Kafka集群部署69
2.7.1Kafka集群的安裝與配置69
2.7.2啟動Kafka集群70
2.8本章小結(jié)72
第3章熱門品類Top10分析73
3.1數(shù)據(jù)集分析73
3.2實現(xiàn)思路分析74
3.3實現(xiàn)熱門品類Top1075
3.3.1創(chuàng)建項目75
3.3.2創(chuàng)建Spark連接并讀取數(shù)據(jù)集81
3.3.3獲取業(yè)務(wù)數(shù)據(jù)82
3.3.4統(tǒng)計品類的行為類型83
3.3.5過濾品類的行為類型83
3.3.6合并相同品類的行為類型85
3.3.7根據(jù)品類的行為類型進行排序85
3.3.8數(shù)據(jù)持久化87
3.4運行程序92
3.5本章小結(jié)97
第4章各區(qū)域熱門商品Top3分析98
4.1實現(xiàn)思路分析98
4.2實現(xiàn)各區(qū)域熱門商品Top399
4.2.1創(chuàng)建Spark連接并讀取數(shù)據(jù)集99
4.2.2獲取業(yè)務(wù)數(shù)據(jù)100
4.2.3過濾商品的行為類型100
4.2.4轉(zhuǎn)換數(shù)據(jù)格式101
4.2.5統(tǒng)計每個區(qū)域中的不同商品101
4.2.6根據(jù)區(qū)域進行分組102
4.2.7根據(jù)區(qū)域內(nèi)商品的查看次數(shù)進行排序102
4.2.8數(shù)據(jù)持久化103
4.3運行程序106
4.4本章小結(jié)108
目錄Spark項目實戰(zhàn)第5章網(wǎng)站轉(zhuǎn)化率統(tǒng)計109
5.1數(shù)據(jù)集分析109
5.2實現(xiàn)思路分析110
5.3實現(xiàn)網(wǎng)站轉(zhuǎn)化率統(tǒng)計111
5.3.1生成用戶瀏覽網(wǎng)頁數(shù)據(jù)111
5.3.2修改pom.xml文件112
5.3.3創(chuàng)建Spark連接并讀取數(shù)據(jù)集113
5.3.4統(tǒng)計每個頁面訪問次數(shù)114
5.3.5獲取每個用戶瀏覽網(wǎng)頁的順序114
5.3.6合并同一用戶瀏覽的網(wǎng)頁114
5.3.7統(tǒng)計每個單跳的次數(shù)115
5.3.8計算頁面單跳轉(zhuǎn)化率116
5.3.9數(shù)據(jù)持久化117
5.4運行程序118
5.5本章小結(jié)121
第6章廣告點擊流實時統(tǒng)計122
6.1數(shù)據(jù)集分析122
6.2實現(xiàn)思路分析123
6.3數(shù)據(jù)庫設(shè)計124
6.4實現(xiàn)廣告點擊流實時統(tǒng)計125
6.4.1修改pom.xml文件125
6.4.2生產(chǎn)用戶廣告點擊流數(shù)據(jù)125
6.4.3創(chuàng)建Spark Streaming連接128
6.4.4讀取用戶廣告點擊流數(shù)據(jù)129
6.4.5獲取業(yè)務(wù)數(shù)據(jù)129
6.4.6讀取黑名單用戶數(shù)據(jù)130
6.4.7過濾黑名單用戶131
6.4.8統(tǒng)計每個城市不同廣告的點擊次數(shù)132
6.4.9添加黑名單用戶133
6.4.10數(shù)據(jù)持久化134
6.5運行程序135
6.6本章小結(jié)137
第7章數(shù)據(jù)可視化138
7.1系統(tǒng)概述138
7.1.1技術(shù)選取138
7.1.2系統(tǒng)架構(gòu)139
7.2數(shù)據(jù)表設(shè)計與實現(xiàn)141
7.2.1數(shù)據(jù)表介紹141
7.2.2Phoenix集成HBase142
7.2.3建立Phoenix與HBase表映射143
7.3創(chuàng)建Spring Boot項目147
7.4實現(xiàn)熱門品類Top10數(shù)據(jù)可視化152
7.4.1創(chuàng)建實體類Top10Entity152
7.4.2創(chuàng)建數(shù)據(jù)庫訪問接口Top10Dao153
7.4.3創(chuàng)建控制器類Top10Controller153
7.4.4創(chuàng)建HTML文件top10.html154
7.4.5運行項目實現(xiàn)熱門品類Top10數(shù)據(jù)可視化157
7.5實現(xiàn)各區(qū)域熱門商品Top3數(shù)據(jù)可視化160
7.5.1創(chuàng)建實體類Top3Entity160
7.5.2創(chuàng)建數(shù)據(jù)庫訪問接口Top3Dao160
7.5.3創(chuàng)建控制器類Top3Controller161
7.5.4創(chuàng)建HTML文件top3.html162
7.5.5運行項目實現(xiàn)各區(qū)域熱門商品Top3數(shù)據(jù)可視化164
7.6實現(xiàn)頁面單跳轉(zhuǎn)化率數(shù)據(jù)可視化165
7.6.1創(chuàng)建實體類ConversionEntity165
7.6.2創(chuàng)建數(shù)據(jù)庫訪問接口ConversionDao165
7.6.3創(chuàng)建控制器類ConversionController166
7.6.4創(chuàng)建HTML文件conversion.html166
7.6.5運行項目實現(xiàn)頁面單跳轉(zhuǎn)化率數(shù)據(jù)可視化169
7.7實現(xiàn)廣告點擊流實時統(tǒng)計可視化169
7.7.1創(chuàng)建實體類AdsEntity169
7.7.2創(chuàng)建數(shù)據(jù)庫訪問接口AdsDao170
7.7.3創(chuàng)建控制器類AdsController170
7.7.4創(chuàng)建HTML文件ads.html171
7.7.5運行項目實現(xiàn)廣告點擊流實時統(tǒng)計可視化173
7.8本章小結(jié)174