大數(shù)據(jù)技術(shù)導(dǎo)論（第2版）

第2版前言
第1版前言

第1章 緒論1
1.1 認(rèn)識(shí)大數(shù)據(jù)1
1.1.1 大數(shù)據(jù)產(chǎn)生的歷史必然1
1.1.2 大數(shù)據(jù)概念和特征2
1.1.3 大數(shù)據(jù)生命周期4
1.1.4 大數(shù)據(jù)、物聯(lián)網(wǎng)與云計(jì)算之間的
關(guān)系6
1.2 大數(shù)據(jù)時(shí)代帶來(lái)的變化6
1.2.1 決策方式6
1.2.2 計(jì)算方式6
1.2.3 思維方式7
1.3 大數(shù)據(jù)價(jià)值8
1.3.1 增加額外收入9
1.3.2 減少支出9
1.3.3 降低風(fēng)險(xiǎn)9
1.3.4 參照系9
1.4 大數(shù)據(jù)產(chǎn)業(yè)及崗位10
1.4.1 大數(shù)據(jù)產(chǎn)業(yè)鏈條10
1.4.2 大數(shù)據(jù)產(chǎn)業(yè)分析11
1.4.3 大數(shù)據(jù)崗位12
1.5 虛擬機(jī)13
1.5.1 安裝虛擬機(jī)13
1.5.2 安裝CentOS15
1.5.3 安裝虛擬機(jī)常見問題20
1.5.4 大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)概述21
1.6 Linux操作系統(tǒng)22
1.6.1 Linux版本22
1.6.2 Linux 系統(tǒng)目錄結(jié)構(gòu)23
1.6.3 文本編輯器vi24
1.6.4 文件權(quán)限解讀24
1.6.5 Linux系統(tǒng)常用命令25
習(xí)題127
實(shí)驗(yàn)：Linux實(shí)驗(yàn)29
第2章 大數(shù)據(jù)生態(tài)30
2.1 認(rèn)識(shí)Hadoop30
2.2 部署Hadoop30
2.2.1 Hadoop安裝模式30
2.2.2 單節(jié)點(diǎn)偽分布模式安裝31
2.2.3 多節(jié)點(diǎn)偽分布模式安裝32
2.3 HDFS38
2.3.1 HDFS體系結(jié)構(gòu)39
2.3.2 HDFS存儲(chǔ)原理41
2.3.3 HDFS實(shí)戰(zhàn)41
2.4 MapReduce44
2.4.1 MapReduce邏輯結(jié)構(gòu)44
2.4.2 MapReduce實(shí)戰(zhàn)45
2.5 Zookeeper47
2.5.1 Zookeeper集群47
2.5.2 部署Zookeeper47
習(xí)題249
實(shí)驗(yàn)：HDFS操作52
第3章 大數(shù)據(jù)采集與預(yù)處理53
3.1 數(shù)據(jù)53
3.1.1 數(shù)據(jù)是什么53
3.1.2 數(shù)據(jù)分類54
3.1.3 度量和維度55
3.2 數(shù)據(jù)采集56
3.2.1 數(shù)據(jù)采集概述56
3.2.2 數(shù)據(jù)采集工具56
3.3 日志采集組件Flume60
3.3.1 Flume結(jié)構(gòu)60
3.3.2 Flume部署62
3.3.3 Flume實(shí)戰(zhàn)63
3.4 數(shù)據(jù)清洗68
3.4.1 缺失值處理68
3.4.2 異常值處理69
3.4.3 數(shù)據(jù)清洗實(shí)戰(zhàn)71
3.5 數(shù)據(jù)變換74
3.5.1 規(guī)范化74
3.5.2 數(shù)據(jù)透視表76
3.5.3 列聯(lián)表78
3.5.4 聚合表78
3.5.5 特征編碼79
習(xí)題379
第4章 大數(shù)據(jù)管理82
4.1 數(shù)據(jù)管理概述82
4.2 大數(shù)據(jù)管理NoSQL83
4.2.1 NoSQL概述83
4.2.2 NoSQL分類及主要產(chǎn)品83
4.3 列式數(shù)據(jù)庫(kù)HBase85
4.3.1 HBase模型85
4.3.2 HBase系統(tǒng)架構(gòu)85
4.3.3 HBase應(yīng)用場(chǎng)景88
4.4 HBase實(shí)戰(zhàn)89
4.4.1 HBase部署89
4.4.2 HBase Shell基本操作91
4.4.3 HBase Shell應(yīng)用案例94
習(xí)題496
實(shí)驗(yàn)：HBase基本操作97
第5章 數(shù)據(jù)可視化98
5.1 數(shù)據(jù)可視化概述98
5.2 常用圖形99
5.3 可視化設(shè)計(jì)\\105
5.3.1 數(shù)據(jù)可視化圖形選擇建議106
5.3.2 用數(shù)據(jù)講故事106
5.4 數(shù)據(jù)可視化工具111
5.4.1 FineReport111
5.4.2 ECharts113
5.4.3 Tableau114
習(xí)題5115
第6章 大數(shù)據(jù)分析117
6.1 大數(shù)據(jù)分析概述117
6.1.1 數(shù)據(jù)分析概念117
6.1.2 數(shù)據(jù)分析流程118
6.1.3 數(shù)據(jù)分析師的基本技能和素養(yǎng)119
6.2 業(yè)務(wù)理解124
6.2.1 業(yè)務(wù)理解概述124
6.2.2 數(shù)據(jù)業(yè)務(wù)化125
6.3 數(shù)據(jù)認(rèn)知126
6.3.1 描述性分析126
6.3.2 對(duì)比分析126
6.3.3 細(xì)分分析128
6.3.4 交叉分析129
6.3.5 相關(guān)分析129
6.4 分析指標(biāo)設(shè)計(jì)131
6.4.1 設(shè)計(jì)指標(biāo)技巧131
6.4.2 如何設(shè)計(jì)指標(biāo)131
6.5 數(shù)據(jù)建模133
6.6 內(nèi)存計(jì)算引擎Spark134
6.6.1 Spark概述134
6.6.2 Spark結(jié)構(gòu)135
6.6.3 Spark部署137
6.6.4 Spark實(shí)戰(zhàn)140
6.7 數(shù)據(jù)倉(cāng)庫(kù)Hive143
6.7.1 數(shù)據(jù)倉(cāng)庫(kù)概述143
6.7.2 Hive設(shè)計(jì)特點(diǎn)143
6.7.3 Hive系統(tǒng)架構(gòu)143
6.7.4 Hive部署144
6.7.5 Hive實(shí)戰(zhàn)146
習(xí)題6149
實(shí)驗(yàn)：Hive實(shí)驗(yàn)151
第7章 大數(shù)據(jù)應(yīng)用153
7.1 零售業(yè)大數(shù)據(jù)153
7.1.1 市場(chǎng)營(yíng)銷153
7.1.2 商品管理156
7.1.3 運(yùn)營(yíng)管理157
7.1.4 供應(yīng)鏈管理158
7.1.5 商業(yè)模式159
7.2 交通大數(shù)據(jù)159
7.2.1 道路運(yùn)輸安全事故預(yù)警160
7.2.2 城市道路交通信號(hào)燈智能調(diào)時(shí)160
7.2.3 繪制實(shí)時(shí)路況信息圖161
7.2.4 停車管理161
7.3 醫(yī)療大數(shù)據(jù)162
7.3.1 大數(shù)據(jù)電子病歷162
7.3.2 大數(shù)據(jù)與流行病防控163
7.3.3 基因測(cè)序—精準(zhǔn)治癌正在成為
現(xiàn)實(shí)164
7.4 農(nóng)業(yè)大數(shù)據(jù)164
7.4.1 農(nóng)業(yè)大數(shù)據(jù)構(gòu)成165
7.4.2 農(nóng)業(yè)大數(shù)據(jù)應(yīng)用167
7.4.3 智慧畜牧業(yè)170
7.4.4 水產(chǎn)養(yǎng)殖環(huán)境監(jiān)測(cè)172
7.4.5 食品溯源172
7.5 環(huán)保大數(shù)據(jù)173
7.5.1 多維度的環(huán)保數(shù)據(jù)整合173
7.5.2 環(huán)保數(shù)據(jù)服務(wù)接口174
7.5.3 環(huán)保數(shù)據(jù)可視化175
7.6 教育大數(shù)據(jù)175
7.6.1 教育大數(shù)據(jù)特點(diǎn)175
7.6.2 教育大數(shù)據(jù)作用176
7.6.3 大數(shù)據(jù)應(yīng)用于教育行業(yè)十大
案例177
7.6.4 教育大數(shù)據(jù)技術(shù)179
7.7 政府大數(shù)據(jù)180
7.7.1 政府主要部門的數(shù)據(jù)內(nèi)容及
數(shù)據(jù)應(yīng)用開發(fā)價(jià)值180
7.7.2 政府大數(shù)據(jù)應(yīng)用案例181
7.8 工業(yè)大數(shù)據(jù)184
7.8.1 工業(yè)大數(shù)據(jù)概述184
7.8.2 工業(yè)大數(shù)據(jù)架構(gòu)185
7.8.3 工業(yè)大數(shù)據(jù)的價(jià)值創(chuàng)造185
7.8.4 工業(yè)大數(shù)據(jù)應(yīng)用案例186
習(xí)題7187
第8章 大數(shù)據(jù)安全188
8.1 大數(shù)據(jù)安全的重要意義188
8.2 大數(shù)據(jù)面臨的挑戰(zhàn)189
8.3 大數(shù)據(jù)安全技術(shù)190
8.4 大數(shù)據(jù)安全保障體系194
習(xí)題8195
附錄196
附錄A 大數(shù)據(jù)運(yùn)維“1+X”
考證樣卷（初級(jí)）196
附錄B 數(shù)據(jù)分析“1+X”
考證樣