大數(shù)據(jù)分：數(shù)據(jù)倉庫項目實戰(zhàn)

第1章 大數(shù)據(jù)與數(shù)據(jù)倉庫概論 1
1.1 大數(shù)據(jù)概論 1
1.1.1 什么是大數(shù)據(jù) 1
1.1.2 大數(shù)據(jù)生態(tài)圈簡介 2
1.1.3 大數(shù)據(jù)應用場景 3
1.2 數(shù)據(jù)倉庫概論 4
1.2.1 什么是數(shù)據(jù)倉庫 4
1.2.2 數(shù)據(jù)倉庫能干什么 4
1.2.3 數(shù)據(jù)倉庫的特點 5
1.3 學前導讀 6
1.3.1 學習的基礎要求 6
1.3.2 你將學到什么 7
1.4 本章總結(jié) 7
第2章 項目需求描述 8
2.1 任務概述 8
2.1.1 產(chǎn)品描述 9
2.1.2 系統(tǒng)目標 9
2.1.3 系統(tǒng)功能結(jié)構 9
2.1.4 系統(tǒng)流程圖 10
2.2 業(yè)務描述 10
2.2.1 采集模塊業(yè)務描述 10
2.2.2 數(shù)據(jù)倉庫需求業(yè)務描述 16
2.2.3 數(shù)據(jù)可視化業(yè)務描述 17
2.3 系統(tǒng)運行環(huán)境 17
2.3.1 硬件環(huán)境 17
2.3.2 軟件環(huán)境 18
2.4 本章總結(jié) 20
第3章 項目部署的環(huán)境準備 21
3.1 Linux環(huán)境準備 21
3.1.1 VMware安裝 21
3.1.2 CentOS安裝 21
3.1.3 遠程終端安裝 31
3.2 Linux環(huán)境配置 34
3.2.1 網(wǎng)絡配置 34
3.2.2 網(wǎng)絡IP地址配置 35
3.2.3 主機名配置 36
3.2.4 防火墻配置 37
3.2.5 一般用戶設置 38
3.3 Hadoop環(huán)境搭建 38
3.3.1 虛擬機環(huán)境準備 39
3.3.2 JDK安裝 45
3.3.3 Hadoop安裝 46
3.3.4 Hadoop分布式集群部署 47
3.3.5 配置Hadoop支持LZO壓縮 52
3.3.6 配置Hadoop支持Snappy壓縮 53
3.4 本章總結(jié) 54
第4章 用戶行為數(shù)據(jù)采集模塊 55
4.1 日志生成 55
4.2 采集日志的Flume 57
4.2.1 Flume組件 58
4.2.2 Flume安裝 58
4.2.3 采集日志Flume配置 59
4.2.4 Flume的ETL攔截器和日志類型區(qū)分攔截器 61
4.2.5 采集日志Flume啟動、停止腳本 67
4.3 消息隊列Kafka 68
4.3.1 Zookeeper安裝 68
4.3.2 Zookeeper集群啟動、停止腳本 70
4.3.3 Kafka安裝 71
4.3.4 Kafka集群啟動、停止腳本 73
4.3.5 Kafka Topic相關操作 74
4.4 消費Kafka日志的Flume 75
4.4.1 消費日志Flume配置 75
4.4.2 消費日志Flume啟動、停止腳本 78
4.5 采集通道啟動、停止腳本 79
4.6 本章總結(jié) 80
第5章 業(yè)務數(shù)據(jù)采集模塊 81
5.1 電商業(yè)務概述 81
5.1.1 電商業(yè)務流程 81
5.1.2 電商常識 82
5.1.3 電商表結(jié)構 82
5.1.4 數(shù)據(jù)同步策略 89
5.2 業(yè)務數(shù)據(jù)采集 90
5.2.1 MySQL安裝 90
5.2.2 業(yè)務數(shù)據(jù)生成 92
5.2.3 業(yè)務數(shù)據(jù)建模 94
5.2.4 Sqoop安裝 96
5.2.5 業(yè)務數(shù)據(jù)導入數(shù)據(jù)倉庫 97
5.3 本章總結(jié) 109
第6章 數(shù)據(jù)倉庫搭建模塊 110
6.1 數(shù)據(jù)倉庫理論準備 110
6.1.1 范式理論 110
6.1.2 關系模型與維度模型 113
6.1.3 星形模型、雪花模型與星座模型 114
6.1.4 表的分類 116
6.1.5 為什么要分層 117
6.1.6 數(shù)據(jù)倉庫建模 118
6.1.7 業(yè)務術語 121
6.2 數(shù)據(jù)倉庫搭建環(huán)境準備 123
6.2.1 MySQL HA 123
6.2.2 Hive安裝 130
6.2.3 Tez引擎安裝 134
6.3 數(shù)據(jù)倉庫搭建——ODS層 138
6.3.1 創(chuàng)建數(shù)據(jù)庫 138
6.3.2 用戶行為數(shù)據(jù) 138
6.3.3 ODS層用戶行為數(shù)據(jù)導入腳本 141
6.3.4 業(yè)務數(shù)據(jù) 142
6.3.5 ODS層業(yè)務數(shù)據(jù)導入腳本 151
6.4 數(shù)據(jù)倉庫搭建——DWD層 154
6.4.1 用戶行為啟動日志表解析 154
6.4.2 用戶行為事件表拆分 157
6.4.3 用戶行為事件表解析 167
6.4.4 業(yè)務數(shù)據(jù)維度表解析 189
6.4.5 業(yè)務數(shù)據(jù)事實表解析 195
6.4.6 拉鏈表構建之用戶維度表 209
6.4.7 DWD層數(shù)據(jù)導入腳本 214
6.5 數(shù)據(jù)倉庫搭建——DWS層 223
6.5.1 系統(tǒng)函數(shù) 223
6.5.2 用戶行為數(shù)據(jù)聚合 224
6.5.3 業(yè)務數(shù)據(jù)聚合 226
6.5.4 DWS層數(shù)據(jù)導入腳本 237
6.6 數(shù)據(jù)倉庫搭建——DWT層 246
6.6.1 設備主題寬表 247
6.6.2 會員主題寬表 249
6.6.3 商品主題寬表 251
6.6.4 優(yōu)惠券主題寬表 254
6.6.5 活動主題寬表 256
6.6.6 DWT層數(shù)據(jù)導入腳本 258
6.7 數(shù)據(jù)倉庫搭建——ADS層 264
6.7.1 設備主題 264
6.7.2 會員主題 272
6.7.3 商品主題 275
6.7.4 營銷主題 279
6.7.5 ADS層數(shù)據(jù)導入腳本 283
6.8 結(jié)果數(shù)據(jù)導出腳本 291
6.9 會員主題指標獲取的全調(diào)度流程 293
6.9.1 Azkaban安裝 293
6.9.2 創(chuàng)建可視化的MySQL數(shù)據(jù)庫和表 300
6.9.3 編寫指標獲取調(diào)度流程 301
6.10 本章總結(jié) 306
第7章 數(shù)據(jù)可視化模塊 307
7.1 模擬可視化數(shù)據(jù) 307
7.1.1 會員主題 307
7.1.2 地區(qū)主題 308
7.2 Superset部署 310
7.2.1 環(huán)境準備 310
7.2.2 Superset安裝 312
7.3 Superset使用 314
7.3.1 對接MySQL數(shù)據(jù)源 314
7.3.2 制作儀表盤 317
7.4 本章總結(jié) 322
第8章 即席查詢模塊 323
8.1 Presto 323
8.1.1 Presto特點 323
8.1.2 Presto安裝 324
8.1.3 Presto優(yōu)化之數(shù)據(jù)存儲 328
8.1.4 Presto優(yōu)化之查詢SQL 329
8.1.5 Presto注意事項 330
8.2 Druid 330
8.2.1 Druid簡介 330
8.2.2 Druid框架原理 331
8.2.3 Druid數(shù)據(jù)結(jié)構 332
8.2.4 Druid安裝（單機版） 333
8.3 Kylin 338
8.3.1 Kylin簡介 338
8.3.2 HBase安裝 339
8.3.3 Kylin安裝 341
8.3.4 Kylin使用 343
8.3.5 Kylin Cube構建原理 353
8.3.6 Kylin Cube構建優(yōu)化 356
8.3.7 Kylin BI工具集成 360
8.4 即席查詢框架對比 367
8.5 本章總結(jié) 368
第9章 元數(shù)據(jù)管理模塊 369
9.1 Atlas入門 369
9.1.1 Atlas概述 369
9.1.2 Atlas架構原理 370
9.2 Atlas安裝及使用 371
9.2.1 安裝前環(huán)境準備 371
9.2.2 集成外部框架 373
9.2.3 集群啟動 377
9.2.4 導入Hive元數(shù)據(jù)到Atlas 377
9.3 Atlas界面查看及使用 378
9.3.1 查看基本信息 378
9.3.2 查看血緣依賴關系 381
9.4 本章總結(jié) 386