大數(shù)據(jù)技術(shù)基礎(chǔ)

第1章 大數(shù)據(jù)概述
本章思維導(dǎo)圖
1．1 大數(shù)據(jù)簡介
1．1．1 大數(shù)據(jù)的發(fā)展歷程
1．1．2 大數(shù)據(jù)的定義與特征
1．1．3 大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)的區(qū)別
1．2 大數(shù)據(jù)平臺應(yīng)具備的能力
1．3 大數(shù)據(jù)平臺架構(gòu)
1．4 Hadoop生態(tài)系統(tǒng)
1．5 大數(shù)據(jù)應(yīng)用
1．5．1 互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用
1．5．2 金融行業(yè)大數(shù)據(jù)應(yīng)用
1．5．3 醫(yī)療行業(yè)大數(shù)據(jù)應(yīng)用
1．5．4 智慧交通大數(shù)據(jù)應(yīng)用
本章課后習(xí)題
本章參考文獻
第2章 大數(shù)據(jù)存儲——分布式文件系統(tǒng)及NoSQL數(shù)據(jù)庫
本章思維導(dǎo)圖
2．1 分布式文件系統(tǒng)
2．1．1 HDFS相關(guān)概念
2．1．2 HDFS體系結(jié)構(gòu)
2．1．3 HDFS存儲機制
2．1．4 HDFS讀/寫操作
2．1．5 HDFS數(shù)據(jù)導(dǎo)入
2．2 NoSQL數(shù)據(jù)庫
2．2．1 KeyValue模型
2．2．2 KeyDocument 模型
2．2．3 KeyColumn模型
2．2．4 圖模型
2．3 列族數(shù)據(jù)庫
2．3．1 列族數(shù)據(jù)庫簡介
2．3．2 HBase的基本原理
2．3．3 HBase的數(shù)據(jù)模型
2．4 鍵值數(shù)據(jù)庫
2．4．1 鍵值數(shù)據(jù)庫簡介
2．4．2 選擇鍵值數(shù)據(jù)庫的原因
2．4．3 Redis的數(shù)據(jù)結(jié)構(gòu)簡介
2．4．4 Redis的數(shù)據(jù)持久化
2．4．5 Redis的數(shù)據(jù)復(fù)制
2．5 文檔數(shù)據(jù)庫
2．5．1 文檔數(shù)據(jù)庫簡介
2．5．2 MongoDB的數(shù)據(jù)類型
2．5．3 MongoDB的數(shù)據(jù)復(fù)制
2．6 圖數(shù)據(jù)庫
2．6．1 圖數(shù)據(jù)庫簡介
2．6．2 圖數(shù)據(jù)庫的優(yōu)勢
2．6．3 Neo4j的基本元素與概念
2．6．4 Cypher簡介
本章課后習(xí)題
本章參考文獻
第3章 大數(shù)據(jù)處理——MapReduce處理框架
本章思維導(dǎo)圖
3．1 MapReduce的發(fā)展背景
3．2 MapReduce框架
3．3 MapReduce的編程模型
3．3．1 MapReduce初析
3．3．2 MapReduce的運行機制
3．3．3 MapReduce的相關(guān)問題
3．4 MapReduce的集群調(diào)度
3．4．1 Hadoop1．x的傳統(tǒng)集群調(diào)度框架
3．4．2 Hadoop2．x的集群調(diào)度框架YARN
3．4．3 Hadoop作業(yè)調(diào)度器
本章課后習(xí)題
本章參考文獻
第4章 大數(shù)據(jù)處理——分布式內(nèi)存處理框架Spark
本章思維導(dǎo)圖
4．1 Spark簡介
4．1．1 Spark介紹
4．1．2 提出Spark的原因
4．1．3 Spark中的關(guān)鍵術(shù)語
4．1．4 Spark的優(yōu)點
4．2 Spark框架
4．2．1 Spark框架圖
4．2．2 Spark運行圖
4．2．3 Spark任務(wù)調(diào)度方法
4．3 RDD概念理解
4．3．1 RDD介紹
4．3．2 RDD的操作
4．3．3 RDD的存儲
4．3．4 RDD分區(qū)
4．3．5 RDD優(yōu)先位置
4．3．6 RDD依賴關(guān)系
4．4 RDD操作
4．4．1 RDD創(chuàng)建
4．4．2 轉(zhuǎn)換操作
4．4．3 行動操作
4．5 Scala語言
4．5．1 Scala介紹
4．5．2 Scala基本語法
4．5．3 Scala編寫Spark示例
4．6 Spark SQL簡介
4．6．1 Spark SQL與Shark的對比
4．6．2 Spark SQL的優(yōu)勢
4．6．3 Spark SQL生態(tài)
4．7 MLlib簡介
4．7．1 MLlib介紹
4．7．2 MLlib支持機器學(xué)習(xí)算法
本章課后習(xí)題
本章參考文獻
第5章 大數(shù)據(jù)處理——實時處理框架
本章思維導(dǎo)圖
5．1 實時處理架構(gòu)
5．1．1 基本概念
5．1．2 批量和流式計算
5．1．3 系統(tǒng)生態(tài)簡介
5．2 Storm框架
5．2．1 Storm的基本術(shù)語和概念
5．2．2 Storm特性及運行原理
5．2．3 消息的生命周期
5．2．4 消息的可靠性保障
5．3 Flume分布式日志收集
5．3．1 Flume的基本術(shù)語和概念
5．3．2 源
5．3．3 通道
5．3．4 接收器
5．4 Kafka分布式消息隊列
5．4．1 Kafka的基本術(shù)語和概念
5．4．2 生產(chǎn)者
5．4．3 消費者
5．4．4 數(shù)據(jù)傳遞的可靠性保障
5．5 Spark Streaming框架
5．5．1 Spark Streaming架構(gòu)
5．5．2 輸入數(shù)據(jù)源
5．5．3 DStream的轉(zhuǎn)換操作
5．5．4 輸出存儲
5．5．5 容錯機制
5．6 Flink框架
5．6．1 Flink架構(gòu)
5．6．2 Client
5．6．3 JobManager
5．6．4 TaskManager
本章課后習(xí)題
本章參考文獻
第6章 大數(shù)據(jù)查詢——分布式數(shù)據(jù)查詢
本章思維導(dǎo)圖
6．1 分布式數(shù)據(jù)查詢簡介
6．2 Hive分布式數(shù)據(jù)倉庫
6．2．1 Hive概述
6．2．2 Hive內(nèi)部介紹
6．2．3 Hive架構(gòu)介紹
6．2．4 HiveQL：數(shù)據(jù)定義
6．2．5 HiveQL：數(shù)據(jù)導(dǎo)入
6．2．6 HiveQL：查詢
6．3 Druid時序數(shù)據(jù)倉儲
6．3．1 Druid概述
6．3．2 架構(gòu)詳解
6．3．3 數(shù)據(jù)攝入
6．3．4 數(shù)據(jù)查詢
6．4 Drill分布式實時查詢
6．4．1 使用Apache Drill的原因
6．4．2 Drill架構(gòu)與原理
6．4．3 Drill核心模塊
6．4．4 使用Drill實現(xiàn)查詢
本章課后習(xí)題
本章參考文獻
第7章 大數(shù)據(jù)分析——Kylin分布式多維數(shù)據(jù)分析
本章思維導(dǎo)圖
7．1 使用Apache Kylin的原因
7．2 Kylin學(xué)習(xí)的前奏
7．2．1 數(shù)據(jù)倉庫的概念與產(chǎn)生需求
7．2．2 數(shù)據(jù)倉庫與數(shù)據(jù)分析型系統(tǒng)
7．2．3 多維數(shù)據(jù)分析
7．2．4 OLAP與數(shù)據(jù)立方體
7．3 Kylin工作原理
7．3．1 Cube與Cuboid
7．3．2 工作流程
7．4 Kylin架構(gòu)
7．5 Kylin快速入門
7．5．1 在Hive中準(zhǔn)備數(shù)據(jù)
7．5．2 設(shè)計數(shù)據(jù)模型
7．5．3 創(chuàng)建Cube
7．5．4 構(gòu)建Cube
7．5．5 查詢Cube
7．6 增量構(gòu)建
7．6．1 設(shè)計增量Cube
7．6．2 觸發(fā)增量構(gòu)建
7．6．3 管理Cube碎片
7．7 查詢和可視化
7．7．1 Web GUI
7．7．2 Rest API
7．7．3 ODBC
7．7．4 通過Tableau訪問Kylin
7．8 Cube優(yōu)化
本章課后習(xí)題
本章參考文獻
第8章 數(shù)據(jù)可視化
本章思維導(dǎo)圖
8．1 數(shù)據(jù)可視化定義及分類
8．1．1 數(shù)據(jù)可視化定義
8．1．2 數(shù)據(jù)可視化分類
8．2 數(shù)據(jù)可視化基礎(chǔ)
8．2．1 數(shù)據(jù)可視化流程
8．2．2 可視化中的數(shù)據(jù)
8．2．3 可視化的基本圖表
8．2．4 視圖的交互
8．3 信息可視化分類
8．3．1 時空數(shù)據(jù)可視化
8．3．2 層次和網(wǎng)絡(luò)數(shù)據(jù)可視化
8．3．3 文本和文檔可視化
8．4 在商業(yè)智能中的數(shù)據(jù)可視化應(yīng)用
8．4．1 商業(yè)智能可視化的基本元素
8．4．2 儀表盤的設(shè)計準(zhǔn)則
8．5 數(shù)據(jù)可視化的實現(xiàn)
8．5．1 數(shù)據(jù)可視化工具
8．5．2 ECharts
8．5．3 Plotly
本章課后習(xí)題
本章參考文獻
第9章 大數(shù)據(jù)應(yīng)用系統(tǒng)案例——互聯(lián)網(wǎng)應(yīng)用大數(shù)據(jù)系統(tǒng)構(gòu)建
本章思維導(dǎo)圖
9．1 互聯(lián)網(wǎng)業(yè)務(wù)背景介紹
9．2 案例的大數(shù)據(jù)平臺技術(shù)體系架構(gòu)
9．2．1 數(shù)據(jù)采集
9．2．2 數(shù)據(jù)存儲
9．2．3 數(shù)據(jù)計算
9．2．4 數(shù)據(jù)應(yīng)用
本章課后習(xí)題
本章參考文獻