走近大數(shù)據(jù)

目 錄 \t
第　1章 大數(shù)據(jù)，心中有數(shù)　1
1．1　從一場(chǎng)親子講座談起　2
1．2　數(shù)據(jù)非今日變大，為什么今天火了　3
1．3　大數(shù)據(jù)帶來(lái)的改變漸漸發(fā)生了　6
1．4　大數(shù)據(jù)，首先是數(shù)據(jù)　8
1．5　再議數(shù)據(jù)規(guī)?！?0
1．6　大數(shù)據(jù)概念正解　11
1．6．1　大數(shù)據(jù)等于數(shù)據(jù)大嗎　11
1．6．2　大數(shù)據(jù)>數(shù)據(jù)大　11
1．6．3　大數(shù)據(jù)內(nèi)涵——4V屬性　12
1．6．4　大數(shù)據(jù)原理模擬　12
1．7　再談大數(shù)據(jù)帶來(lái)的真正改變　14
第　2章 大數(shù)據(jù)，順勢(shì)而為　15
2．1　大數(shù)據(jù)發(fā)展基礎(chǔ)　16
2．1．1　大數(shù)據(jù)商用的前提　16
2．1．2　大數(shù)據(jù)發(fā)展引擎——云計(jì)算　16
2．1．3　大數(shù)據(jù)發(fā)展的ABCT模式　23
2．2　大數(shù)據(jù)兩個(gè)關(guān)鍵變化　25
2．3　大數(shù)據(jù)獲取與管理　25
2．3．1　大數(shù)據(jù)獲取　25
2．3．2　大數(shù)據(jù)管理　26
2．4　大數(shù)據(jù)存儲(chǔ)　27
2．5　大數(shù)據(jù)分析　28
2．6　大數(shù)據(jù)創(chuàng)新應(yīng)用　29
2．7　大數(shù)據(jù)安全　31
2．8　大數(shù)據(jù)發(fā)展對(duì)我們的要求　31
第3章　準(zhǔn)備好了嗎？——大數(shù)據(jù)技術(shù)及應(yīng)用　33
3．1　大數(shù)據(jù)的基石——Hadoop技術(shù)和應(yīng)用　35
3．1．1　源自一位爸爸的愛(ài)——Hadoop介紹　35
3．1．2　海量、非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)寶典——Hadoop應(yīng)用場(chǎng)景　36
3．1．3　“打仗親兄弟，上陣父子兵”（拼的是團(tuán)隊(duì)?。狧adoop
生態(tài)系統(tǒng)　41
3．1．4　如何擺布呢？——Hadoop實(shí)施建議　45
3．1．5　Hadoop的“七寸”——技術(shù)關(guān)鍵點(diǎn)　53
3．2　近期發(fā)展勢(shì)頭最猛的技術(shù)——Spark的應(yīng)用　57
3．2．1　“星星之火，可以燎原”——Spark簡(jiǎn)介　57
3．2．2　“速度決定一切”——Spark應(yīng)用場(chǎng)景　58
3．2．3　“另立門戶”的節(jié)奏——Spark生態(tài)系統(tǒng)　60
3．2．4　“火花”的關(guān)鍵點(diǎn)——Spark實(shí)施建議　63
3．2．5　“照單抓藥”即可——Spark參數(shù)配置　69
3．3　“中檔價(jià)格買中檔車的配置”——MPP數(shù)據(jù)庫(kù)的應(yīng)用　72
3．3．1　“不共享”的并行處理架構(gòu)——MPP數(shù)據(jù)庫(kù)簡(jiǎn)介　72
3．3．2　完全支持SQL--MPP數(shù)據(jù)庫(kù)應(yīng)用場(chǎng)景　72
3．3．3　“這樣的配置來(lái)兩打”——MPP數(shù)據(jù)庫(kù)實(shí)施建議　74
3．3．4　“對(duì)面的女孩看過(guò)來(lái)”——技術(shù)關(guān)注點(diǎn)　78
3．4　“速度決定一切！”——流處理技術(shù)的應(yīng)用　80
3．4．1　“流水不腐”——流處理技術(shù)簡(jiǎn)介　80
3．4．2　“最快的奔跑”——流處理技術(shù)應(yīng)用場(chǎng)景　81
3．4．3　看看誰(shuí)跑得快？——流處理技術(shù)典型產(chǎn)品　82
3．4．4　短跑運(yùn)動(dòng)員的配置清單——流處理技術(shù)實(shí)施建議　83
3．5　NoSQL技術(shù)的應(yīng)用　87
3．5．1　NoSQL技術(shù)簡(jiǎn)介　88
3．5．2　“大數(shù)據(jù)量查詢”——適用場(chǎng)景　88
3．5．3　“都有誰(shuí)？”——典型產(chǎn)品　89
3．5．4　如何租給更多人？——多租戶實(shí)現(xiàn)方式　92
3．6　在內(nèi)存里跑數(shù)據(jù)庫(kù)——內(nèi)存數(shù)據(jù)庫(kù)的應(yīng)用　93
3．6．1　傳統(tǒng)數(shù)據(jù)庫(kù)的“土豪”配置——內(nèi)存數(shù)據(jù)庫(kù)簡(jiǎn)介　93
3．6．2　提速的奢華方式——適用場(chǎng)景　94
3．6．3　哪些是“土豪”的必備——典型產(chǎn)品　95
3．6．4　“土豪”要關(guān)注什么？——技術(shù)關(guān)注點(diǎn)　96
3．7　如何采集更多的數(shù)據(jù)——數(shù)據(jù)采集　97
3．7．1　“沒(méi)有數(shù)據(jù)就是無(wú)米之炊”——數(shù)據(jù)采集簡(jiǎn)介　97
3．7．2　不同的采集方式——適用場(chǎng)景　98
3．7．3　各種工具——技術(shù)簡(jiǎn)介　98
3．8　數(shù)據(jù)庫(kù)如何分布？——分布式關(guān)系型數(shù)據(jù)庫(kù)的應(yīng)用　106
3．8．1　“分布+傳統(tǒng)數(shù)據(jù)庫(kù)”——分布式關(guān)系型數(shù)據(jù)庫(kù)簡(jiǎn)介　106
3．8．2　數(shù)據(jù)庫(kù)的延伸——適用場(chǎng)景　106
3．8．3　支持SQL的分布式數(shù)據(jù)庫(kù)——典型產(chǎn)品　107
3．8．4　技術(shù)關(guān)注點(diǎn)　109
3．9　互聯(lián)網(wǎng)的“殺手級(jí)應(yīng)用”——搜索引擎　109
3．9．1　搜索引擎簡(jiǎn)介　109
3．9．2　搜索什么？——適用場(chǎng)景　110
3．9．3　產(chǎn)品簡(jiǎn)介　110
3．9．4　技術(shù)關(guān)注點(diǎn)　111
3．10　資源隔離的利器——容器的應(yīng)用　111
3．10．1　獨(dú)立的集裝箱——容器簡(jiǎn)介　112
3．10．2　容器與虛擬機(jī)的區(qū)別　113
3．10．3　集裝箱能用在哪里？——容器應(yīng)用場(chǎng)景　114
3．10．4　如何部署？——Docker實(shí)施建議　115
第4章　大數(shù)據(jù)如何顯示分析結(jié)果？——數(shù)據(jù)分析與數(shù)據(jù)可視化　119
4．1　收集大數(shù)據(jù)就是為了分析——數(shù)據(jù)分析　120
4．1．1　分析方法有哪些？——數(shù)據(jù)分析簡(jiǎn)介　120
4．1．2　數(shù)據(jù)分析的過(guò)程——適用場(chǎng)景　123
4．1．3　分析工具有哪些？——典型產(chǎn)品　123
4．1．4　什么最火？——深度學(xué)習(xí)典型產(chǎn)品　125
4．2　大數(shù)據(jù)也要學(xué)習(xí)“包裝”技術(shù)——數(shù)據(jù)可視化　129
4．2．1　如何讓數(shù)據(jù)更美觀？——數(shù)據(jù)可視化簡(jiǎn)介　129
4．2．2　什么時(shí)候數(shù)據(jù)需要美化？——適用場(chǎng)景　130
4．2．3　美化數(shù)據(jù)結(jié)果的工具——典型產(chǎn)品　130
第5章　如何構(gòu)建開(kāi)放的大數(shù)據(jù)平臺(tái)？——大數(shù)據(jù)開(kāi)放平臺(tái)構(gòu)建　133
5．1　為什么要開(kāi)放？——概述　134
5．1．1　開(kāi)放是趨勢(shì)——大數(shù)據(jù)開(kāi)放平臺(tái)的意義　134
5．1．2　誰(shuí)在使用開(kāi)放平臺(tái)？——大數(shù)據(jù)開(kāi)放平臺(tái)主要角色　135
5．1．3　開(kāi)放哪些內(nèi)容？——大數(shù)據(jù)開(kāi)放平臺(tái)開(kāi)放的內(nèi)容與范圍　135
5．2　看看別人家的平臺(tái)——大數(shù)據(jù)開(kāi)放平臺(tái)參考架構(gòu)　137
5．3　開(kāi)放哪些內(nèi)容？——基礎(chǔ)能力的開(kāi)放　138
5．3．1　自己采集所需——數(shù)據(jù)采集能力開(kāi)放　138
5．3．2　自己存儲(chǔ)數(shù)據(jù)——數(shù)據(jù)存儲(chǔ)能力開(kāi)放　140
5．3．3　自己決定處理方式——數(shù)據(jù)處理能力開(kāi)放　142
5．3．4　自己決定展現(xiàn)形式——展現(xiàn)能力開(kāi)放　144
5．4　把管理權(quán)力也開(kāi)放出去——數(shù)據(jù)管理能力的開(kāi)放　145
5．4．1　自己設(shè)計(jì)作業(yè)任務(wù)——任務(wù)調(diào)度能力開(kāi)放　145
5．4．2　自己編排數(shù)據(jù)字典——元數(shù)據(jù)管理能力開(kāi)放　148
5．4．3　自己管理自己的數(shù)據(jù)質(zhì)量——數(shù)據(jù)質(zhì)量管理能力開(kāi)放　149
5．4．4　自己承擔(dān)安全員——數(shù)據(jù)安全管理能力開(kāi)放　149
5．4．5　能提供哪些服務(wù)？——服務(wù)目錄能力開(kāi)放　150
5．5　如何管理系統(tǒng)？——平臺(tái)管理　151
5．5．1　系統(tǒng)有什么料？——資源管理　152
5．5．2　如何調(diào)度作業(yè)？——負(fù)載管理　152
5．5．3　資源如何分配——配額管理　153
5．5．4　能否計(jì)費(fèi)？——計(jì)量管理　153
5．6　“眾人拾柴火焰高”——開(kāi)發(fā)者門戶　154
5．6．1　“你是誰(shuí)？”——注冊(cè)認(rèn)證　154
5．6．2　“來(lái)個(gè)廚房”——資源申請(qǐng)　155
5．6．3　“再來(lái)二斤牛肉、一壺好酒”——數(shù)據(jù)申請(qǐng)　156
5．6．4　“吃飽喝足”——開(kāi)發(fā)上線　157
第6章　安全無(wú)小事——大數(shù)據(jù)安全　159
6．1　安全很重要——大數(shù)據(jù)安全概述　160
6．2　非法入侵——數(shù)據(jù)訪問(wèn)安全　161
6．2．1　你有權(quán)限嗎？——用戶認(rèn)證　161
6．2．2　誰(shuí)可以訪問(wèn)？——用戶管理　164
6．2．3　我授權(quán)給你——用戶授權(quán)　166
6．3　數(shù)據(jù)加密？——數(shù)據(jù)服務(wù)安全　169
6．3．1　屏蔽隱私內(nèi)容——數(shù)據(jù)脫敏　169
6．3．2　追查泄露者——數(shù)字水印　170
6．3．3　有口令嗎？——安全令牌管理　171
6．3．4　全程防護(hù)——服務(wù)攻擊檢測(cè)　171
6．4　數(shù)據(jù)存在保險(xiǎn)箱就安全嗎？——數(shù)據(jù)存儲(chǔ)安全　173
6．4．1　看不懂的天書——加密　173
6．4．2　不能接觸——數(shù)據(jù)隔離　174
第7章　建設(shè)之后，運(yùn)維工作更重要——大數(shù)據(jù)運(yùn)維管理平臺(tái)　177
7．1　如何構(gòu)建運(yùn)維環(huán)境——大數(shù)據(jù)運(yùn)維管理平臺(tái)簡(jiǎn)介　178
7．2　功能點(diǎn)有哪些——大數(shù)據(jù)運(yùn)維管理平臺(tái)功能介紹　178
7．2．1　用戶管理　179
7．2．2　節(jié)點(diǎn)管理　179
7．2．3　組件管理　180
7．2．4　監(jiān)控與告警管理　181
7．2．5　日志管理　181
7．3　運(yùn)維產(chǎn)品有哪些——典型產(chǎn)品　182
7．3．1　產(chǎn)品列表　182
7．3．2　Ambari產(chǎn)品介紹　183
7．3．3　實(shí)施建議　184
第8章　數(shù)據(jù)質(zhì)量管理　185
8．1　數(shù)據(jù)質(zhì)量信息存儲(chǔ)　186
8．2　數(shù)據(jù)質(zhì)量監(jiān)控平臺(tái)　186
8．2．1　采集管理　187
8．2．2　規(guī)則管理　188
8．2．3　告警管理　193
8．2．4　申告處理　195
8．2．5　知識(shí)總結(jié)　196
8．2．6　質(zhì)量報(bào)告　197
8．2．7　任務(wù)調(diào)度　197
8．3　數(shù)據(jù)質(zhì)量應(yīng)用功能　198
附錄A　某公司大數(shù)據(jù)系統(tǒng)建設(shè)案例　201
附錄B　SH公司大數(shù)據(jù)PaaS平臺(tái)實(shí)施經(jīng)驗(yàn)　215
附錄C　FJ公司關(guān)于大數(shù)據(jù)高速路況實(shí)時(shí)監(jiān)測(cè)項(xiàng)目實(shí)施經(jīng)驗(yàn)　221
附錄D　其他公司大數(shù)據(jù)案例　229
附錄E　D-Docker技術(shù)原理　241