云計算與大數(shù)據(jù)技術(shù)

目　錄
第1章　云計算與大數(shù)據(jù)基礎(chǔ)　1
1．1　云計算技術(shù)概述　1
1．1．1　云計算簡介　1
1．1．2　云計算的特點　2
1．1．3　云計算技術(shù)分類　3
1．2　大數(shù)據(jù)技術(shù)概述　5
1．2．1　大數(shù)據(jù)簡介　5
1．2．2　主要的大數(shù)據(jù)處理系統(tǒng)　8
1．2．3　大數(shù)據(jù)處理的基本流程　10
1．3　云計算與大數(shù)據(jù)的發(fā)展　11
練習(xí)題　17
第2章　云計算與大數(shù)據(jù)的相關(guān)技術(shù)　19
2．1　云計算與大數(shù)據(jù)　19
2．2　云計算與物聯(lián)網(wǎng)　21
2．3　一致性哈希算法　24
2．3．1　一致性哈希算法的基本原理　24
2．3．2　一致性哈希算法中計算和存儲位置的一致性　25
2．4　非關(guān)系型數(shù)據(jù)庫　27
2．4．1　從關(guān)系型數(shù)據(jù)庫到非關(guān)系型數(shù)據(jù)庫　27
2．4．2　非關(guān)系型數(shù)據(jù)庫的定義　28
2．4．3　非關(guān)系型數(shù)據(jù)庫的分類　28
2．5　集群高速通信標(biāo)準(zhǔn)InfiniBand　29
2．6　云計算大數(shù)據(jù)集群的自組織特性　30
練習(xí)題　32
第3章　虛擬化技術(shù)　33
3．1　虛擬化技術(shù)簡介　33
3．1．1　虛擬化技術(shù)的發(fā)展　33
3．1．2　虛擬化的描述　34
3．1．3　虛擬化技術(shù)的優(yōu)勢和劣勢　35
3．1．4　虛擬化技術(shù)的分類　36
3．2　常見虛擬化軟件　39
3．2．1　VirtualBox　39
3．2．2　VMware Workstation　39
3．2．3　KVM　39
3．3　系統(tǒng)虛擬化　40
3．3．1　服務(wù)器虛擬化　41
3．3．2　桌面虛擬化　43
3．3．3　網(wǎng)絡(luò)虛擬化　45
3．4　使用KVM構(gòu)建虛擬機群　46
練習(xí)題　48
第4章　集群系統(tǒng)基礎(chǔ)　49
4．1　集群系統(tǒng)的基本概念　49
4．2　集群系統(tǒng)的分類　51
4．3　單一系統(tǒng)映射　52
4．4　Beowulf集群　53
4．5　集群文件系統(tǒng)　55
4．5．1　集群文件系統(tǒng)概念　55
4．5．2　典型的集群文件系統(tǒng)Lustre　56
4．6　分布式系統(tǒng)中計算和數(shù)據(jù)的協(xié)作機制　　58
4．6．1　基于計算切分的分布式計算　58
4．6．2　基于計算和數(shù)據(jù)切分的混合型分布式計算技術(shù)——網(wǎng)格計算　60
4．6．3　基于數(shù)據(jù)切分的分布式計算技術(shù)　61
4．6．4　三種分布式系統(tǒng)的分析對比　63
練習(xí)題　65
第5章　MPI——面向計算的高性能集群技術(shù)　66
5．1　什么是MPI　66
5．2　MPI的架構(gòu)和特點　67
5．3　MPICH并行環(huán)境的建立　68
5．3．1　配置前的準(zhǔn)備工作　68
5．3．2　掛載NFS　68
5．3．3　配置ssh實現(xiàn)MPI節(jié)點間用戶的無密碼訪問　69
5．3．4　安裝MPICH2　70
5．3．5　建立并行計算環(huán)境時的注意事項　72
5．4　MPI分布式程序設(shè)計基礎(chǔ)　72
5．4．1　最簡單的并行程序　73
5．4．2　獲取進程標(biāo)志和機器名　76
5．4．3　有消息傳遞功能的并行程序　78
5．4．4　Monte Carlo法在并行程序設(shè)計中的應(yīng)用　82
5．4．5　并行計算中節(jié)點間的Reduce操作　84
5．4．6　用MPI的6個基本函數(shù)實現(xiàn)Reduce函數(shù)功能　87
5．4．7　設(shè)計MPI并行程序時的注意事項　89
練習(xí)題　90
第6章　Hadoop——分布式大數(shù)據(jù)系統(tǒng)　91
6．1　Hadoop概述　91
6．2　HDFS　92
6．2．1　HDFS文件系統(tǒng)的原型GFS　92
6．2．2　HDFS文件的基本結(jié)構(gòu)　94
6．2．3　HDFS的存儲過程　95
6．3　MapReduce編程框架　96
6．3．1　MapReduce的發(fā)展歷史　96
6．3．2　MapReduce的基本工作過程　96
6．3．3　LISP中的MapReduce　99
6．3．4　MapReduce的特點　100
6．4　實現(xiàn)Map/Reduce的C語言實例　101
6．5　建立Hadoop開發(fā)環(huán)境　104
6．5．1　相關(guān)準(zhǔn)備工作　105
6．5．2　JDK的安裝配置　105
6．5．3　下載、解壓Hadoop，配置Hadoop環(huán)境變量　106
6．5．4　修改Hadoop配置文件　107
6．5．5　將配置好的Hadoop文件復(fù)制到其他節(jié)點　108
6．5．6　啟動、停止Hadoop　108
6．5．7　在Hadoop系統(tǒng)上運行測試程序WordCount　109
練習(xí)題　111
第7章　HPCC——面向數(shù)據(jù)的高性能計算集群系統(tǒng)　112
7．1　HPCC簡介　113
7．2　HPCC的系統(tǒng)架構(gòu)　115
7．3　HPCC平臺數(shù)據(jù)檢索任務(wù)的執(zhí)行過程　117
7．4　HPCC的安裝部署　118
7．5　數(shù)據(jù)的加載、切分和分發(fā)　123
7．6　ECL語言基礎(chǔ)知識　126
7．6．1　ECL語言的保留關(guān)鍵字　127
7．6．2　ECL語言的記錄定義和操作　128
7．6．3　ECL語言集成開發(fā)環(huán)境　129
7．7　ECL語言編程實例　130
7．7．1　聲明數(shù)據(jù)文件中的記錄結(jié)構(gòu)　130
7．7．2　讀取數(shù)據(jù)文件生成數(shù)據(jù)集　131
7．7．3　統(tǒng)計記錄條數(shù)　131
7．7．4　將數(shù)據(jù)集中的小寫字母改為大寫　132
7．7．5　建立索引實現(xiàn)對數(shù)據(jù)集的檢索　133
7．7．6　發(fā)布數(shù)據(jù)　135
7．7．7　HPCC中的WordCount操作　137
練習(xí)題　139
第8章　Storm——基于拓撲的流數(shù)據(jù)實時計算系統(tǒng)　141
8．1　Storm簡介　141
8．2　Storm原理及其體系結(jié)構(gòu)　142
8．2．1　Storm編程模型原理　142
8．2．2　Storm體系結(jié)構(gòu)　143
8．3　搭建Storm開發(fā)環(huán)境　144
8．3．1　Storm的安裝步驟　144
8．3．2　Storm 的設(shè)置　146
8．3．3　Storm 的啟動　147
8．4　Storm使用實例　148
8．4．1　使用Maven管理storm-starter　148
8．4．2　WordCountTopology實例分析　150　
練習(xí)題　154
第9章　服務(wù)器與數(shù)據(jù)中心　155
9．1 數(shù)據(jù)中心的發(fā)展歷史　155
9．2　數(shù)據(jù)中心的基本單元——服務(wù)器　159
9．3　數(shù)據(jù)中心選址　161
9．4　數(shù)據(jù)中心的能耗　161
練習(xí)題　163
第10章　云計算大數(shù)據(jù)仿真技術(shù)　164
10．1　用參數(shù)定義物理設(shè)備進行仿真　164
10．2　云計算仿真系統(tǒng)——CloudSim　165
10．2．1　CloudSim基礎(chǔ)　165
10．2．2　CloudSim體系結(jié)構(gòu)　167
10．2．3　CloudSim的使用模型場景　169
10．2．4　CloudSim使用實例　170
10．3　云計算系統(tǒng)相空間模型　176
練習(xí)題　178
參考文獻　179