大數(shù)據(jù)處理系統(tǒng)：Hadoop源代碼情景分析

定　價(jià)：￥128.00

作　者：	毛德操著
出版社：	浙江大學(xué)出版社
叢編項(xiàng)：
標(biāo)　簽：	程序設(shè)計(jì) 計(jì)算機(jī)/網(wǎng)絡(luò)

購買這本書可以去

ISBN：	9787308166690	出版時(shí)間：	2017-04-01	包裝：	平裝
開本：	16開	頁數(shù)：		字?jǐn)?shù)：

內(nèi)容簡介

　　Hadoop是目前重要的一種開源的大數(shù)據(jù)處理平臺，讀懂Hadoop的源代碼，深入理解其各種機(jī)理，對于掌握大數(shù)據(jù)處理的技術(shù)有著顯而易見的重要性。本書從大數(shù)據(jù)處理的原理開始，講到Hadoop的由來，進(jìn)而講述對于代碼的研究方法，然后以Hadoop作為樣本，較為詳盡地逐一分析大數(shù)據(jù)處理平臺各核心組成部分的代碼，并從宏觀上講述這些部分的聯(lián)系和作用。本書沿用作者獨(dú)特而廣受歡迎的情景分析方法和風(fēng)格，深入淺出直白易懂，可以作為大數(shù)據(jù)系統(tǒng)高級課程的教材，也可用作計(jì)算機(jī)軟件專業(yè)和其他相關(guān)專業(yè)大學(xué)本科高年級學(xué)生和研究生深入學(xué)習(xí)大數(shù)據(jù)系統(tǒng)的參考書。同時(shí)，還可以作為各行業(yè)從事軟件開發(fā)和數(shù)據(jù)挖掘的工程師、研究人員以及其他對大數(shù)據(jù)處理技術(shù)感興趣者的自學(xué)教材。

作者簡介

　　毛德操，著名計(jì)算機(jī)專家，浙江大學(xué)教授，浙大網(wǎng)新科技首席科學(xué)家，連連支付大數(shù)據(jù)與區(qū)塊鏈特別顧問。曾留學(xué)美國Umas大學(xué)，獲得計(jì)算機(jī)碩士學(xué)位。著有重磅著作《LINUX核心源代碼情景分析》和《Windows內(nèi)核情景分析：采用開源代碼ReactOS（上、下冊）》，影響了整整一代大學(xué)生和工程師。

圖書目錄

第1章大數(shù)據(jù)與Hadoop
1.1 什么是大數(shù)據(jù)
1.2 大數(shù)據(jù)的用途
1.3 并行計(jì)算
1.4 數(shù)據(jù)流
1.5 函數(shù)式程序設(shè)計(jì)與Lambda演算
1.6 MapReduce
1.7 大數(shù)據(jù)處理平臺
1.8 Hadoop的由來和發(fā)展
1.9 Hadoop的MapReduce計(jì)算框架
1.10 Hadoop的分布式容錯(cuò)文件系統(tǒng)HDFS
第2章研究方法
2.1 摘要卡片
2.2 情景分析
2.3 面向?qū)ο蟮某绦蛟O(shè)計(jì)
2.4 怎樣閱讀分析Hadoop的代碼
第3章 Hadoop集群和YARN
3.1 Hadoop集群
3.2 Hadoop系統(tǒng)的結(jié)構(gòu)
3.3 Hadoop的YARN框架
3.4 狀態(tài)機(jī)
3.5 資源管理器ResourceManager
3.6 資源調(diào)度器ResourceScheduler
第4章 Hadoop的RPC機(jī)制
4.1 RPC與RMI
4.2 ProtoBuf
4.3 Java的Reflection機(jī)制
4.4 RM節(jié)點(diǎn)上的RPC服務(wù)
4.5 RPC客戶端的創(chuàng)建
第5章 Hadoop作業(yè)的提交
5.1 從“地方”到“中央”
5.2 示例一：采用老API的ValueAggregatorJob
5.3 示例二：采用新API的WordCount
5.4 示例三：采用ToolRunner的QuasiMonteCarlo
5.5 從Job.submit()開始的第二段流程
5.6 YARNRunner和ResourceMgrDelegate
第6章作業(yè)的調(diào)度與指派
6.1 作業(yè)的受理
6.2 NM節(jié)點(diǎn)的心跳和容器周轉(zhuǎn)
6.3 容器的分配
第7章 NodeManager與任務(wù)投運(yùn)
7.1 AMLauncher與任務(wù)投運(yùn)
7.2 MRAppMaster或AM的創(chuàng)建
7.3 資源本地化
7.4 容器的投運(yùn)
第8章 MRAppMaster與作業(yè)投運(yùn)
8.1 MRAppMaster
8.2 App資源與容器
8.3 容器的跨節(jié)點(diǎn)投送和啟動(dòng)
8.4 目標(biāo)節(jié)點(diǎn)上的容器投運(yùn)
8.5 Uber模式下的本地容器分配與投運(yùn)
8.6 任務(wù)的啟動(dòng)
8.7 MapTask的運(yùn)行
8.8 ReduceTask的投運(yùn)
第9章 YARN子系統(tǒng)的計(jì)算框架
9.1 MapReduce框架
9.2 Streaming框架
9.3 Chain框架
9.4 Client與ApplicationMaster
第10章 MapReduce框架中的數(shù)據(jù)流
10.1 數(shù)據(jù)流和工作流
10.2 Mapper的輸入
10.3 Mapper的輸出緩沖區(qū)MapOutputBuffer
10.4 作為Collector的MapOutputBuffer
10.5 環(huán)形緩沖區(qū)kvbuffer
10.6 對MapoutputBuffer的輸出
10.7 Sort和Spill
10.8 Map計(jì)算的終結(jié)與Spill文件的合并
10.9 Reduce階段
10.10 Merge
10.11 Reduce階段的輸入和輸出
第11章 Hadoop的文件系統(tǒng)HDFS
11.1 文件的分布與容錯(cuò)
11.2 目錄節(jié)點(diǎn)NameNode
11.3 FSNamesystem
11.4 文件系統(tǒng)目錄FSDirectory
11.5 文件系統(tǒng)映像FsImage
11.6 文件系統(tǒng)更改記錄FSEditLog
11.7 FSEditLog與Journal
11.8 EditLog記錄的重演
11.9 版本升級與故障恢復(fù)
第12章 HDFS的DataNode
12.1 DataNode
12.2 數(shù)據(jù)塊的存儲(chǔ)
12.3 RamDisk復(fù)份的持久化存儲(chǔ)
12.4 目錄掃描線程DirectoryScanner
12.5 數(shù)據(jù)塊掃描線程DataBlockScanner
第13章 DataNode與NameNode的互動(dòng)
13.1 DataNode與NameNode的互動(dòng)
13.2 心跳HeartBeat
13.3 BlockReport
第14章 DataNode間的互動(dòng)
14.1 數(shù)據(jù)塊的接收和存儲(chǔ)
14.2 命令DNA_TRANSFER的執(zhí)行
第15章 HDFS的文件訪問
15.1 DistributedFileSystem和DFSClient
15.2 FsShell
15.3 HDFS的打開文件流程
15.4 HDFS的讀文件流程
15.5 HDFS的創(chuàng)建文件流程
15.6 文件租約
15.7 HDFS的寫文件流程
15.8 實(shí)例
第16章 Hadoop的容錯(cuò)機(jī)制
16.1 容錯(cuò)與高可用
16.2 HDFS的HA機(jī)制
16.3 NameNode的倒換
16.4 Zookeeper與自動(dòng)倒換
16.5 YARN的HA機(jī)制
第17章 Hadoop的安全機(jī)制
17.1 大數(shù)據(jù)集群的安全問題
17.2 UGI、Token和ACL
17.3 UGI的來源和流轉(zhuǎn)
17.4 Token的使用
第18章 Hadoop的人機(jī)界面
18.1 Hadoop的命令行界面
18.2 Hadoop的Web界面
18.3 Dependency Inject和Annotation
18.4 對網(wǎng)頁的訪問
第19章 Hadoop的部署和啟動(dòng)
19.1 Hadoop的運(yùn)維腳本
19.2 Hadoop的部署與啟動(dòng)
19.3 Hadoop的日常使用
19.4 Hadoop平臺的關(guān)閉
第20章 Spark的優(yōu)化與改進(jìn)
20.1 Spark與Hadoop
20.2 RDD與Stage——概念與思路
20.3 RDD的存儲(chǔ)和引用
20.4 DStream
20.5 拓?fù)涞撵`活性和多樣性
20.6 性能的提升
20.7 使用的方便性
20.8 幾個(gè)重要的類及其作用
參考資料