Hadoop 2.X HDFS源碼剖析

定　價(jià)：￥108.00

作　者：	徐鵬
出版社：	電子工業(yè)出版社
叢編項(xiàng)：
標(biāo)　簽：	程序設(shè)計(jì) 計(jì)算機(jī)/網(wǎng)絡(luò)

購買這本書可以去

ISBN：	9787121281556	出版時(shí)間：	2016-03-01	包裝：	平塑勒
開本：		頁數(shù)：	516	字?jǐn)?shù)：

內(nèi)容簡介

　　HDFS是運(yùn)行在通用硬件上的分布式文件系統(tǒng)，本書詳細(xì)介紹了HDFS體系結(jié)構(gòu)、基本概念、通信協(xié)議及主要流程，具體包括Hadoop RPC框架的使用及實(shí)現(xiàn)、文件系統(tǒng)目錄樹、數(shù)據(jù)塊管理、數(shù)據(jù)節(jié)點(diǎn)管理、租約管理、緩存管理、ClientProtocol實(shí)現(xiàn)、Namenode的啟動(dòng)和停止、Datanode邏輯結(jié)構(gòu)、Datanode存儲(chǔ)、文件系統(tǒng)數(shù)據(jù)集、BlockManager、流式接口、數(shù)據(jù)塊掃描器、DataNode類的實(shí)現(xiàn)、DFSClient實(shí)現(xiàn)、文件讀操作與輸入流、文件短路讀操作、文件寫操作與輸出流，以及HDFS常用工具等。

作者簡介

　　徐鵬：2005-2012年在北京郵電大學(xué)完成本科以及碩士的學(xué)習(xí)，目前就職于今日頭條擔(dān)任基礎(chǔ)架構(gòu)研發(fā)工程師。長期關(guān)注大數(shù)據(jù)處理、分布式系統(tǒng)的研究以及Hadoop相關(guān)技術(shù)的應(yīng)用與開發(fā)。

圖書目錄

第1章 HDFS 1 1.1 HDFS概述 1 1.1.1 HDFS體系結(jié)構(gòu) 1 1.1.2 HDFS基本概念 2 1.2 HDFS通信協(xié)議 4 1.2.1 Hadoop RPC接口 4 1.2.2 流式接口 20 1.3 HDFS主要流程 22 1.3.1 HDFS客戶端讀流程 22 1.3.2 HDFS客戶端寫流程 24 1.3.3 HDFS客戶端追加寫流程 25 1.3.4 Datanode啟動(dòng)、心跳以及執(zhí)行名字節(jié)點(diǎn)指令流程 26 1.3.5 HA切換流程 27 第2章 Hadoop RPC 29 2.1 概述 29 2.1.1 RPC框架概述 29 2.1.2 Hadoop RPC框架概述 30 2.2 Hadoop RPC的使用 36 2.2.1 Hadoop RPC使用概述 36 2.2.2 定義RPC協(xié)議 40 2.2.3 客戶端獲取Proxy對(duì)象 45 2.2.4 服務(wù)器獲取Server對(duì)象 54 2.3 Hadoop RPC實(shí)現(xiàn) 63 2.3.1 RPC類實(shí)現(xiàn) 63 2.3.2 Client類實(shí)現(xiàn) 64 2.3.3 Server類實(shí)現(xiàn) 76 第3章 Namenode（名字節(jié)點(diǎn)） 88 3.1 文件系統(tǒng)目錄樹 88 3.1.1 INode相關(guān)類 89 3.1.2 Feature相關(guān)類 102 3.1.3 FSEditLog類 117 3.1.4 FSImage類 138 3.1.5 FSDirectory類 158 3.2 數(shù)據(jù)塊管理 162 3.2.1 Block、Replica、BlocksMap 162 3.2.2 數(shù)據(jù)塊副本狀態(tài) 167 3.2.3 BlockManager類（done） 177 3.3 數(shù)據(jù)節(jié)點(diǎn)管理 211 3.3.1 DatanodeDescriptor 212 3.3.2 DatanodeStorageInfo 214 3.3.3 DatanodeManager 217 3.4 租約管理 233 3.4.1 LeaseManager.Lease 233 3.4.2 LeaseManager 234 3.5 緩存管理 246 3.5.1 緩存概念 247 3.5.2 緩存管理命令 247 3.5.3 HDFS集中式緩存架構(gòu) 247 3.5.4 CacheManager類實(shí)現(xiàn) 248 3.5.5 CacheReplicationMonitor 250 3.6 ClientProtocol實(shí)現(xiàn) 251 3.6.1 創(chuàng)建文件 251 3.6.2 追加寫文件 254 3.6.3 創(chuàng)建新的數(shù)據(jù)塊 257 3.6.4 放棄數(shù)據(jù)塊 265 3.6.5 關(guān)閉文件 266 3.7 Namenode的啟動(dòng)和停止 268 3.7.1 安全模式 268 3.7.2 HDFS High Availability 276 3.7.3 名字節(jié)點(diǎn)的啟動(dòng) 301 3.7.4 名字節(jié)點(diǎn)的停止 306 第4章 Datanode（數(shù)據(jù)節(jié)點(diǎn)） 307 4.1 Datanode邏輯結(jié)構(gòu) 307 4.1.1 HDFS 1.X架構(gòu) 307 4.1.2 HDFS Federation 308 4.1.3 Datanode邏輯結(jié)構(gòu) 310 4.2 Datanode存儲(chǔ) 312 4.2.1 Datanode升級(jí)機(jī)制 312 4.2.2 Datanode磁盤存儲(chǔ)結(jié)構(gòu) 315 4.2.3 DataStorage實(shí)現(xiàn) 317 4.3 文件系統(tǒng)數(shù)據(jù)集 334 4.3.1 Datanode上數(shù)據(jù)塊副本的狀態(tài) 335 4.3.2 BlockPoolSlice實(shí)現(xiàn) 335 4.3.3 FsVolumeImpl實(shí)現(xiàn) 342 4.3.4 FsVolumeList實(shí)現(xiàn) 345 4.3.5 FsDatasetImpl實(shí)現(xiàn) 348 4.4 BlockPoolManager 375 4.4.1 BPServiceActor實(shí)現(xiàn) 376 4.4.2 BPOfferService實(shí)現(xiàn) 389 4.4.3 BlockPoolManager實(shí)現(xiàn) 396 4.5 流式接口 398 4.5.1 DataTransferProtocol定義 398 4.5.2 Sender和Receiver 399 4.5.3 DataXceiverServer 403 4.5.4 DataXceiver 406 4.5.5 讀數(shù)據(jù) 408 4.5.6 寫數(shù)據(jù)（done） 423 4.5.7 數(shù)據(jù)塊替換、數(shù)據(jù)塊拷貝和讀數(shù)據(jù)塊校驗(yàn) 437 4.5.8 短路讀操作 437 4.6 數(shù)據(jù)塊掃描器 437 4.6.1 DataBlockScanner實(shí)現(xiàn) 438 4.6.2 BlockPoolSliceScanner實(shí)現(xiàn) 439 4.7 DirectoryScanner 442 4.8 DataNode類的實(shí)現(xiàn) 443 4.8.1 DataNode的啟動(dòng) 444 4.8.2 DataNode的關(guān)閉 446 第5章 HDFS客戶端 447 5.1 DFSClient實(shí)現(xiàn) 447 5.1.1 構(gòu)造方法 448 5.1.2 關(guān)閉方法 449 5.1.3 文件系統(tǒng)管理與配置方法 450 5.1.4 HDFS文件與目錄操作方法 451 5.1.5 HDFS文件讀寫方法 452 5.2 文件讀操作與輸入流 452 5.2.1 打開文件 452 5.2.2 讀操作——DFSInputStream實(shí)現(xiàn) 461 5.3 文件短路讀操作 481 5.3.1 短路讀共享內(nèi)存 482 5.3.2 DataTransferProtocol 484 5.3.3 DFSClient短路讀操作流程 488 5.3.4 Datanode短路讀操作流程 509 5.4 文件寫操作與輸出流 512 5.4.1 創(chuàng)建文件 512 5.4.2 寫操作——DFSOutputStream實(shí)現(xiàn) 516 5.4.3 追加寫操作 543 5.4.4 租約相關(guān) 546 5.4.5 關(guān)閉輸出流 548 5.5 HDFS常用工具 549 5.5.1 FsShell實(shí)現(xiàn) 550 5.5.2 DFSAdmin實(shí)現(xiàn) 552