Hadoop 2.0-YARN核心技術(shù)實(shí)踐

定　價(jià)：￥49.00

作　者：	周維編著
出版社：	清華大學(xué)出版社
叢編項(xiàng)：
標(biāo)　簽：	計(jì)算機(jī)/網(wǎng)絡(luò) 軟件工程/開發(fā)項(xiàng)目管理

購買這本書可以去

ISBN：	9787302411390	出版時(shí)間：	2015-09-01	包裝：	平裝
開本：	16開	頁數(shù)：	203	字?jǐn)?shù)：

內(nèi)容簡(jiǎn)介

　　周維編著的《Hadoop2.0-YARN核心技術(shù)實(shí)踐》基于長(zhǎng)期的教學(xué)實(shí)踐以及同國(guó)內(nèi)外**公司的交流合作編寫完成，系統(tǒng)介紹了Hadoop 2.0-YARN的基本概念與運(yùn)行模式。全書共分為7章。內(nèi)容涵蓋Hadoop 2.0的架構(gòu)、重要組件、主要計(jì)算模式、資源調(diào)度等重要問題。第1章回顧了YARN的起源，并與Hadoop 1.0進(jìn)行了對(duì)比分析。第2章介紹了YARN的基本框架，對(duì)YARN中*重要的幾個(gè)組件，如資源管理、節(jié)點(diǎn)管理、應(yīng)用程序管理等做了說明。第3章通過Hadoop 2.0 -YARN的安裝、編譯，以及簡(jiǎn)單的MapReduce調(diào)試示例，讓讀者能夠迅速掌握YARN的基本操作，使得讀者有一個(gè)初步的實(shí)踐體驗(yàn)。第4章對(duì)YARN的通信原理和過程進(jìn)行討論，通過Protocol Buffer、YARN RPC的實(shí) 例分析讓讀者理解YARN的通信協(xié)調(diào)過程。之后轉(zhuǎn)入對(duì) YARN 狀態(tài)機(jī)進(jìn)行深入分析，詳細(xì)介紹了YARN中4類狀態(tài)機(jī)的轉(zhuǎn)換過程，同時(shí)提供了YARN狀態(tài)機(jī)監(jiān)控軟件設(shè) 計(jì)案例。第5章對(duì)基于YARN的幾種計(jì)算模式（MapReduce、Storm、Spark）進(jìn)行了討論，每一種模式都提供了相應(yīng)的安裝步驟、案例分析。第6章敘述了YARN調(diào)度器，詳細(xì)分析了YARN資源調(diào)度負(fù)載模擬器——SLS和Google第三代調(diào)度器omega的基本原理，并分別給出了兩種調(diào)度器的運(yùn)行實(shí)例。第7章通過Tez 和顯示工作流引擎設(shè)計(jì)，使得讀者對(duì)YARN工作流運(yùn)行情況有一定了解。本書*大的特點(diǎn)是理論與實(shí)踐結(jié)合，通過示例分析的形式降低了讀者的學(xué)習(xí)難度，避免了理論學(xué)習(xí)的枯燥性，本書的部分案例直接選自BAT中的工程實(shí)例，這使得本書更具有實(shí)戰(zhàn)性。廣大本科和研究生同學(xué) ，可以參照本書實(shí)例，為他們進(jìn)行分布式、云計(jì)算平臺(tái)學(xué)習(xí)，專業(yè)課項(xiàng)目設(shè)計(jì)或畢業(yè)論文提供參考。本書也可作為業(yè)界研發(fā)人員的工程實(shí)踐參考。

作者簡(jiǎn)介

　　周維，2008年獲得中國(guó)科學(xué)院研究生院博士學(xué)位，主要研究方向?yàn)镻2P、分布式、云計(jì)算?，F(xiàn)任職于云南大學(xué)軟件學(xué)院，是中國(guó)計(jì)算機(jī)學(xué)會(huì)西南網(wǎng)絡(luò)與MIS專委會(huì)委員、云南省通信學(xué)會(huì)理事。發(fā)表多篇文章，一貫強(qiáng)調(diào)理論與實(shí)際的結(jié)合，注重扎實(shí)的數(shù)據(jù)結(jié)構(gòu)和算法功底，近幾年來，先后培養(yǎng)多位學(xué)生到國(guó)內(nèi)外**公司或?qū)W術(shù)研究機(jī)構(gòu)。

圖書目錄

第1章 YARN的前世今生
1.1 Hadoop基本情況回顧
1.2 為什么我們需要YARN
1.3 YARN和 Hadoop 1.0對(duì)比分析
    1.3.1 體系結(jié)構(gòu)對(duì)比
    1.3.2 運(yùn)算框架對(duì)比
1.4 Hadoop 生態(tài)系統(tǒng)
1.5 小結(jié)
第2章 YARN基本框架
2.1 YARN基本框架
2.2 ResourceManager
2.3 NodeManager
2.4 ApplicationMaster
2.5 YARN中應(yīng)用程序的運(yùn)行過程
第3章 YARN編程初步
3.1 YARN 安裝與配置
    3.1.1 環(huán)境準(zhǔn)備
    3.1.2 偽分布式安裝
    3.1.3 完全分布式安裝
3.2 源碼閱讀及編譯
    3.2.1 Maven的介紹及安裝
    3.2.2 編譯前準(zhǔn)備
    3.2.3 YARN源碼閱讀環(huán)境配置
    3.2.4 YARN源碼編譯
3.3 MapReduce實(shí)例
    3.3.1 Word Count
    3.3.2 Deduplication
    3.3.3 Sort
3.4 HBase編程初步
    3.4.1 HBase介紹
    3.4.2 HBase安裝與配置
    3.4.3 HBase開發(fā)環(huán)境配置及實(shí)例
第4章 YARN核心組件分析
4.1 通信組件Protocol Buffer
    4.1.1 什么是Protocol Buffer
    4.1.2 YARN中的Protocol Buffer
    4.1.3 如何編寫Protocol Buffer
    4.1.4 Protocol Buffer代碼分析
4.2 Hadoop 1.0 RPC 和 YARN RPC
    4.2.1 什么是RPC
    4.2.2 RPC通信模型
    4.2.3 Hadoop 1.0 RPC的實(shí)現(xiàn)過程
    4.2.4 Hadoop 1.0 RPC的應(yīng)用
    4.2.5 YARN RPC
    4.2.6 YARN RPC通信案例解析
    4.2.7 YARN RPC源代碼導(dǎo)讀
4.3 YARN狀態(tài)機(jī)分析
    4.3.1 RMApp狀態(tài)機(jī)
    4.3.2 RMAppAttempt狀態(tài)機(jī)
    4.3.3 RMNode狀態(tài)機(jī)
    4.3.4 RMContainer狀態(tài)機(jī)
    4.3.5 應(yīng)用程序在RM中的完整運(yùn)行流程分析
    4.3.6 狀態(tài)機(jī)源代碼導(dǎo)讀
    4.3.7 YARN狀態(tài)機(jī)監(jiān)控軟件設(shè)計(jì)
4.4 HDFS Federation
    4.4.1 HDFS的層次
    4.4.2 當(dāng)前的HDFS架構(gòu)
    4.4.3 HDFS Federation
    4.4.4 Federation HDFS與當(dāng)前HDFS的比較
第5章 YARN中幾種計(jì)算模型
5.1 基于YARN的MapReduce進(jìn)階
    5.1.1 Reduce Side Join
    5.1.2 Map Side Join
    5.1.3 并行聚類Kmeans算法設(shè)計(jì)與實(shí)現(xiàn)
5.2 Storm on YARN
    5.2.1 Storm基本原理
    5.2.2 Storm on YARN
    5.2.3 Storm單機(jī)模式安裝
    5.2.4 Storm on YARN安裝
    5.2.5 基于Storm on YARN的實(shí)時(shí)出租車管理系統(tǒng)
5.3 Spark on YARN
    5.3.1 Spark簡(jiǎn)介
    5.3.2 Spark基本原理
    5.3.3 Spark的部署及開發(fā)環(huán)境搭建
    5.3.4 Spark MLlib介紹
    5.3.5 Spark的優(yōu)化配置
    5.3.6 Spark的編程案例
    5.3.7 Spark的應(yīng)用案例
第6章 YARN資源調(diào)度器
6.1 Hadoop資源調(diào)度器回顧
6.2 YARN資源調(diào)度器
    6.2.1 Capacity Scheduler
    6.2.2 Fair Scheduler
    6.2.3 調(diào)度器比較
6.3 YARN調(diào)度負(fù)載模擬器-SLS
    6.3.1 綜述
    6.3.2 參數(shù)和命令
    6.3.3 實(shí)例一快速開始
    6.3.4 實(shí)例二定制運(yùn)行
6.4 Google第三代調(diào)度器分析
    6.4.1 中央式調(diào)度器模式
    6.4.2 雙層調(diào)度器模式
    6.4.3 共享狀態(tài)調(diào)度器
    6.4.4 Google第三代調(diào)度器Omega
    6.4.5 Omega集群調(diào)度模擬器-CSS
第7章 YARN工作流分析
7.1 Tez on YARN
    7.1.1 Tez基本原理
    7.1.2 Tez環(huán)境安裝
    7.1.3 Tez在Hive引擎中的優(yōu)化作用
    7.1.4 小結(jié)
7.2 顯式工作流引擎
    7.2.1 Hadoop工作流引擎
    7.2.2 某大型互聯(lián)網(wǎng)公司部門使用的工作流引擎
    7.2.3 應(yīng)用舉例
    7.2.4 對(duì)比
    7.2.5 小結(jié)
參考文獻(xiàn)