Hadoop應(yīng)用開發(fā)技術(shù)詳解

前言
第1章  Hadoop概述
1.1  Hadoop起源
1.1.1  Google與Hadoop模塊
1.1.2  為什么會(huì)有Hadoop
1.1.3  Hadoop版本介紹
1.2  Hadoop生態(tài)系統(tǒng)
1.3  Hadoop常用項(xiàng)目介紹
1.4  Hadoop在國內(nèi)的應(yīng)用
1.5  本章小結(jié)
第2章  Hadoop安裝
2.1  Hadoop環(huán)境安裝配置
2.1.1  安裝VMware
2.1.2  安裝Ubuntu
2.1.3  安裝VMwareTools
2.1.4  安裝JDK
2.2  Hadoop安裝模式
2.2.1  單機(jī)安裝
2.2.2  偽分布式安裝
2.2.3  分布式安裝
2.3  如何使用Hadoop
2.3.1  Hadoop的啟動(dòng)與停止
2.3.2  Hadoop配置文件
2.4  本章小結(jié)
第3章  MapReduce快速入門
3.1  WordCount實(shí)例準(zhǔn)備開發(fā)環(huán)境
3.1.1  使用Eclipse創(chuàng)建一個(gè)Java工程
3.1.2  導(dǎo)入Hadoop的JAR文件
3.2  MapReduce代碼的實(shí)現(xiàn)
3.2.1  編寫WordMapper類
3.2.2  編寫WordReducer類
3.2.3  編寫WordMain驅(qū)動(dòng)類
3.3  打包、部署和運(yùn)行
3.3.1  打包成JAR文件
3.3.2  部署和運(yùn)行
3.3.3  測試結(jié)果
3.4  本章小結(jié)
第4章  Hadoop分布式文件系統(tǒng)詳解
4.1  認(rèn)識HDFS
4.1.1  HDFS的特點(diǎn)
4.1.2  Hadoop文件系統(tǒng)的接口
4.1.3  HDFS的Web服務(wù)
4.2  HDFS架構(gòu)
4.2.1  機(jī)架
4.2.2  數(shù)據(jù)塊
4.2.3  元數(shù)據(jù)節(jié)點(diǎn)
4.2.4  數(shù)據(jù)節(jié)點(diǎn)
4.2.5  輔助元數(shù)據(jù)節(jié)點(diǎn)
4.2.6  名字空間
4.2.7  數(shù)據(jù)復(fù)制
4.2.8  塊備份原理
4.2.9  機(jī)架感知
4.3  Hadoop的RPC機(jī)制
4.3.1  RPC的實(shí)現(xiàn)流程
4.3.2  RPC的實(shí)體模型
4.3.3  文件的讀取
4.3.4  文件的寫入
4.3.5  文件的一致模型
4.4  HDFS的HA機(jī)制
4.4.1  HA集群
4.4.2  HA架構(gòu)
4.4.3  為什么會(huì)有HA機(jī)制
4.5  HDFS的Federation機(jī)制
4.5.1  單個(gè)NameNode的HDFS架構(gòu)的局限性
4.5.2  為什么引入Federation機(jī)制
4.5.3  Federation架構(gòu)
4.5.4  多個(gè)名字空間的管理問題
4.6  Hadoop文件系統(tǒng)的訪問
4.6.1  安全模式
4.6.2  HDFS的Shell訪問
4.6.3  HDFS處理文件的命令
4.7  JavaAPI接口
4.7.1  HadoopURL讀取數(shù)據(jù)
4.7.2  FileSystem類
4.7.3  FileStatus類
4.7.4  FSDataInputStream類
4.7.5  FSDataOutputStream類
4.7.6  列出HDFS下所有的文件
4.7.7  文件的匹配
4.7.8  PathFilter對象
4.8  維護(hù)HDFS
4.8.1  追加數(shù)據(jù)
4.8.2  并行復(fù)制
4.8.3  升級與回滾
4.8.4  添加節(jié)點(diǎn)
4.8.5  刪除節(jié)點(diǎn)
4.9  HDFS權(quán)限管理
4.9.1  用戶身份
4.9.2  權(quán)限管理的原理
4.9.3  設(shè)置權(quán)限的Shell命令
4.9.4  超級用戶
4.9.5  HDFS權(quán)限配置參數(shù)
4.10  本章小結(jié)
第5章  Hadoop文件I/O詳解
5.1  Hadoop文件的數(shù)據(jù)結(jié)構(gòu)
5.1.1  SequenceFile存儲
5.1.2  MapFile存儲
5.1.3  SequenceFile轉(zhuǎn)換為MapFile
5.2  HDFS數(shù)據(jù)完整性
5.2.1  校驗(yàn)和
5.2.2  數(shù)據(jù)塊檢測程序
5.3  文件序列化
5.3.1  進(jìn)程間通信對序列化的要求
5.3.2  Hadoop文件的序列化
5.3.3  Writable接口
5.3.4  WritableComparable接口
5.3.5  自定義Writable接口
5.3.6  序列化框架
5.3.7  數(shù)據(jù)序列化系統(tǒng)Avro
5.4  Hadoop的Writable類型
5.4.1  Writable類的層次結(jié)構(gòu)
5.4.2  Text類型
5.4.3  NullWritable類型
5.4.4  ObjectWritable類型
5.4.5  GenericWritable類型
5.5  文件壓縮
5.5.1  Hadoop支持的壓縮格式
5.5.2  Hadoop中的編碼器和解碼器
5.5.3  本地庫
5.5.4  可分割壓縮LZO
5.5.5  壓縮文件性能比較
5.5.6  Snappy壓縮
5.5.7  gzip、LZO和Snappy比較
5.6  本章小結(jié)
第6章  MapReduce工作原理
6.1  MapReduce的函數(shù)式編程概念
6.1.1  列表處理
6.1.2  Mapping數(shù)據(jù)列表
6.1.3  Reducing數(shù)據(jù)列表
6.1.4  Mapper和Reducer如何工作
6.1.5  應(yīng)用實(shí)例：詞頻統(tǒng)計(jì)
6.2  MapReduce框架結(jié)構(gòu)
6.2.1  MapReduce模型
6.2.2  MapReduce框架組成
6.3  MapReduce運(yùn)行原理
6.3.1  作業(yè)的提交
6.3.2  作業(yè)初始化
6.3.3  任務(wù)的分配
6.3.4  任務(wù)的執(zhí)行
6.3.5  進(jìn)度和狀態(tài)的更新
6.3.6  MapReduce的進(jìn)度組成
6.3.7  任務(wù)完成
6.4  MapReduce容錯(cuò)
6.4.1  任務(wù)失敗
6.4.2  TaskTracker失敗
6.4.3  JobTracker失敗
6.4.4  子任務(wù)失敗
6.4.5  任務(wù)失敗反復(fù)次數(shù)的處理方法
6.5  Shuffle階段和Sort階段
6.5.1  Map端的Shuffle
6.5.2  Reduce端的Shuffle
6.5.3  Shuffle過程參數(shù)調(diào)優(yōu)
6.6  任務(wù)的執(zhí)行
6.6.1  推測執(zhí)行
6.6.2  任務(wù)JVM重用
6.6.3  跳過壞的記錄
6.6.4  任務(wù)執(zhí)行的環(huán)境
6.7  作業(yè)調(diào)度器
6.7.1  先進(jìn)先出調(diào)度器
6.7.2  容量調(diào)度器
6.7.3  公平調(diào)度器
6.8  自定義Hadoop調(diào)度器
6.8.1  Hadoop調(diào)度器框架
6.8.2  編寫Hadoop調(diào)度器
6.9  YARN介紹
6.9.1  異步編程模型
6.9.2  YARN支持的計(jì)算框架
6.9.3  YARN架構(gòu)
6.9.4  YARN工作流程
6.10  本章小結(jié)
第7章  Eclipse插件的應(yīng)用
7.1  編譯Hadoop源碼
7.1.1  下載Hadoop源碼
7.1.2  準(zhǔn)備編譯環(huán)境
7.1.3  編譯common組件
7.2  Eclipse安裝MapReduce插件
7.2.1  查找MapReduce插件
7.2.2  新建一個(gè)Hadooplocation
7.2.3  Hadoop插件操作HDFS
7.2.4  運(yùn)行MapReduce的驅(qū)動(dòng)類
7.3  MapReduce的Debug調(diào)試
7.3.1  進(jìn)入Debug運(yùn)行模式
7.3.2  Debug調(diào)試具體操作
7.4  單元測試框架MRUnit
7.4.1  認(rèn)識MRUnit框架
7.4.2  準(zhǔn)備測試案例
7.4.3  Mapper單元測試
7.4.4  Reducer單元測試
7.4.5  MapReduce單元測試
7.5  本章小結(jié)
第8章  MapReduce編程開發(fā)
8.1  WordCount案例分析
8.1.1  MapReduce工作流程
8.1.2  WordCount的Map過程
8.1.3  WordCount的Reduce過程
8.1.4  每個(gè)過程產(chǎn)生的結(jié)果
8.1.5  Mapper抽象類
8.1.6  Reducer抽象類
8.1.7  MapReduce驅(qū)動(dòng)
8.1.8  MapReduce最小驅(qū)動(dòng)
8.2  輸入格式
8.2.1  InputFormat接口
8.2.2  InputSplit類
8.2.3  RecordReader類
8.2.4  應(yīng)用實(shí)例：隨機(jī)生成100個(gè)小數(shù)并求最大值
8.3  輸出格式
8.3.1  OutputFormat接口
8.3.2  RecordWriter類
8.3.3  應(yīng)用實(shí)例：把首字母相同的單詞放到一個(gè)文件里
8.4  壓縮格式
8.4.1  如何在MapReduce中使用壓縮
8.4.2  Map作業(yè)輸出結(jié)果的壓縮
8.5  MapReduce優(yōu)化
8.5.1  Combiner類
8.5.2  Partitioner類
8.5.3  分布式緩存
8.6  輔助類
8.6.1  讀取Hadoop配置文件
8.6.2  設(shè)置Hadoop的配置文件屬性
8.6.3  GenericOptionsParser選項(xiàng)
8.7  Streaming接口
8.7.1  Streaming工作原理
8.7.2  Streaming編程接口參數(shù)
8.7.3  作業(yè)配置屬性
8.7.4  應(yīng)用實(shí)例：抓取網(wǎng)頁的標(biāo)題
8.8  本章小結(jié)
第9章  MapReduce高級應(yīng)用
9.1  計(jì)數(shù)器
9.1.1  默認(rèn)計(jì)數(shù)器
9.1.2  自定義計(jì)數(shù)器
9.1.3  獲取計(jì)數(shù)器
9.2  MapReduce二次排序
9.2.1  二次排序原理
9.2.2  二次排序的算法流程
9.2.3  代碼實(shí)現(xiàn)
9.3  MapReduce中的Join算法
9.3.1  Reduce端Join
9.3.2  Map端Join
9.3.3  半連接SemiJoin
9.4  MapReduce從MySQL讀寫數(shù)據(jù)
9.4.1  讀數(shù)據(jù)
9.4.2  寫數(shù)據(jù)
9.5  Hadoop系統(tǒng)調(diào)優(yōu)
9.5.1  小文件優(yōu)化
9.5.2  Map和Reduce個(gè)數(shù)設(shè)置
9.6  本章小結(jié)
第10章  數(shù)據(jù)倉庫工具Hive
10.1  認(rèn)識Hive
10.1.1  Hive工作原理
10.1.2  Hive數(shù)據(jù)類型
10.1.3  Hive的特點(diǎn)
10.1.4  Hive下載與安裝
10.2  Hive架構(gòu)
10.2.1  Hive用戶接口
10.2.2  Hive元數(shù)據(jù)庫
10.2.3  Hive的數(shù)據(jù)存儲
10.2.4  Hive解釋器
10.3  Hive文件格式
10.3.1  TextFile格式
10.3.2  SequenceFile格式
10.3.3  RCFile文件格式
10.3.4  自定義文件格式
10.4  Hive操作
10.4.1  表操作
10.4.2  視圖操作
10.4.3  索引操作
10.4.4  分區(qū)操作
10.4.5  桶操作
10.5  Hive復(fù)合類型
10.5.1  Struct類型
10.5.2  Array類型
10.5.3  Map類型
10.6  Hive的JOIN詳解
10.6.1  JOIN操作語法
10.6.2  JOIN原理
10.6.3  外部JOIN
10.6.4  Map端JOIN
10.6.5  JOIN中處理NULL值的語義區(qū)別
10.7  Hive優(yōu)化策略
10.7.1  列裁剪
10.7.2  MapJoin操作
10.7.3  GroupBy操作
10.7.4  合并小文件
10.8  Hive內(nèi)置操作符與函數(shù)
10.8.1  字符串函數(shù)
10.8.2  集合統(tǒng)計(jì)函數(shù)
10.8.3  復(fù)合類型操作
10.9  Hive用戶自定義函數(shù)接口
10.9.1  用戶自定義函數(shù)UDF
10.9.2  用戶自定義聚合函數(shù)UDAF
10.10  Hive的權(quán)限控制
10.10.1  角色的創(chuàng)建和刪除
10.10.2  角色的授權(quán)和撤銷
10.10.3  超級管理員權(quán)限
10.11  應(yīng)用實(shí)例：使用JDBC開發(fā)Hive程序
10.11.1  準(zhǔn)備測試數(shù)據(jù)
10.11.2  代碼實(shí)現(xiàn)
10.12  本章小結(jié)
第11章  開源數(shù)據(jù)庫HBase
11.1  認(rèn)識HBase
11.1.1  HBase的特點(diǎn)
11.1.2  HBase訪問接口
11.1.3  HBase存儲結(jié)構(gòu)
11.1.4  HBase存儲格式
11.2  HBase設(shè)計(jì)
11.2.1  邏輯視圖
11.2.2  框架結(jié)構(gòu)及流程
11.2.3  Table和Region的關(guān)系
11.2.4  -ROOT-表和.META.表
11.3  關(guān)鍵算法和流程
11.3.1  Region定位
11.3.2  讀寫過程
11.3.3  Region分配
11.3.4  RegionServer上線和下線
11.3.5  Master上線和下線
11.4  HBase安裝
11.4.1  HBase單機(jī)安裝
11.4.2  HBase分布式安裝
11.5  HBase的Shell操作
11.5.1  一般操作
11.5.2  DDL操作
11.5.3  DML操作
11.5.4  HBaseShell腳本
11.6  HBase客戶端
11.6.1  JavaAPI交互
11.6.2  MapReduce操作HBase
11.6.3  向HBase中寫入數(shù)據(jù)
11.6.4  讀取HBase中的數(shù)據(jù)
11.6.5  Avro、REST和Thrift接口
11.7  本章小結(jié)
第12章  Mahout算法
12.1  Mahout的使用
12.1.1  安裝Mahout
12.1.2  運(yùn)行一個(gè)Mahout案例
12.2  Mahout數(shù)據(jù)表示
12.2.1  偏好Perference類
12.2.2  數(shù)據(jù)模型DataModel類
12.2.3  Mahout鏈接MySQL數(shù)據(jù)庫
12.3  認(rèn)識Taste框架
12.4  Mahout推薦器
12.4.1  基于用戶的推薦器
12.4.2  基于項(xiàng)目的推薦器
12.4.3  SlopeOne推薦策略
12.5  推薦系統(tǒng)
12.5.1  個(gè)性化推薦
12.5.2  商品推薦系統(tǒng)案例
12.6  本章小結(jié)
附錄A  Hive內(nèi)置操作符與函數(shù)
附錄B  HBase默認(rèn)配置解釋
附錄C  Hadoop三個(gè)配置文件的參數(shù)含義說明