深入理解XGBoost：高效機(jī)器學(xué)習(xí)算法與進(jìn)階

前言 \n
第1章　機(jī)器學(xué)習(xí)概述1 \n
1.1　何謂機(jī)器學(xué)習(xí)1 \n
1.1.1　機(jī)器學(xué)習(xí)常用基本概念2 \n
1.1.2　機(jī)器學(xué)習(xí)類型3 \n
1.1.3　機(jī)器學(xué)習(xí)應(yīng)用開發(fā)步驟4 \n
1.2　集成學(xué)習(xí)發(fā)展與XGBoost提出5 \n
1.2.1　集成學(xué)習(xí)5 \n
1.2.2　XGBoost6 \n
1.3　小結(jié)7 \n
第2章　XGBoost驪珠初探9 \n
2.1　搭建Python機(jī)器學(xué)習(xí)環(huán)境9 \n
2.1.1　Jupyter Notebook10 \n
2.1.2　NumPy11 \n
2.1.3　Pandas18 \n
2.1.4　Matplotlib32 \n
2.1.5　scikit-learn39 \n
2.2　搭建XGBoost運(yùn)行環(huán)境39 \n
2.3　示例：XGBoost告訴你蘑菇是否有毒42 \n
2.4　小結(jié)44 \n
第3章　機(jī)器學(xué)習(xí)算法基礎(chǔ)45 \n
3.1　KNN45 \n
3.1.1　KNN關(guān)鍵因素46 \n
3.1.2　用KNN預(yù)測(cè)鳶尾花品種47 \n
3.2　線性回歸52 \n
3.2.1　梯度下降法53 \n
3.2.2　模型評(píng)估55 \n
3.2.3　通過線性回歸預(yù)測(cè)波士頓房屋價(jià)格55 \n
3.3　邏輯回歸57 \n
3.3.1　模型參數(shù)估計(jì)59 \n
3.3.2　模型評(píng)估60 \n
3.3.3　良性/惡性乳腺腫瘤預(yù)測(cè)61 \n
3.3.4　softmax64 \n
3.4　決策樹65 \n
3.4.1　構(gòu)造決策樹66 \n
3.4.2　特征選擇67 \n
3.4.3　決策樹剪枝71 \n
3.4.4　決策樹解決腫瘤分類問題71 \n
3.5　正則化75 \n
3.6　排序78 \n
3.6.1　排序?qū)W習(xí)算法80 \n
3.6.2　排序評(píng)價(jià)指標(biāo)81 \n
3.7　人工神經(jīng)網(wǎng)絡(luò)85 \n
3.7.1　感知器85 \n
3.7.2　人工神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)原理87 \n
3.7.3　神經(jīng)網(wǎng)絡(luò)識(shí)別手寫體數(shù)字90 \n
3.8　支持向量機(jī)92 \n
3.8.1　核函數(shù)95 \n
3.8.2　松弛變量97 \n
3.8.3　通過SVM識(shí)別手寫體數(shù)字98 \n
3.9　小結(jié)99 \n
第4章　XGBoost小試牛刀100 \n
4.1　XGBoost實(shí)現(xiàn)原理100 \n
4.2　二分類問題101 \n
4.3　多分類問題109 \n
4.4　回歸問題113 \n
4.5　排序問題117 \n
4.6　其他常用功能121 \n
4.7　小結(jié)145 \n
第5章　XGBoost原理與理論證明146 \n
5.1　CART146 \n
5.1.1　CART生成147 \n
5.1.2　剪枝算法150 \n
5.2　Boosting算法思想與實(shí)現(xiàn)151 \n
5.2.1　AdaBoost151 \n
5.2.2　Gradient Boosting151 \n
5.2.3　縮減153 \n
5.2.4　Gradient Tree Boosting153 \n
5.3　XGBoost中的Tree Boosting154 \n
5.3.1　模型定義155 \n
5.3.2　XGBoost中的Gradient Tree Boosting156 \n
5.4　切分點(diǎn)查找算法161 \n
5.4.1　精確貪心算法161 \n
5.4.2　基于直方圖的近似算法163 \n
5.4.3　快速直方圖算法165 \n
5.4.4　加權(quán)分位數(shù)概要算法167 \n
5.4.5　稀疏感知切分點(diǎn)查找算法167 \n
5.5　排序?qū)W習(xí)169 \n
5.6　DART174 \n
5.7　樹模型的可解釋性177 \n
5.7.1　Saabas177 \n
5.7.2　SHAP179 \n
5.8　線性模型原理183 \n
5.8.1　Elastic Net回歸183 \n
5.8.2　并行坐標(biāo)下降法184 \n
5.8.3　XGBoost線性模型的實(shí)現(xiàn)185 \n
5.9　系統(tǒng)優(yōu)化187 \n
5.9.1　基于列存儲(chǔ)數(shù)據(jù)塊的并行學(xué)習(xí)188 \n
5.9.2　緩存感知訪問190 \n
5.9.3　外存塊計(jì)算191 \n
5.10　小結(jié)192 \n
第6章　分布式XGBoost193 \n
6.1　分布式機(jī)器學(xué)習(xí)框架Rabit 193 \n
6.1.1　AllReduce193 \n
6.1.2　Rabit195 \n
6.1.3　Rabit應(yīng)用197 \n
6.2　資源管理系統(tǒng)YARN 200 \n
6.2.1　YARN的基本架構(gòu)201 \n
6.2.2　YARN的工作流程202 \n
6.2.3　XGBoost on YARN203 \n
6.3　可移植分布式XGBoost4J205 \n
6.4　基于Spark平臺(tái)的實(shí)現(xiàn)208 \n
6.4.1　Spark架構(gòu)208 \n
6.4.2　RDD210 \n
6.4.3　XGBoost4J-Spark211 \n
6.5　基于Flink平臺(tái)的實(shí)現(xiàn)223 \n
6.5.1　Flink原理簡(jiǎn)介224 \n
6.5.2　XGBoost4J-Flink227 \n
6.6　基于GPU加速的實(shí)現(xiàn)229 \n
6.6.1　GPU及其編程語(yǔ)言簡(jiǎn)介229 \n
6.6.2　XGBoost GPU加速原理230 \n
6.6.3　XGBoost GPU應(yīng)用236 \n
6.7　小結(jié)239 \n
第7章　XGBoost進(jìn)階240 \n
7.1　模型訓(xùn)練、預(yù)測(cè)及解析240 \n
7.1.1　樹模型訓(xùn)練240 \n
7.1.2　線性模型訓(xùn)練256 \n
7.1.3　模型預(yù)測(cè)258 \n
7.1.4　模型解析261 \n
7.2　樹模型更新264 \n
7.2.1　updater_colmaker264 \n
7.2.2　updater_histmaker264 \n
7.2.3　updater_fast_hist271 \n
7.2.4　其他更新器276 \n
7.3　目標(biāo)函數(shù)278 \n
7.3.1　二分類279 \n
7.3.2　回歸280 \n
7.3.3　多分類282 \n
7.3.4　排序?qū)W習(xí)284 \n
7.4　評(píng)估函數(shù)288 \n
7.4.1　概述289 \n
7.4.2　二分類291 \n
7.4.3　多分類295 \n
7.4.4　回歸296 \n
7.4.5　排序297 \n
7.5　小結(jié)299 \n
第8章　模型選擇與優(yōu)化300 \n
8.1　偏差與方差300 \n
8.2　模型選擇303 \n
8.2.1　交叉驗(yàn)證304 \n
8.2.2　Bootstrap306 \n
8.3　超參數(shù)優(yōu)化307 \n
8.3.1　網(wǎng)格搜索308 \n
8.3.2　隨機(jī)搜索310 \n
8.3.3　貝葉斯優(yōu)化313 \n
8.4　XGBoost超參數(shù)優(yōu)化315 \n
8.4.1　XGBoost參數(shù)介紹315 \n
8.4.2　XGBoost調(diào)參示例319 \n
8.5　小結(jié)334 \n
第9章　通過XGBoost實(shí)現(xiàn)廣告分類器335 \n
9.1　PCA335 \n
9.1.1　PCA的實(shí)現(xiàn)原理335 \n
9.1.2　通過PCA對(duì)人臉識(shí)別數(shù)據(jù)降維338 \n
9.1.3　利用PCA實(shí)現(xiàn)數(shù)據(jù)可視化341 \n
9.2　通過XGBoost實(shí)現(xiàn)廣告分類器343 \n
9.3　小結(jié)357 \n
第10章　基于樹模型的其他研究與應(yīng)用358 \n
10.1　GBDT、LR融合提升廣告點(diǎn)擊率358 \n
10.2　mGBDT360 \n
10.3　DEF362 \n
10.4　一種基于樹模型的強(qiáng)化學(xué)習(xí)方法366 \n
10.5　小結(jié)370