Python機(jī)器學(xué)習(xí)：基于PyTorch和Scikit-Learn

譯者序
序
前言
作者簡介
審校者簡介
第1章　賦予計算機(jī)從數(shù)據(jù)中學(xué)習(xí)的能力1
　1.1　將數(shù)據(jù)轉(zhuǎn)化為知識的智能系統(tǒng)1
　1.2　三種機(jī)器學(xué)習(xí)類型2
1.2.1　用于預(yù)測未來的監(jiān)督學(xué)習(xí)2
1.2.2　解決交互問題的強(qiáng)化學(xué)習(xí)4
1.2.3　發(fā)現(xiàn)數(shù)據(jù)中隱藏規(guī)律的無監(jiān)督學(xué)習(xí) 5
　1.3　基本術(shù)語與符號6
1.3.1　本書中使用的符號和約定6
1.3.2　機(jī)器學(xué)習(xí)術(shù)語8
　1.4　構(gòu)建機(jī)器學(xué)習(xí)系統(tǒng)的路線圖8
1.4.1　數(shù)據(jù)預(yù)處理——讓數(shù)據(jù)可用8
1.4.2　訓(xùn)練和選擇預(yù)測模型9
1.4.3　使用未見過的數(shù)據(jù)對模型進(jìn)行評估10
　1.5　使用Python實現(xiàn)機(jī)器學(xué)習(xí)算法10
1.5.1　從Python Package Index中安裝Python和其他軟件包10
1.5.2　使用Anaconda Python
軟件包管理器11
1.5.3　科學(xué)計算、數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)軟件包12
　1.6　本章小結(jié)13
第2章　訓(xùn)練簡單的機(jī)器學(xué)習(xí)分類算法14
　2.1　人工神經(jīng)元——機(jī)器學(xué)習(xí)早期歷史一瞥14
2.1.1　人工神經(jīng)元的定義15
2.1.2　感知機(jī)學(xué)習(xí)規(guī)則16
　2.2　使用Python實現(xiàn)感知機(jī)學(xué)習(xí)算法19
2.2.1　面向?qū)ο蟮母兄獧C(jī)API19
2.2.2　使用鳶尾花數(shù)據(jù)集訓(xùn)練感知機(jī)22
　2.3　自適應(yīng)線性神經(jīng)元與算法收斂27
2.3.1　使用梯度下降法最小化損失函數(shù)28
2.3.2　在Python中實現(xiàn)Adaline30
2.3.3　通過特征縮放改進(jìn)梯度下降34
2.3.4　大規(guī)模機(jī)器學(xué)習(xí)與隨機(jī)梯度下降36
　2.4　本章小結(jié)41
XIV
第3章　ScikitLearn機(jī)器學(xué)習(xí)分類算法之旅42
　3.1　分類算法的選擇42
　3.2　學(xué)習(xí)ScikitLearn的第一步——訓(xùn)練感知機(jī)43
　3.3　用邏輯回歸算法建模分類概率48
3.3.1　邏輯回歸與條件概率48
3.3.2　用邏輯損失函數(shù)更新模型權(quán)重51
3.3.3　從Adaline的代碼實現(xiàn)到邏輯回歸的代碼實現(xiàn)53
3.3.4　用ScikitLearn訓(xùn)練邏輯回歸模型56
3.3.5　使用正則化避免模型過擬合59
　3.4　基于最大分類間隔的支持向量機(jī)62
3.4.1　理解最大分類間隔62
3.4.2　使用松弛變量解決非線性可分問題62
3.4.3　ScikitLearn中另外一種實現(xiàn)64
　3.5　使用核支持向量機(jī)求解非線性問題64
3.5.1　處理線性不可分?jǐn)?shù)據(jù)的核方法64
3.5.2　使用核方法在高維空間中尋找分離超平面66
　3.6　決策樹學(xué)習(xí)69
3.6.1　最大化信息增益70
3.6.2　構(gòu)建決策樹73
3.6.3　多棵決策樹組成隨機(jī)森林76
　3.7　基于惰性學(xué)習(xí)策略的k近鄰算法78
　3.8　本章小結(jié)81
第4章　構(gòu)建良好的訓(xùn)練數(shù)據(jù)集——數(shù)據(jù)預(yù)處理83
　4.1　處理缺失值83
4.1.1　識別表格數(shù)據(jù)中的缺失值83
4.1.2　刪除含有缺失值的樣本或特征85
4.1.3　填補(bǔ)缺失值85
4.1.4　ScikitLearn的估計器86
　4.2　處理類別數(shù)據(jù)87
4.2.1　用pandas實現(xiàn)類別數(shù)據(jù)編碼88
4.2.2　映射有序特征88
4.2.3　類別標(biāo)簽編碼89
4.2.4　標(biāo)稱特征的獨熱編碼90
　4.3　將數(shù)據(jù)集劃分為訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集93
　4.4　使特征具有相同的尺度95
　4.5　選擇有意義的特征97
4.5.1　用L1和L2正則化對模型復(fù)雜度進(jìn)行懲罰98
4.5.2　L2正則化的幾何解釋98
4.5.3　L1正則化與稀疏解99
4.5.4　序貫特征選擇算法102
　4.6　用隨機(jī)森林評估特征重要性107
　4.7　本章小結(jié)109
第5章　通過降維方法壓縮數(shù)據(jù)110
　5.1　無監(jiān)督降維的主成分分析方法110
5.1.1　主成分分析的主要步驟110
5.1.2　提取主成分的步驟112
5.1.3　總方差和被解釋的方差114
5.1.4　特征變換115
5.1.5　用ScikitLearn實現(xiàn)主成分分析118
5.1.6　評估特征的貢獻(xiàn)120
　5.2　監(jiān)督數(shù)據(jù)壓縮的線性判別分析方法122
5.2.1　主成分分析與線性判別分析122
5.2.2　線性判別分析基本原理123
5.2.3　計算散布矩陣124
5.2.4　為新特征子空間選擇線性判別式126
5.2.5　將樣本投影到新的特征空間128
5.2.6　用ScikitLearn實現(xiàn)線性判別分析128
　5.3　非線性降維和可視化130
5.3.1　非線性降維的不足130
5.3.2　使用tSNE可視化數(shù)據(jù)131
　5.4　本章小結(jié)135
XV
第6章　模型評估和超參數(shù)調(diào)優(yōu)的最佳實踐136
　6.1　使用pipeline方法簡化工作流程136
6.1.1　加載威斯康星乳腺癌數(shù)據(jù)集136
6.1.2　在pipeline中集成轉(zhuǎn)換器和估計器138
　6.2　使用k折交叉驗證評估模型性能140
6.2.1　holdout交叉驗證140
6.2.2　k折交叉驗證140
　6.3　用學(xué)習(xí)曲線和驗證曲線調(diào)試算法144
6.3.1　使用學(xué)習(xí)曲線解決偏差和方差問題144
6.3.2　使用驗證曲線解決過擬合和欠擬合問題146
　6.4　通過網(wǎng)格搜索微調(diào)機(jī)器學(xué)習(xí)模型148
6.4.1　通過網(wǎng)格搜索調(diào)整超參數(shù)148
6.4.2　通過隨機(jī)搜索更廣泛地探索超參數(shù)的配置149
6.4.3　連續(xù)減半超參數(shù)的搜索算法151
6.4.4　嵌套交叉驗證153
　6.5　模型性能評估指標(biāo)154
6.5.1　混淆矩陣155
6.5.2　精確率和召回率156
6.5.3　繪制ROC曲線158
6.5.4　多分類器評價指標(biāo)160
6.5.5　處理類別不均衡問題161
　6.6　本章小結(jié)163
XVI
第7章　組合不同模型的集成學(xué)習(xí)164
　7.1　集成學(xué)習(xí)164
　7.2　通過絕對多數(shù)投票組合分類器167
7.2.1　實現(xiàn)一個簡單的基于絕對多數(shù)投票的集成分類器167
7.2.2　使用絕對多數(shù)投票原則進(jìn)行預(yù)測171
7.2.3　評估和調(diào)整集成分類器173
　7.3　bagging——基于bootstrap樣本構(gòu)建集成分類器179
7.3.1　bagging簡介179
7.3.2　使用bagging對葡萄酒數(shù)據(jù)集中的樣本進(jìn)行分類180
　7.4　通過自適應(yīng)boosting提高弱學(xué)習(xí)器的性能184
7.4.1　boosting的工作原理184
7.4.2　用ScikitLearn實現(xiàn)AdaBoost188
　7.5　梯度boosting——基于損失梯度訓(xùn)練集成分類器191
7.5.1　比較AdaBoost與梯度boosting191
7.5.2　通用的梯度boosting算法概述191
7.5.3　解釋用于分類的梯度boosting算法193
7.5.4　用梯度boosting分類的例子194
7.5.5　使用XGBoost196
　7.6　本章小結(jié)197
第8章　用機(jī)器學(xué)習(xí)進(jìn)行情感分析198
　8.1　對IMDb影評數(shù)據(jù)進(jìn)行文本處理198
8.1.1　獲取影評數(shù)據(jù)集199
8.1.2　將影評數(shù)據(jù)集預(yù)處理成更易使用的格式199
　8.2　詞袋模型201
8.2.1　將單詞轉(zhuǎn)換為特征向量201
8.2.2　通過詞頻-逆文檔頻率評估單詞的相關(guān)性203
8.2.3　文本數(shù)據(jù)清洗204
8.2.4　將文檔處理成token206
　8.3　訓(xùn)練用于文檔分類的邏輯回歸模型208
　8.4　處理更大的數(shù)據(jù)——在線算法和核外學(xué)習(xí)方法210
　8.5　用潛在狄利克雷分配實現(xiàn)主題建模213
8.5.1　使用LDA分解文本文檔214
8.5.2　用ScikitLearn實現(xiàn)LDA214
　8.6　本章小結(jié)217
第9章　預(yù)測連續(xù)目標(biāo)變量的回歸分析218
　9.1　線性回歸簡介218
9.1.1　簡單線性回歸218
9.1.2　多元線性回歸219
　9.2　探索艾姆斯住房數(shù)據(jù)集220
9.2.1　將艾姆斯住房數(shù)據(jù)集加載到DataFrame中220
9.2.2　可視化數(shù)據(jù)集的重要特征222
9.2.3　使用相關(guān)矩陣查看相關(guān)性223
　9.3　最小二乘線性回歸模型的實現(xiàn)225
9.3.1　用梯度下降法求解回歸參數(shù)225
9.3.2　用ScikitLearn估計回歸模型的系數(shù)229
　9.4　使用RANSAC擬合穩(wěn)健回歸模型231
　9.5　評估線性回歸模型的性能233
　9.6　使用正則化方法進(jìn)行回歸237
　9.7　將線性回歸模型轉(zhuǎn)化為曲線——多項式回歸238
9.7.1　使用ScikitLearn添加多項式項239
9.7.2　建模艾姆斯住房數(shù)據(jù)集中的非線性關(guān)系240
　9.8　使用隨機(jī)森林處理非線性關(guān)系243
9.8.1　決策樹回歸243
9.8.2　隨機(jī)森林回歸245
　9.9　本章小結(jié)247
XVII
第10章　處理無標(biāo)簽數(shù)據(jù)的
聚類分析248
　10.1　使用k均值算法對樣本分組248
10.1.1　用ScikitLearn實現(xiàn)k均值聚類248
10.1.2　k均值 ——更聰明的簇初始化方法252
10.1.3　硬聚類與軟聚類253
10.1.4　用肘方法求解最優(yōu)簇的數(shù)量255
10.1.5　通過輪廓圖量化聚類質(zhì)量255
　10.2　把簇組織成層次樹260
10.2.1　自底向上的聚類260
10.2.2　在距離矩陣上進(jìn)行分層聚類262
10.2.3　熱度圖與樹狀圖結(jié)合265
10.2.4　通過ScikitLearn進(jìn)行凝聚聚類266
　10.3　通過DBSCAN定位高密度區(qū)域267
　10.4　本章小結(jié)272
XVIII
第11章　從零開始實現(xiàn)多層人工神經(jīng)網(wǎng)絡(luò)273
　11.1　用人工神經(jīng)網(wǎng)絡(luò)建立復(fù)雜函數(shù)模型273
11.1.1　單層神經(jīng)網(wǎng)絡(luò)274
11.1.2　多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)275
11.1.3　利用前向傳播激活神經(jīng)網(wǎng)絡(luò)277
　11.2　識別手寫數(shù)字279
11.2.1　獲取并準(zhǔn)備MNIST數(shù)據(jù)集279
11.2.2　實現(xiàn)多層感知機(jī)282
11.2.3　神經(jīng)網(wǎng)絡(luò)訓(xùn)練代碼287
11.2.4　評估神經(jīng)網(wǎng)絡(luò)的性能291
　11.3　訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)295
11.3.1　損失函數(shù)的計算295
11.3.2　理解反向傳播296
11.3.3　通過反向傳播訓(xùn)練神經(jīng)網(wǎng)絡(luò)297
　11.4　關(guān)于神經(jīng)網(wǎng)絡(luò)的收斂性300
　11.5　關(guān)于神經(jīng)網(wǎng)絡(luò)實現(xiàn)的最后幾句話300
　11.6　本章小結(jié)301
第12章　用PyTorch并行訓(xùn)練神經(jīng)網(wǎng)絡(luò)302
　12.1　PyTorch和模型的訓(xùn)練性能302
12.1.1　性能挑戰(zhàn)302
12.1.2　什么是PyTorch303
12.1.3　如何學(xué)習(xí)PyTorch304
　12.2　學(xué)習(xí)PyTorch的第一步304
12.2.1　安裝PyTorch305
12.2.2　在PyTorch中創(chuàng)建張量306
12.2.3　對張量形狀和數(shù)據(jù)類型進(jìn)行操作307
12.2.4　張量數(shù)學(xué)運算307
12.2.5　拆分、堆疊和連接張量309
　12.3　在PyTorch中構(gòu)建輸入pipeline310
12.3.1　使用已有張量創(chuàng)建PyTorch DataLoader311
12.3.2　將兩個張量組合成一個聯(lián)合數(shù)據(jù)集311
12.3.3　亂序、批處理和重復(fù)313
12.3.4　用存儲在本地硬盤的文件創(chuàng)建數(shù)據(jù)集314
12.3.5　從torchvision.datasets庫中獲取數(shù)據(jù)集318
　12.4　在PyTorch中構(gòu)建神經(jīng)網(wǎng)絡(luò)模型321
12.4.1　PyTorch神經(jīng)網(wǎng)絡(luò)模塊322
12.4.2　構(gòu)建線性回歸模型322
12.4.3　使用torch.nn和torch.optim模塊訓(xùn)練模型325
12.4.4　構(gòu)建多層感知機(jī)對鳶尾花數(shù)據(jù)集分類326
12.4.5　在測試數(shù)據(jù)集上評估訓(xùn)練好的模型329
12.4.6　保存和重新加載訓(xùn)練好的模型329
　12.5　為多層神經(jīng)網(wǎng)絡(luò)選擇激活函數(shù)330
12.5.1　回顧邏輯函數(shù)331
12.5.2　使用softmax函數(shù)估計多分類中的類別概率332
12.5.3　使用雙曲正切函數(shù)拓寬輸出范圍333
12.5.4　整流線性單元335
　12.6　本章小結(jié)337
第13章　深入探討PyTorch的工作原理338
　13.1　PyTorch的主要功能338
　13.2　PyTorch的計算圖339
13.2.1　理解計算圖339
13.2.2　在PyTorch中創(chuàng)建計算圖339
　13.3　用于存儲和更新模型參數(shù)的PyTorch張量340
　13.4　通過自動微分計算梯度342
13.4.1　計算損失函數(shù)關(guān)于可微變量的梯度342
13.4.2　自動微分343
13.4.3　對抗樣本344
　13.5　使用torch.nn模塊簡化常見結(jié)構(gòu)344
13.5.1　使用nn.Sequential實現(xiàn)模型344
13.5.2　選擇損失函數(shù)345
13.5.3　解決XOR分類問題346
13.5.4　使用nn.Module靈活構(gòu)建模型350
13.5.5　使用PyTorch編寫自定義層352
　13.6　項目1：預(yù)測汽車的燃油效率356
13.6.1　使用特征列357
13.6.2　訓(xùn)練DNN回歸模型360
　13.7　項目2：分類MNIST手寫數(shù)字362
XIX
　13.8　高級PyTorch API：PyTorch Lightning簡介364
13.8.1　構(gòu)建PyTorch Lightning模型365
13.8.2　為Lightning 設(shè)置數(shù)據(jù)加載器367
13.8.3　使用PyTorch Lightning Trainer類訓(xùn)練模型369
13.8.4　使用TensorBoard評估模型370
　13.9　本章小結(jié)373
第14章　使用深度卷積神經(jīng)網(wǎng)絡(luò)對圖像進(jìn)行分類374
　14.1　卷積神經(jīng)網(wǎng)絡(luò)的組成模塊374
14.1.1　了解卷積神經(jīng)網(wǎng)絡(luò)和層次特征375
14.1.2　離散卷積376
14.1.3　下采樣層383
XX
　14.2　構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)385
14.2.1　處理多個輸入通道385
14.2.2　使用L2范數(shù)和dropout對神經(jīng)網(wǎng)絡(luò)正則化388
14.2.3　分類任務(wù)的損失函數(shù)390
　14.3　使用PyTorch實現(xiàn)深度卷積神經(jīng)網(wǎng)絡(luò)392
14.3.1　多層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)392
14.3.2　數(shù)據(jù)加載和預(yù)處理393
14.3.3　使用torch.nn模塊實現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)394
　14.4　使用卷積神經(jīng)網(wǎng)絡(luò)對人臉圖像進(jìn)行微笑分類400
14.4.1　加載CelebA數(shù)據(jù)集400
14.4.2　圖像轉(zhuǎn)換和數(shù)據(jù)增廣401
14.4.3　訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)微笑分類器407
　14.5　本章小結(jié)413
第15章　用循環(huán)神經(jīng)網(wǎng)絡(luò)對序列數(shù)據(jù)建模415
　15.1　序列數(shù)據(jù)415
15.1.1　序列數(shù)據(jù)建模415
15.1.2　序列數(shù)據(jù)與時間序列數(shù)據(jù)416
15.1.3　序列數(shù)據(jù)的表示416
15.1.4　序列建模方法417
　15.2　用于序列數(shù)據(jù)建模的循環(huán)神經(jīng)網(wǎng)絡(luò)418
15.2.1　循環(huán)神經(jīng)網(wǎng)絡(luò)的循環(huán)機(jī)制418
15.2.2　循環(huán)神經(jīng)網(wǎng)絡(luò)激活值計算419
15.2.3　隱藏層循環(huán)與輸出層循環(huán)421
15.2.4　遠(yuǎn)距離學(xué)習(xí)面臨的問題424
15.2.5　長短期記憶網(wǎng)絡(luò)425
　15.3　在PyTorch中實現(xiàn)循環(huán)神經(jīng)網(wǎng)絡(luò)426
15.3.1　項目1：基于IMDb影評進(jìn)行情感分析427
15.3.2　項目2：在PyTorch中實現(xiàn)字符級語言建模437
　15.4　本章小結(jié)448
第16章　transformer：利用注意力機(jī)制改善自然語言處理效果449
　16.1　帶有注意力機(jī)制的循環(huán)神經(jīng)網(wǎng)絡(luò)449
16.1.1　幫助循環(huán)神經(jīng)網(wǎng)絡(luò)獲取信息的注意力機(jī)制450
16.1.2　循環(huán)神經(jīng)網(wǎng)絡(luò)中最初的注意力機(jī)制451
16.1.3　用雙向循環(huán)神經(jīng)網(wǎng)絡(luò)模型處理輸入數(shù)據(jù)452
16.1.4　根據(jù)上下文向量得到輸出452
16.1.5　計算注意力權(quán)重453
　16.2　自注意力機(jī)制453
16.2.1　自注意力機(jī)制的基本形式454
16.2.2　自注意力機(jī)制的參數(shù)化：縮放點積注意力457
　16.3　注意力是唯一需要的：最初的transformer460
16.3.1　通過多頭注意力編碼上下文嵌入向量460
16.3.2　學(xué)習(xí)語言模型：解碼器和掩碼多頭注意力464
16.3.3　實現(xiàn)細(xì)節(jié)：位置編碼和層歸一化465
　16.4　利用未標(biāo)注的數(shù)據(jù)構(gòu)建大型語言模型467
16.4.1　預(yù)訓(xùn)練和微調(diào)transformer模型467
16.4.2　使用未標(biāo)注數(shù)據(jù)的GPT模型469
16.4.3　使用GPT2生成新文本471
16.4.4　雙向預(yù)訓(xùn)練的BERT模型474
16.4.5　兩全其美的模型：BART476
　16.5　用PyTorch微調(diào)BERT模型478
16.5.1　加載IMDb影評數(shù)據(jù)集479
16.5.2　數(shù)據(jù)集分詞481
16.5.3　加載和微調(diào)預(yù)訓(xùn)練BERT模型482
16.5.4　使用Trainer API微調(diào)transformer486
　16.6　本章小結(jié)489
XXI
第17章　用于合成新數(shù)據(jù)的生成對抗網(wǎng)絡(luò)491
　17.1　生成對抗網(wǎng)絡(luò)491
17.1.1　自編碼器492
17.1.2　用于合成新數(shù)據(jù)的生成模型493
17.1.3　用生成對抗網(wǎng)絡(luò)生成新樣本494
17.1.4　理解生成對抗網(wǎng)絡(luò)模型中生成器和判別器網(wǎng)絡(luò)的損失函數(shù)495
　17.2　從零開始實現(xiàn)生成對抗網(wǎng)絡(luò)497
17.2.1　用谷歌Colab訓(xùn)練生成對抗網(wǎng)絡(luò)模型497
17.2.2　實現(xiàn)生成器和判別器網(wǎng)絡(luò)499
17.2.3　定義訓(xùn)練數(shù)據(jù)集502
17.2.4　訓(xùn)練生成對抗網(wǎng)絡(luò)模型504
　17.3　用卷積GAN和Wasserstein GAN提高生成圖像的質(zhì)量510
17.3.1　轉(zhuǎn)置卷積510
17.3.2　批歸一化511
17.3.3　實現(xiàn)生成器和判別器513
17.3.4　兩個分布之間的差異度度量520
17.3.5　在生成對抗網(wǎng)絡(luò)實踐中使用EM距離523
17.3.6　梯度懲罰523
17.3.7　使用WGANGP實現(xiàn)深度卷積生成對抗網(wǎng)絡(luò)524
17.3.8　模式坍塌527
　17.4　其他生成對抗網(wǎng)絡(luò)應(yīng)用529
　17.5　本章小結(jié)530
XXII
第18章　用于捕獲圖數(shù)據(jù)關(guān)系的圖神經(jīng)網(wǎng)絡(luò)531
　18.1　圖數(shù)據(jù)簡介531
18.1.1　無向圖532
18.1.2　有向圖533
18.1.3　標(biāo)簽圖533
18.1.4　將分子結(jié)構(gòu)表示為圖533
　18.2　理解圖卷積534
18.2.1　圖卷積的基本原理534
18.2.2　實現(xiàn)一個基本的圖卷積函數(shù)536
　18.3　用PyTorch從零開始實現(xiàn)圖神經(jīng)網(wǎng)絡(luò)540
18.3.1　定義NodeNetwork模型540
18.3.2　NodeNetwork圖卷積層編碼541
18.3.3　添加一個全局池化層處理大小不同的圖542
18.3.4　準(zhǔn)備數(shù)據(jù)加載工具545
18.3.5　使用NodeNetwork進(jìn)行預(yù)測548
18.3.6　使用PyTorch Geometric庫實現(xiàn)圖神經(jīng)網(wǎng)絡(luò)548
　18.4　其他圖神經(jīng)網(wǎng)絡(luò)層和最新的進(jìn)展554
18.4.1　譜圖卷積554
18.4.2　池化555
18.4.3　數(shù)據(jù)歸一化556
18.4.4　圖神經(jīng)網(wǎng)絡(luò)文獻(xiàn)557
　18.5　本章小結(jié)559
第19章　在復(fù)雜環(huán)境中做決策的強(qiáng)化學(xué)習(xí)560
　19.1　從經(jīng)驗中學(xué)習(xí)概述560
19.1.1　了解強(qiáng)化學(xué)習(xí)561
19.1.2　智能體與環(huán)境562
　19.2　強(qiáng)化學(xué)習(xí)的理論基礎(chǔ)563
19.2.1　馬爾可夫決策過程563
19.2.2　階段性任務(wù)與持續(xù)性任務(wù)566
19.2.3　強(qiáng)化學(xué)習(xí)術(shù)語566
19.2.4　使用貝爾曼方程的動態(tài)規(guī)劃569
　19.3　強(qiáng)化學(xué)習(xí)算法569
19.3.1　動態(tài)規(guī)劃570
19.3.2　蒙特卡羅強(qiáng)化學(xué)習(xí)572
19.3.3　時序差分學(xué)習(xí)573
　19.4　實現(xiàn)第一個強(qiáng)化學(xué)習(xí)算法575
19.4.1　OpenAI Gym工具包介紹575
19.4.2　用Q學(xué)習(xí)解決網(wǎng)格世界問題584
　19.5　深度Q學(xué)習(xí)概覽588
19.5.1　訓(xùn)練深度Q學(xué)習(xí)網(wǎng)絡(luò)模型589
19.5.2　實現(xiàn)深度Q學(xué)習(xí)算法591
　19.6　本章小結(jié)及本書總結(jié)595