增強學(xué)習與近似動態(tài)規(guī)劃

《智能科學(xué)技術(shù)著作叢書》序
前言
第1章 緒論
1.1 引言
1.2 增強學(xué)習與近似動態(tài)規(guī)劃的研究概況
1.2.1 增強學(xué)習研究的相關(guān)學(xué)科背景
1.2.2 增強學(xué)習算法的研究進展
1.2.3 增強學(xué)習的泛化方法與近似動態(tài)規(guī)劃
1.2.4 增強學(xué)習相關(guān)理論研究與多Agent增強學(xué)習
1.2.5 增強學(xué)習應(yīng)用的研究進展
1.3 移動機器人導(dǎo)航控制方法的研究現(xiàn)狀和發(fā)展趨勢
1.3.1 移動機器人體系結(jié)構(gòu)的研究進展
1.3.2 移動機器人反應(yīng)式導(dǎo)航方法的研究概況
1.3.3 移動機器人路徑跟蹤控制的研究概況
1.4 全書的組織結(jié)構(gòu)
參考文獻
第2章 線性時域差值學(xué)習理論與算法
2.1 Markov鏈與多步學(xué)習預(yù)測問題
2.1.1 Markov鏈的基礎(chǔ)理論
2.1.2 基于Markov鏈的多步學(xué)習預(yù)測問題
2.2 TD(λ)學(xué)習算法
2.2.1 表格型TD(λ)學(xué)習算法
2.2.2 基于值函數(shù)逼近的TD(λ)學(xué)習算法
2.3 多步遞推最小二乘TD學(xué)習算法及其收斂性理論
2.3.1 多步遞推最小二乘TD(RLS-TD(λ)學(xué)習算法
2.3.2 RLS-TD(λ)學(xué)習算法的一致收斂性分析
2.4 多步學(xué)習預(yù)測的仿真研究
2.4.1 HlopWorld問題學(xué)習預(yù)測仿真
2.4.2 連續(xù)狀態(tài)隨機行走問題的學(xué)習預(yù)測仿真
2.5 小結(jié)
參考文獻
第3章 基于核的時域差值學(xué)習算法
3.1 核方法與基于核的學(xué)習機器
3.1.1 核函數(shù)的概念與性質(zhì)
3.1.2 再生核Hilbert空間與核函數(shù)方法
3.2 核最小二乘時域差值學(xué)習算法
3.2.1 線性TD(λ)學(xué)習算法
3.2.2 KLS-TD(λ)學(xué)習算法
3.2.3 學(xué)習預(yù)測實驗與比較
3.3 小結(jié)
參考文獻
第4章 求解Markov決策問題的梯度增強學(xué)習算法
4.1 Markov決策過程與表格型增強學(xué)習算法
4.1.1 Markov決策過程及其最優(yōu)值函數(shù)
4.1.2 表格型增強學(xué)習算法及其收斂性理論
4.2 基于改進CMAC的直接梯度增強學(xué)習算法
4.2.1 CMAC的結(jié)構(gòu)
4.2.2 基于C2MAC的直接梯度增強學(xué)習算法
4.2.3 兩種改進的C2MAC編碼結(jié)構(gòu)及其應(yīng)用實例
4.3 基于值函數(shù)逼近的殘差梯度增強學(xué)習算法
4.3.1 多層前饋神經(jīng)網(wǎng)絡(luò)函數(shù)逼近器與已有的梯度增強學(xué)習算法
4.3.2 非平穩(wěn)策略殘差梯度(RGNP)增強學(xué)習算法
4.3.3 RGNP學(xué)習算法的收斂性和近似最優(yōu)策略性能的理論分析
4.3.4 Mountain-Car問題的仿真研究
4.3.5 Acrobot學(xué)習控制的仿真研究
4.4 求解連續(xù)行為空間Markov決策問題的快速AHC學(xué)習算法
4.4.1 AHC學(xué)習算法與Actor-Critic學(xué)習控制結(jié)構(gòu)
4.4.2 Fast-AHC學(xué)習算法
4.4.3 連續(xù)控制量條件下的倒立擺學(xué)習控制仿真研究
4.4.4 連續(xù)控制量條件下Acrobot系統(tǒng)的學(xué)習控制
4.5 小結(jié)
參考文獻
第5章 求解Markov決策問題的進化-梯度混合增強學(xué)習算法
5.1 進化計算的基本原理和方法
5.1.1 進化計算的基本原理和算法框架
5.1.2 進化算法的基本要素
5.1.3 進化算法的控制參數(shù)和性能評估
5.2 求解離散行為空間MDP的進化-梯度混合算法
5.2.1 HERG算法的設(shè)計要點
5.2.2 HERG算法的流程
5.2.3 HtERG算法的應(yīng)用實例：Mountain-Car學(xué)習控制問題
5.2.4 Acrobot系統(tǒng)的進化增強學(xué)習仿真
5.3 求解連續(xù)行為空間MDP的進化-梯度混合增強學(xué)習算法
5.3.1 進化AHC算法
5.3.2 連續(xù)控制量條件下Acrobot系統(tǒng)的進化增強學(xué)習仿真
5.4 小結(jié)
參考文獻
第6章 基于核的近似動態(tài)規(guī)劃算法與理論
6.1 增強學(xué)習與近似動態(tài)規(guī)劃的若干核心問題
6.2 基于核的近似策略迭代算法與收斂性理論
6.2.1 策略迭代與TD學(xué)習算法
6.2.2 核策略迭代算法KLSPI的基本框架
6.2.3 采用核稀疏化技術(shù)的KLSTD-Q時域差值算法
6.2.4 KLSPI算法的收斂性分析
6.3 核策略迭代算法的性能測試實驗研究
6.3.1 具有20個狀態(tài)的隨機Markov鏈問題
6.3.2 具有50個狀態(tài)的隨機Markov決策問題
6.3.3 隨機倒立擺學(xué)習控制問題
6.4 小結(jié)
參考文獻
第7章 基于增強學(xué)習的移動機器人反應(yīng)式導(dǎo)航方法
7.1 基于分層學(xué)習的移動機器人混合式體系結(jié)構(gòu)
7.2 基于增強學(xué)習的移動機器人反應(yīng)式導(dǎo)航體系結(jié)構(gòu)與算法
7.2.1 未知環(huán)境中移動機器人導(dǎo)航混合式體系結(jié)構(gòu)的具體設(shè)計
7.2.2 基于神經(jīng)網(wǎng)絡(luò)增強學(xué)習的反應(yīng)式導(dǎo)航算法
7.3 移動機器人增強學(xué)習導(dǎo)航的仿真和實驗研究
7.3.1 CIT-AVT-VI移動機器人平臺的傳感器系統(tǒng)與仿真實驗環(huán)境
7.3.2 增強學(xué)習導(dǎo)航的仿真研究
7.3.3 CIT-AVT-VI移動機器人的實時學(xué)習導(dǎo)航控制實驗
7.4 小結(jié)
參考文獻
第8章 RL與ADP在移動機器人運動控制中的應(yīng)用
8.1 基于增強學(xué)習的自適應(yīng)PID控制器
8.2 自動駕駛汽車的側(cè)向增強學(xué)習控制
8.2.1 自動駕駛汽車的動力學(xué)模型
8.2.2 用于自動駕駛汽車側(cè)向控制的增強學(xué)習PID控制器設(shè)計
8.2.3 自動駕駛汽車直線路徑跟蹤仿真
8.3 基于在線增強學(xué)習的室內(nèi)移動機器人路徑跟蹤控制
8.3.1 一類室內(nèi)移動機器人系統(tǒng)的運動學(xué)和動力學(xué)模型
8.3.2 增強學(xué)習路徑跟蹤控制器設(shè)計
8.3.3 參考路徑為直線時的仿真研究
8.3.4 參考路徑為圓弧時的仿真研究
8.3.5 CIT-AVT-VI移動機器人實時在線學(xué)習路徑跟蹤實驗
8.4 采用近似策略迭代的移動機器人學(xué)習控制方法研究
8.4.1 基于近似策略迭代的學(xué)習控制方法與仿真研究
8.4.2 基于P3-AT平臺的學(xué)習控制器設(shè)計
8.4.3 直線跟隨實驗
8.4.4 曲線跟隨實驗
8.5 小結(jié)
參考文獻
第9章 總結(jié)與展望