數(shù)據(jù)驅動的進化優(yōu)化

第1章最優(yōu)化導論
1．1優(yōu)化的定義
1．1．1數(shù)學模型
1．1．2凸優(yōu)化
1．1．3擬凸函數(shù)
1．1．4全局和局部最優(yōu)
1．2優(yōu)化問題的類型
1．2．1連續(xù)與離散優(yōu)化
1．2．2無約束優(yōu)化與約束優(yōu)化
1．2．3單目標優(yōu)化與多目標優(yōu)化
1．2．4確定性優(yōu)化與隨機性優(yōu)化
1．2．5黑盒優(yōu)化和數(shù)據(jù)驅動的優(yōu)化
1．3多目標優(yōu)化
1．3．1數(shù)學模型
1．3．2Pareto最優(yōu)性
1．3．3偏好建模
1．3．4偏好表示
1．4優(yōu)化中不確定性的處理
1．4．1評價中的噪聲
1．4．2魯棒優(yōu)化
1．4．3多場景優(yōu)化
1．4．4動態(tài)優(yōu)化
1．4．5時域魯棒優(yōu)化
1．5優(yōu)化算法的對比
1．5．1算法效率
1．5．2性能指標
1．5．3可靠性評價
1．5．4統(tǒng)計測試
1．5．5基準問題
1．6總結
第2章經(jīng)典優(yōu)化算法
2．1無約束優(yōu)化
2．1．1梯度法
2．1．2牛頓法
2．1．3擬牛頓法
2．2約束優(yōu)化
2．2．1懲罰函數(shù)法和障礙函數(shù)法
2．2．2拉格朗日乘子法
2．3無梯度搜索方法
2．3．1線搜索和模式搜索
2．3．2NelderMead單純形法
2．3．3基于模型的無梯度搜索方法
2．4確定性全局優(yōu)化
2．4．1基于Lipschitz的方法
2．4．2DIRECT算法
2．5總結
第3章進化和群智能優(yōu)化
3．1引言
3．2遺傳算法
3．2．1定義
3．2．2表示
3．2．3交叉和變異
3．2．4環(huán)境選擇
3．3實數(shù)編碼的遺傳算法
3．3．1實值表示
3．3．2混合交叉
3．3．3模擬二進制交叉和多項式變異
3．4進化策略
3．4．1(1 1)ES
3．4．2基于全局步長的進化策略
3．4．3基于個體步長大小的進化策略
3．4．4繁殖與環(huán)境選擇
3．4．5協(xié)方差矩陣自適應進化策略
3．5遺傳規(guī)劃
3．5．1基于樹結構的遺傳規(guī)劃
3．5．2初始化
3．5．3交叉與變異
3．6蟻群優(yōu)化算法
3．6．1整體框架
3．6．2擴展應用
3．7差分進化算法
3．7．1初始化
3．7．2差分變異
3．7．3差分交叉 
3．7．4環(huán)境選擇
3．8粒子群優(yōu)化算法
3．8．1傳統(tǒng)的粒子群優(yōu)化算法
3．8．2競爭粒子群優(yōu)化器
3．8．3社會學習粒子群優(yōu)化器
3．9模因算法
3．9．1基本概念
3．9．2拉馬克方法和鮑德溫方法
3．9．3多目標模因算法
3．9．4鮑德溫效應與隱藏效應
3．10分布估計算法
3．10．1一個簡單的EDA
3．10．2求解離散優(yōu)化問題的EDA
3．10．3求解連續(xù)優(yōu)化問題的EDA
3．10．4多目標EDA
3．11參數(shù)自適應和算法選擇
3．11．1自動參數(shù)調(diào)優(yōu)
3．11．2超啟發(fā)式算法
3．11．3適應度地形分析
3．11．4自動推薦系統(tǒng)
3．12總結 
第4章機器學習簡介
4．1機器學習問題
4．1．1聚類
4．1．2維度約減
4．1．3回歸
4．1．4分類
4．2機器學習模型
4．2．1多項式回歸模型
4．2．2多層感知機
4．2．3徑向基函數(shù)網(wǎng)絡
4．2．4支持向量機
4．2．5高斯過程
4．2．6決策樹
4．2．7模糊規(guī)則系統(tǒng)
4．2．8集成模型
4．3學習算法
4．3．1監(jiān)督學習
4．3．2無監(jiān)督學習
4．3．3強化學習
4．3．4高階學習算法
4．4多目標機器學習
4．4．1單目標與多目標學習
4．4．2多目標聚類、特征選擇和特征提取
4．4．3多目標集成模型生成
4．5深度學習模型
4．5．1卷積神經(jīng)網(wǎng)絡
4．5．2長短期記憶網(wǎng)絡
4．5．3自關聯(lián)神經(jīng)網(wǎng)絡和自編碼器
4．5．4生成對抗網(wǎng)絡
4．6進化與學習的協(xié)同作用
4．6．1進化學習
4．6．2基于學習的進化優(yōu)化
4．7小結
第5章數(shù)據(jù)驅動的代理模型輔助的進化優(yōu)化
5．1引言
5．2離線與在線數(shù)據(jù)驅動的優(yōu)化
5．2．1離線數(shù)據(jù)驅動的優(yōu)化
5．2．2在線數(shù)據(jù)驅動的優(yōu)化
5．3在線代理模型管理方法
5．3．1基于種群的模型管理
5．3．2基于世代的模型管理
5．3．3基于個體的模型管理
5．3．4模因算法中的信任域方法
5．4貝葉斯模型管理
5．4．1獲取函數(shù)
5．4．2進化貝葉斯優(yōu)化
5．4．3貝葉斯進化優(yōu)化
5．5貝葉斯約束優(yōu)化
5．5．1約束優(yōu)化的獲取函數(shù)
5．5．2兩階段獲取函數(shù)
5．6代理模型輔助的魯棒性優(yōu)化
5．6．1魯棒性優(yōu)化的雙目標公式
5．6．2代理模型的構建
5．7模型的性能指標
5．7．1精度
5．7．2基于選擇的性能指標
5．7．3等級相關性
5．7．4適應度相關性
5．8總結
第6章多代理模型輔助的單目標優(yōu)化
6．1引言
6．2局部和全局代理模型輔助優(yōu)化
6．2．1集成代理模型
6．2．2多代理模型的單目標模因優(yōu)化
6．2．3多代理模型的多目標模因優(yōu)化
6．2．4信任域方法輔助的局部搜索
6．2．5實驗結果
6．3雙層代理模型輔助粒子群算法
6．3．1全局代理模型
6．3．2局部代理模型
6．3．3適應度評估
6．3．4代理模型管理
6．3．5實驗結果和討論
6．4代理模型委員會輔助的粒子群優(yōu)化
6．4．1代理模型委員會
6．4．2填充采樣準則
6．4．3整體框架
6．4．4基準問題的實驗結果
6．5分層代理模型輔助的多場景優(yōu)化
6．5．1多場景翼型優(yōu)化
6．5．2多場景優(yōu)化中的分層代理模型
6．6自適應代理模型選擇
6．6．1基本思路
6．6．2選擇代理模型的概率模型
6．7小結
第7章代理模型輔助的多目標進化優(yōu)化
7．1進化多目標優(yōu)化
7．1．1假設和方法論
7．1．2基于分解的方法
7．1．3基于支配關系的方法
7．1．4基于性能指標的方法
7．2高斯過程輔助隨機加權聚合方法
7．2．1代理模型輔助多目標優(yōu)化的挑戰(zhàn)
7．2．2高效全局優(yōu)化方法
7．2．3多目標優(yōu)化的擴展
7．3高斯過程輔助的基于分解的多目標優(yōu)化
7．3．1MOEA/D
7．3．2主要框架
7．3．3局部代理模型
7．3．4代理模型管理
7．3．5討論
7．4高維多目標貝葉斯優(yōu)化
7．4．1主要挑戰(zhàn)
7．4．2異構集成模型構建
7．4．3基于Pareto的多目標貝葉斯優(yōu)化方法
7．4．4整體框架
7．5小結
第8章代理模型輔助的高維多目標進化優(yōu)化
8．1高維多目標優(yōu)化中的新挑戰(zhàn)
8．1．1引言
8．1．2多樣性與偏好
8．1．3拐點搜索
8．1．4求解非規(guī)則Pareto前沿面問題
8．2進化高維多目標進化優(yōu)化算法
8．2．1參考向量引導的高維多目標優(yōu)化
8．2．2拐點驅動的高維多目標優(yōu)化算法
8．2．3雙存檔高維多目標優(yōu)化算法
8．2．4高維多目標優(yōu)化中的角排序
8．3高斯過程輔助的參考向量引導的高維多目標優(yōu)化
8．3．1模型管理
8．3．2存檔維持
8．4分類代理模型輔助的高維多目標優(yōu)化
8．4．1主要框架
8．4．2基于徑向投影選擇
8．4．3基于參考集的支配關系預測
8．4．4代理模型管理
8．4．5代理模型輔助的環(huán)境選擇
8．5dropout神經(jīng)網(wǎng)絡輔助的高維多目標優(yōu)化
8．5．1ARMOEA
8．5．2高效深度dropout神經(jīng)網(wǎng)絡
8．5．3模型管理
8．5．4EDNARMOEA整體框架
8．5．5原油蒸餾裝置的操作優(yōu)化
8．6小結
第9章數(shù)據(jù)驅動進化優(yōu)化中的知識遷移
9．1引言
9．2基于協(xié)同訓練的代理模型輔助交互式優(yōu)化
9．2．1總體框架
9．2．2區(qū)間預測的代理模型
9．2．3適應度評估
9．2．4iCSSL
9．2．5模型管理
9．3半監(jiān)督學習輔助粒子群優(yōu)化
9．3．1算法框架
9．3．2社會學習粒子群優(yōu)化
9．3．3模型管理策略
9．3．4未標記數(shù)據(jù)的選擇
9．3．5實驗結果與討論
9．4多目標優(yōu)化中問題之間的知識遷移
9．4．1遷移學習的領域自適應
9．4．2從廉價到昂貴問題的知識遷移
9．4．3用于數(shù)據(jù)增強的CEBDA
9．4．4進化多目標貝葉斯優(yōu)化
9．5多目標優(yōu)化中目標之間的知識遷移
9．5．1動機
9．5．2基于參數(shù)的遷移學習
9．5．3算法框架
9．6數(shù)據(jù)驅動的多精度遷移優(yōu)化
9．6．1雙精度優(yōu)化中的遷移學習
9．6．2遷移堆疊
9．6．3代理模型輔助的雙精度進化優(yōu)化
9．6．4實驗結果
9．7代理模型輔助的多任務多場景優(yōu)化
9．7．1多場景minimax優(yōu)化
9．7．2代理模型輔助的minimax多因子進化優(yōu)化
9．7．3實驗結果
9．8小結
第10章代理模型輔助的高維進化優(yōu)化
10．1代理模型輔助的協(xié)同優(yōu)化求解高維問題
10．1．1RBF 輔助的 SLPSO
10．1．2FES 輔助的 PSO
10．1．3存檔更新
10．1．4實驗結果和分析
10．2高維優(yōu)化中的多目標填充準則
10．2．1主要框架
10．2．2多目標填充準則
10．2．3實驗結果和分析
10．3針對昂貴問題的多模型多任務優(yōu)化
10．3．1多因子進化算法
10．3．2主要框架
10．3．3全局和局部代理模型
10．3．4基于全局和局部代理模型的多任務優(yōu)化
10．3．5實驗結果和分析
10．4隨機特征選擇下代理模型輔助的大規(guī)模優(yōu)化
10．4．1主要框架
10．4．2子問題的形成與優(yōu)化
10．4．3全局最優(yōu)位置的更新
10．4．4實驗結果和分析
10．5小結
第11章離線大或小數(shù)據(jù)驅動的優(yōu)化及應用
11．1離線急救系統(tǒng)大數(shù)據(jù)驅動優(yōu)化的自適應聚類
11．1．1問題建模
11．1．2用于離線數(shù)據(jù)驅動優(yōu)化的自適應聚類
11．1．3實驗結果
11．1．4討論
11．2小數(shù)據(jù)驅動多目標鎂爐優(yōu)化
11．2．1基于全局代理的模型管理
11．2．2基準問題的驗證實驗
11．2．3電熔鎂爐優(yōu)化
11．3面向離線翼型優(yōu)化的選擇性集成模型
11．3．1問題建模
11．3．2離線數(shù)據(jù)驅動優(yōu)化的選擇性集成模型
11．3．3對比實驗結果
11．4離線數(shù)據(jù)驅動的選礦過程優(yōu)化中的知識遷移
11．4．1引言
11．4．2多代理模型優(yōu)化的知識遷移
11．4．3基于參考向量的最終解選擇
11．4．4選礦工藝優(yōu)化
11．5離線動態(tài)數(shù)據(jù)驅動優(yōu)化中的遷移學習
11．5．1動態(tài)數(shù)據(jù)驅動的優(yōu)化
11．5．2用于增量學習的數(shù)據(jù)流集成模型
11．5．3基于集成的遷移優(yōu)化
11．5．4用于最終解選擇的支持向量域描述
11．5．5實驗結果
11．6小結
第12章代理模型輔助進化神經(jīng)架構搜索
12．1神經(jīng)網(wǎng)絡架構搜索的挑戰(zhàn)
12．1．1架構表示
12．1．2搜索策略
12．1．3性能評估
12．2神經(jīng)網(wǎng)絡架構搜索中的貝葉斯優(yōu)化
12．2．1架構編碼
12．2．2核函數(shù)
12．2．3討論
12．3隨機森林輔助的神經(jīng)架構搜索
12．3．1塊式架構表示法
12．3．2離線數(shù)據(jù)產(chǎn)生
12．3．3隨機森林構建
12．3．4搜索方法
12．3．5實驗結果
12．4小結
參考文獻