遷移學習導論

目錄
第一部分背景與概念
第1 章緒論3
1.1 遷移學習3
1.2 相關研究領域 6
1.3 遷移學習的必要性8
1.3.1 大數(shù)據(jù)與少標注之間的矛盾 8
1.3.2 大數(shù)據(jù)與弱計算能力的矛盾 8
1.3.3 有限數(shù)據(jù)與模型泛化能力的矛盾 9
1.3.4 普適化模型與個性化需求的矛盾 9
1.3.5 特定應用的需求10
1.4 遷移學習的研究領域 11
1.4.1 按特征空間分類12
1.4.2 按目標域有無標簽分類 12
1.4.3 按學習方法分類12
1.4.4 按離線與在線形式分類 13
1.5 遷移學習的應用14
1.5.1 計算機視覺14
1.5.2 自然語言處理 15
1.5.3 普適計算與人機交互16
1.5.4 醫(yī)療健康17
1.6 學術會議和工業(yè)界中的遷移學習 18

第2 章從機器學習到遷移學習21
2.1 機器學習及基本概念 21
2.2 結構風險最小化22
2.3 數(shù)據(jù)的概率分布23
2.4 概念與符號25
2.5 遷移學習的問題定義 26

第3 章遷移學習基本問題29
3.1 何處遷移30
3.2 何時遷移32
3.3 如何遷移32
3.4 失敗的遷移：負遷移 33
3.5 完整的遷移學習過程 35

第二部分方法與技術

第4 章遷移學習方法總覽39
4.1 遷移學習總體思路39
4.2 分布差異的度量40
4.2.1 百花齊放的遷移學習分布度量41
4.2.2 分布差異的統(tǒng)一表征42
4.2.3 分布自適應因子的計算 44
4.3 遷移學習統(tǒng)一表征45
4.3.1 樣本權重遷移法46
4.3.2 特征變換遷移法47
4.3.3 模型預訓練遷移法 48
4.3.4 小結 48
4.4 上手實踐48
4.4.1 數(shù)據(jù)準備49
4.4.2 基準模型構建：KNN 51
4.5 遷移學習理論 53
4.5.1 概念與符號54
4.5.2 基于H-divergence 的理論分析 54
4.5.3 基于HΔH-distance 的理論分析55
4.5.4 基于差異距離的理論分析57
4.5.5 結合標簽函數(shù)差異的理論分析58

第5 章樣本權重遷移法 59
5.1 問題定義59
5.1.1 樣本權重遷移法的可行性分析59
5.1.2 形式化定義60
5.2 基于樣本選擇的方法 61
5.2.1 基于非強化學習的樣本選擇法62
5.2.2 基于強化學習的樣本選擇法 63
5.3 基于權重自適應的方法 64
5.4 上手實踐66
5.5 小結68

第6 章統(tǒng)計特征變換遷移法 69
6.1 問題定義69
6.2 最大均值差異法70
6.2.1 基本概念70
6.2.2 基于最大均值差異的遷移方法72
6.2.3 求解與計算75
6.2.4 應用與擴展76
6.3 度量學習法78
6.3.1 從預定義的距離到可學習的距離 78
6.3.2 度量學習及其形式化79
6.3.3 基于度量學習的遷移學習80
6.4 上手實踐81
6.4.1 算法精煉81
6.4.2 編寫代碼82
6.5 小結84

第7 章幾何特征變換遷移法 85
7.1 問題定義85
7.2 子空間變換法 86
7.3 流形學習法87
7.3.1 流形學習87
7.3.2 基于流形學習的遷移學習方法88
7.4 最優(yōu)傳輸法91
7.4.1 最優(yōu)傳輸91
7.4.2 基于最優(yōu)傳輸法的遷移學習方法 92
7.5 上手實踐94
7.6 小結97

第8 章預訓練方法99
8.1 深度網(wǎng)絡的可遷移性 99
8.2 預訓練–微調(diào)102
8.3 預訓練方法的有效性分析105
8.4 自適應的預訓練方法 106
8.5 重新思考預訓練模型的使用 108
8.6 上手實踐110
8.7 小結113

第9 章深度遷移學習115
9.1 總體思路116
9.2 深度遷移學習的網(wǎng)絡結構117
9.2.1 單流結構118
9.2.2 雙流結構118
9.3 數(shù)據(jù)分布自適應的深度遷移學習方法120
9.3.1 邊緣分布自適應120
9.3.2 條件、聯(lián)合與動態(tài)分布自適應121
9.4 結構自適應的深度遷移學習方法 122
9.4.1 批歸一化123
9.4.2 批歸一化用于遷移學習 123
9.4.3 基于多表示學習的遷移網(wǎng)絡結構 124
9.5 知識蒸餾125
9.6 上手實踐127
9.6.1 網(wǎng)絡結構127
9.6.2 損失 129
9.6.3 訓練 131
9.6.4 測試 132
9.7 小結133

第10 章對抗遷移學習135
10.1 生成對抗網(wǎng)絡 135
10.2 對抗遷移學習基本思路 136
10.3 數(shù)據(jù)分布自適應的對抗遷移方法137
10.4 基于信息解耦的對抗遷移方法 140
10.5 基于數(shù)據(jù)生成的對抗遷移方法 141
10.6 上手實踐 142
10.6.1 領域判別器143
10.6.2 分布差異計算 143
10.6.3 梯度反轉層144
10.7 小結 145

第11 章遷移學習熱門研究問題 147
11.1 類別不均衡的遷移學習 148
11.2 多源遷移學習 150
11.3 開放集遷移學習153
11.4 時間序列的遷移學習154
11.5 聯(lián)邦遷移學習 158
11.5.1 聯(lián)邦學習158
11.5.2 聯(lián)邦遷移學習 160
11.6 基于因果關系的遷移學習161
11.6.1 什么是因果關系161
11.6.2 因果關系與遷移學習163
11.7 自動遷移學習 168
11.8 在線遷移學習 171

第三部分擴展與探索

第12 章領域泛化177
12.1 領域泛化問題 177
12.1.1 背景177
12.1.2 問題定義179
12.1.3 常用方法180
12.2 基于數(shù)據(jù)分布自適應的方法181
12.2.1 領域無關成分分析DICA181
12.2.2 深度數(shù)據(jù)分布自適應183
12.3 基于解耦的方法184
12.4 基于集成模型的方法186
12.5 基于數(shù)據(jù)生成的方法187
12.5.1 領域隨機法187
12.5.2 對抗數(shù)據(jù)生成 188
12.6 基于元學習的方法 190
12.7 小結 191

第13 章元學習193
13.1 元學習簡介193
13.1.1 問題背景193
13.1.2 元學習 194
13.2 基于模型的元學習方法 196
13.3 基于度量的元學習方法 198
13.4 基于優(yōu)化的元學習方法 199
13.5 元學習的應用與挑戰(zhàn)201
13.5.1 應用201
13.5.2 現(xiàn)存的挑戰(zhàn)202
13.6 小結 202

第14 章遷移學習模型選擇205
14.1 模型選擇 205
14.2 基于密度估計的模型選擇206
14.3 遷移交叉驗證 207
14.4 小結 208

第四部分應用與展望

第15 章遷移學習的應用211
15.1 計算機視覺212
15.2 自然語言處理 214
15.3 語音識別與合成216
15.4 普適計算與人機交互218
15.5 醫(yī)療健康領域 220
15.6 其他應用 223
15.7 小結 225

第16 章遷移學習前沿227
16.1 融合人類經(jīng)驗的遷移227
16.2 遷移強化學習 228
16.3 遷移學習的可解釋性228
16.4 遷移學習系統(tǒng) 229

附錄A231
A.1 常用度量準則 231
A.1.1 常見的幾種距離231
A.1.2 余弦相似度232
A.1.3 互信息 232
A.1.4 相關系數(shù)232
A.1.5 KL 散度與JS 距離233
A.1.6 最大均值差異MMD 233
A.1.7 Principal Angle 234
A.1.8 A-distance234
A.1.9 希爾伯特–施密特獨立性系數(shù)234
A.1.10 Wasserstein Distance234
A.2 遷移學習常用數(shù)據(jù)集235
A.2.1 手寫體識別圖像數(shù)據(jù)集 235
A.2.2 對象識別數(shù)據(jù)集236
A.2.3 圖像分類數(shù)據(jù)集237
A.2.4 通用文本分類數(shù)據(jù)集237
A.2.5 行為識別公開數(shù)據(jù)集238
A.3 本書相關資源 238
參考文獻241