聯(lián)邦學習

第Ⅰ部分  聯(lián)邦學習概述及其作為
機器學習方法的問題
第1章  聯(lián)邦學習介紹   3
1.1　概述   3
1.2　概念與術語   5
1.3　機器學習視角   7
1.3.1  深度神經(jīng)網(wǎng)絡   7
1.3.2　經(jīng)典機器學習模型   9
1.3.3  橫向聯(lián)邦學習、縱向
聯(lián)邦學習和拆分學習   11
1.3.4  模型個性化   12
1.4　安全和隱私   13
1.4.1  操縱攻擊   14
1.4.2  推斷攻擊   15
1.5　聯(lián)邦學習系統(tǒng)   16
1.6　本章小結(jié)   18
第2章  采用基于樹的模型的聯(lián)邦
學習系統(tǒng)   25
2.1　介紹   25
2.1.1  基于樹的模型   26
2.1.2  聯(lián)邦學習中基于樹的
模型的關鍵研究挑戰(zhàn)   27
2.1.3  聯(lián)邦學習中基于樹的
模型的優(yōu)勢   27
2.2　基于樹的聯(lián)邦學習方法
綜述   28
2.2.1  橫向與縱向聯(lián)邦
學習   29
2.2.2  聯(lián)邦學習中基于樹的
算法類型   30
2.2.3  基于樹的聯(lián)邦學習的
安全需求   30
2.2.4  聯(lián)邦學習中基于樹的
模型的實現(xiàn)   31
2.3　決策樹和梯度提升的初步
探討   31
2.3.1  聯(lián)邦學習系統(tǒng)   31
2.3.2  集中式ID3模型初探   32
2.3.3  梯度提升初探   33
2.4　用于聯(lián)邦學習的決策樹   34
2.5　用于聯(lián)邦學習的
XGBoost   37
2.6　開放性問題及未來研究
方向   41
2.6.1  數(shù)據(jù)保真度閾值策略   41
2.6.2  基于樹的聯(lián)邦學習
模型的公平性和偏差
緩解方法   41
2.6.3  在其他網(wǎng)絡拓撲上訓練
基于樹的聯(lián)邦學習
模型   41
2.7　本章小結(jié)   42
第3章  語義向量化：基于文本和
圖的模型   47
3.1　介紹   47
3.2　背景   48
3.2.1  自然語言處理   48
3.2.2  文本向量化器   49
3.2.3  圖向量化器   50
3.3　問題表述   51
3.3.1  共同學習   51
3.3.2  向量空間映射   52
3.4　實驗與設置   54
3.4.1  數(shù)據(jù)集   54
3.4.2  實現(xiàn)   55
3.5　結(jié)果：共同學習   55
3.6　結(jié)果：向量空間映射   57
3.6.1  余弦距離   57
3.6.2  排名相似度   58
3.7　本章小結(jié)   58
第4章  聯(lián)邦學習中的個性化   63
4.1　介紹   63
4.2　個性化的第一步   65
4.2.1  對全局模型進行個性化
微調(diào)   65
4.2.2  作為一階元學習方法的
聯(lián)邦平均   65
4.3　個性化策略   66
4.3.1  客戶端(參與方)聚類   67
4.3.2  客戶端語境化   68
4.3.3  數(shù)據(jù)增強   70
4.3.4  蒸餾   70
4.3.5  元學習方法   71
4.3.6  模型混合   72
4.3.7  模型正則化   74
4.3.8  多任務學習   76
4.4　個性化技術的基準   77
4.4.1  合成聯(lián)邦數(shù)據(jù)集   77
4.4.2  模擬聯(lián)邦數(shù)據(jù)集   77
4.4.3  公共聯(lián)邦數(shù)據(jù)集   78
4.5　偶然參數(shù)問題   79
4.6　本章小結(jié)   80
第5章  使用Fed 進行個性化的魯
棒聯(lián)邦學習   87
5.1　介紹   87
5.2　文獻綜述   88
5.3　聯(lián)邦學習訓練失敗的
示例   89
5.4　個性化聯(lián)邦學習   91
5.4.1  問題表述   91
5.4.2  處理魯棒聚合   92
5.4.3  個性化   93
5.4.4  均值與魯棒聚合的重
組與統(tǒng)一   93
5.4.5  Fed 算法   95
5.4.6　Fed 的均值和魯棒
變體   95
5.4.7  從Fed 推導現(xiàn)有算法 97
5.5　Fed 的固定點   97
5.6　收斂性分析   100
5.7　實驗   103
5.7.1  數(shù)據(jù)集   103
5.7.2  結(jié)果   104
5.8　本章小結(jié)   105
第6章  通信高效的分布式優(yōu)化
算法   109
6.1　介紹   109
6.2　本地更新SGD和
FedAvg   111
6.2.1  本地更新SGD及其
變體   111
6.2.2  FedAvg算法及其
變體   114
6.3　模型壓縮   116
6.3.1  帶有壓縮更新的
SGD   116
6.3.2  自適應壓縮率   120
6.3.3  模型剪枝   121
6.4　本章小結(jié)   121
第7章  通信高效的模型融合 127
7.1　介紹   127
7.2　模型的置換不變結(jié)構(gòu)   128
7.2.1  匹配平均的一般
表述   129
7.2.2  求解匹配平均   130
7.3　概率聯(lián)邦神經(jīng)匹配   131
7.3.1  PFNM生成過程   131
7.3.2  PFNM推理   132
7.3.3  實踐中的PFNM   135
7.4　帶有SPAHM的無監(jiān)督
聯(lián)邦學習   136
7.4.1  SPAHM模型   137
7.4.2  SPAHM推理   137
7.4.3  實踐中的SPAHM   138
7.5　后驗分布的模型融合   140
7.5.1  KL散度下的模型
融合   140
7.5.2  實踐中的KL-fusion  142
7.6　低通信預算的深度神經(jīng)
網(wǎng)絡融合   143
7.6.1  將PFNM擴展到深度
神經(jīng)網(wǎng)絡   144
7.6.2  實踐中的FedMA   146
7.7　模型融合的理論理解   147
7.7.1  預備知識：參數(shù)化
模型   147
7.7.2  聯(lián)邦設置中模型融合的
優(yōu)點和缺點   149
7.8　本章小結(jié)   150
第8章  聯(lián)邦學習與公平性   155
8.1　介紹   155
8.2　預備知識和現(xiàn)有的緩解
方法   156
8.2.1  符號和術語   156
8.2.2  偏差緩解方法的
類型   157
8.2.3  數(shù)據(jù)隱私和偏差   157
8.3　偏差來源   158
8.3.1  集中式和聯(lián)邦式的
原因   158
8.3.2  聯(lián)邦學習的特定
原因   159
8.4　文獻探究   160
8.4.1  集中式方法   160
8.4.2  聯(lián)邦學習采用集中式
方法   162
8.4.3  沒有敏感屬性的偏差
緩解   163
8.5　衡量偏差   164
8.6　未解決的問題   164
8.7  本章小結(jié)   165
第Ⅱ部分  系統(tǒng)和框架
第9章  聯(lián)邦學習系統(tǒng)介紹   171
9.1　介紹   171
9.2　跨設備聯(lián)邦學習與跨孤島
聯(lián)邦學習   172
9.3　跨設備聯(lián)邦學習   173
9.3.1  問題表述   173
9.3.2  系統(tǒng)概述   174
9.3.3  訓練過程   175
9.3.4  挑戰(zhàn)   176
9.4　跨孤島聯(lián)邦學習   178
9.4.1  問題表述   178
9.4.2  系統(tǒng)概述   178
9.4.3  訓練過程   179
9.4.4  挑戰(zhàn)   180
9.5　本章小結(jié)   182
第10章  聯(lián)邦學習系統(tǒng)的本地
訓練和可擴展性   187
10.1　參與方本地訓練   187
10.1.1  計算資源   187
10.1.2  內(nèi)存   188
10.1.3  能量   189
10.1.4  網(wǎng)絡   190
10.2　大規(guī)模聯(lián)邦學習系統(tǒng)   192
10.2.1  聚類聯(lián)邦學習   192
10.2.2  分層聯(lián)邦學習   194
10.2.3  去中心化聯(lián)邦
學習   197
10.2.4  異步聯(lián)邦學習   199
10.3　本章小結(jié)   201
第11章  掉隊者管理   205
11.1　介紹   205
11.2　異構(gòu)性影響研究   206
11.2.1  制定標準的聯(lián)邦
學習   206
11.2.2  異構(gòu)性影響分析   207
11.2.3  實驗研究   208
11.3　TiFL的設計   209
11.3.1  系統(tǒng)概述   209
11.3.2  分析和分層   210
11.3.3  稻草人提議：靜態(tài)層
選擇算法   211
11.3.4  自適應層選擇
算法   211
11.3.5  訓練時間估計
模型   213
11.4　實驗評估   214
11.4.1  實驗設置   214
11.4.2  資源異構(gòu)性   217
11.4.3  數(shù)據(jù)異構(gòu)性   218
11.4.4  資源加數(shù)據(jù)
異構(gòu)性   219
11.4.5  自適應選擇策略   221
11.4.6  TiFL的評估   222
11.5　本章小結(jié)   223
第12章  聯(lián)邦學習中的系統(tǒng)
偏差   227
12.1　介紹   227
12.2　背景   228
12.2.1  機器學習中的
公平性   229
12.2.2  聯(lián)邦學習中的
公平性   229
12.2.3  聯(lián)邦學習中的資源
使用   229
12.3　特性研究   230
12.3.1  性能指標   230
12.3.2  公平性與訓練時間的
權(quán)衡   231
12.3.3  參與方退出對公平性
和模型誤差的
影響   232
12.3.4  成本與模型誤差的
權(quán)衡   232
12.4　方法論   233
12.4.1  問題表述   233
12.4.2  DCFair概述   234
12.4.3  選擇概率   234
12.4.4  選擇互惠性   235
12.5　評估   236
12.5.1  成本分析   237
12.5.2  模型誤差與公平性
分析   237
12.5.3  訓練時間分析   238
12.5.4  帕累托最優(yōu)性
分析   239
12.6　本章小結(jié)   240
第Ⅲ部分  隱私和安全
第13章  聯(lián)邦學習中應對隱私威脅
的防御措施   247
13.1　介紹   247
13.2　系統(tǒng)實體、攻擊面和推斷
攻擊   249
13.2.1  系統(tǒng)設置、假設和
攻擊面   250
13.2.2  潛在對手   250
13.2.3  聯(lián)邦學習中的推斷
攻擊   251
13.3　減輕聯(lián)邦學習中的推斷
威脅   256
13.3.1  安全聚合方法   258
13.3.2  句法和擾動方法   262
13.3.3  可信執(zhí)行環(huán)境   264
13.3.4  其他分布式機器
學習和縱向聯(lián)邦
學習技術   265
13.4　選擇合適的防御措施   265
13.4.1  完全可信的聯(lián)邦   265
13.4.2  確保聚合器可信   266
13.4.3  聚合器不可信的
聯(lián)邦   266
13.5　本章小結(jié)   267
第14章  聯(lián)邦學習中的隱私參數(shù)
聚合   277
14.1　介紹   277
14.2　重點、信任模型和
假設   278
14.3　差分隱私聯(lián)邦學習   279
14.3.1  差分隱私的背景
知識   279
14.3.2  將差分隱私應用于
SGD   280
14.3.3  實驗和討論   281
14.4　加法同態(tài)加密   283
14.4.1  參與方、學習器和
管理域   284
14.4.2  架構(gòu)   284
14.4.3  MYSTIKO算法   285
14.4.4  一個管理域內(nèi)有多個
學習器   288
14.5　可信執(zhí)行環(huán)境   289
14.6　基于HE和TEE的聚合
與SMC的比較   291
14.6.1  MYSTIKO和SPDZ
的比較   291
14.6.2  使用TEE的開銷：
AMD SEV   293
14.7　本章小結(jié)   293
第15章  聯(lián)邦學習中的數(shù)據(jù)
泄露   299
15.1　介紹   299
15.1.1  動機   299
15.1.2  背景及相關研究   300
15.1.3  隱私保護   302
15.2　聯(lián)邦學習中的數(shù)據(jù)泄露
攻擊   305
15.3　性能評估   310
15.3.1  實驗設置和數(shù)據(jù)集  310
15.3.2  HFL設置中的
CAFE   311
15.3.3  VFL設置中的
CAFE   314
15.3.4  在聯(lián)邦學習訓練
過程中攻擊   314
15.3.5  消融實驗   315
15.4　本章小結(jié)   317
15.4.1  CAFE小結(jié)   317
15.4.2  相關討論   317
第16章  聯(lián)邦學習中的安全性和
魯棒性   323
16.1　介紹   323
16.2　聯(lián)邦學習中的威脅   324
16.2.1  攻擊者的類型   325
16.2.2  攻擊者的能力   326
16.2.3  攻擊者的目標   327
16.2.4  攻擊者的了解
程度   328
16.2.5  攻擊策略   329
16.3　防御策略   329
16.3.1  防御收斂攻擊   331
16.3.2  基于參與方的時間
一致性的防御   334
16.3.3  基于冗余的防御   336
16.4　攻擊   336
16.4.1  收斂攻擊   337
16.4.2  針對性的模型
投毒   339
16.5　本章小結(jié)   340
第17章  處理神經(jīng)網(wǎng)絡中的
拜占庭威脅   347
17.1　背景和動機   347
17.1.1  拜占庭威脅   348
17.1.2  緩解拜占庭威脅
影響的挑戰(zhàn)   349
17.2　基于梯度的魯棒性   350
17.2.1  梯度平均   351
17.2.2  威脅模型   352
17.2.3  坐標中位數(shù)   352
17.2.4  Krum   353
17.3　對拜占庭威脅的分層
魯棒性   354
17.4　LEGATO：分層梯度
聚合   357
17.4.1  LEGATO   357
17.4.2  LEGATO的復雜度
分析   360
17.5　比較基于梯度和分層的
魯棒性   360
17.5.1  處理非IID參與方
數(shù)據(jù)分布   361
17.5.2  處理拜占庭失敗   361
17.5.3  處理過參數(shù)化神經(jīng)
網(wǎng)絡   363
17.5.4  日志大小的
有效性   364
17.6　本章小結(jié)   364
第Ⅳ部分  橫向聯(lián)邦學習之外：
以不同方式劃分模型和數(shù)據(jù)
第18章  保護隱私的縱向聯(lián)邦
學習   371
18.1　介紹   371
18.2　理解縱向聯(lián)邦學習   372
18.2.1  符號、術語和
假設   373
18.2.2  縱向聯(lián)邦學習的
兩個階段   373
18.3　在縱向聯(lián)邦學習中應用
梯度下降的挑戰(zhàn)   374
18.3.1  集中式機器學習中的
梯度下降   375
18.3.2  縱向聯(lián)邦學習中的
梯度下降   375
18.4　典型的縱向聯(lián)邦學習解決
方案   376
18.4.1  對比通信拓撲和
效率   376
18.4.2  對比隱私保護機制
及其威脅模型   378
18.4.3  對比支持的機器學習
模型   379
18.5　FedV：一種高效的縱向
聯(lián)邦學習框架   380
18.5.1  FedV概述   380
18.5.2  FedV威脅模型和
假設   381
18.5.3  縱向訓練過程：
FedV-SecGrad   382
18.5.4  分析與討論   385
18.6　本章小結(jié)   386
第19章  拆分學習   391
19.1　介紹   391
19.2　通信效率   393
19.3　延遲   394
19.4　拆分學習拓撲結(jié)構(gòu)   394
19.4.1  多樣的配置   394
19.4.2  用ExpertMatcher
進行模型選擇   396
19.4.3  實現(xiàn)詳情   396
19.5　利用拆分學習進行協(xié)作
推斷   397
19.5.1  在協(xié)作推斷中防止
重建攻擊   398
19.5.2  激活值共享的差分
隱私   399
19.6　本章小結(jié)   399
第Ⅴ部分  應用
第20章  聯(lián)邦學習在協(xié)同金融
犯罪偵查中的應用  405
20.1　金融犯罪偵查簡介   405
20.1.1  利用機器學習和圖
學習打擊金融
犯罪   406
20.1.2  全球金融犯罪檢測的
需求與貢獻   406
20.2　圖學習   406
20.3　用于金融犯罪檢測的
聯(lián)邦學習   407
20.3.1  本地特征計算   407
20.3.2  全局特征計算   407
20.3.3  聯(lián)邦學習   408
20.4　評估   408
20.4.1  數(shù)據(jù)集和圖建模   408
20.4.2  參與方關系圖的圖
特征   409
20.4.3  模型準確性   410
20.5　本章小結(jié)   412
第21章  投資組合管理的聯(lián)邦
強化學習   415
21.1　介紹   415
21.2　深度強化學習公式   416
21.3　金融投資組合管理   416
21.4　數(shù)據(jù)增強方法   418
21.4.1  幾何布朗運動   418
21.4.2  可變階馬爾可夫
模型   418
21.4.3  生成對抗網(wǎng)絡   418
21.5　實驗結(jié)果   419
21.5.1  實驗設置   419
21.5.2  數(shù)值結(jié)果   421
21.6　本章小結(jié)   426
第22章  聯(lián)邦學習在醫(yī)學影像中的
應用   429
22.1　介紹   429
22.2　圖像分割   431
22.3　3D圖像分類   432
22.4　2D圖像分類   435
22.5　討論   437
22.6　本章小結(jié)   438
第23章  通過聯(lián)邦學習推進醫(yī)療
保健解決方案   445
23.1　介紹   445
23.2　聯(lián)邦學習如何應用于
醫(yī)療保健   446
23.3　使用IBM FL構(gòu)建醫(yī)療
保健聯(lián)邦學習平臺   447
23.4　醫(yī)療保健領域應用聯(lián)邦
學習構(gòu)建平臺和解決方案
的指導原則   448
23.4.1  基礎設施設計   448
23.4.2  數(shù)據(jù)連接器設計   448
23.4.3  用戶體驗設計   448
23.4.4  部署注意事項   449
23.5　醫(yī)療保健領域聯(lián)邦學習的
核心技術考慮事項   449
23.5.1  數(shù)據(jù)異構(gòu)性   449
23.5.2  模型治理和激勵   450
23.5.3  信任和隱私考慮   450
23.6  本章小結(jié)   451
第24章  保護隱私的產(chǎn)品推薦
系統(tǒng)   453
24.1　介紹   453
24.2　相關研究   455
24.3　聯(lián)邦推薦系統(tǒng)   455
24.3.1  算法   457
24.3.2  實現(xiàn)   458
24.4　結(jié)果   460
24.5　本章小結(jié)   462
第25章  聯(lián)邦學習在電信和邊緣
計算中的應用   465
25.1　概述   465
25.2　用例   466
25.2.1  車輛網(wǎng)絡   466
25.2.2  跨境支付   466
25.2.3  邊緣計算   467
25.2.4  網(wǎng)絡攻擊   467
25.2.5  6G   468
25.2.6 “緊急服務”用例演示
聯(lián)邦學習的能力   469
25.3　挑戰(zhàn)與未來方向   471
25.3.1  安全和隱私挑戰(zhàn)及
注意事項   471
25.3.2  環(huán)境方面的考慮   471
25.3.3  數(shù)據(jù)方面的考慮   471
25.3.4  監(jiān)管方面的考慮   472
25.4　本章小結(jié)   472