眾包學習

目錄
“新一代人工智能創(chuàng)新平臺建設及其關鍵技術(shù)叢書”
序前言部分通用符號和約定
第1章眾包概述1
1.1眾包的起源與發(fā)展1
1.1.1從外包到眾包1
1.1.2集眾人之智慧2
1.1.3眾包的形式2
1.2數(shù)據(jù)眾包3
1.2.1數(shù)據(jù)眾包的典型應用3
1.2.2數(shù)據(jù)眾包的工作流程3
1.2.3數(shù)據(jù)眾包面臨的挑戰(zhàn)性問題4
1.3眾包系統(tǒng)5
1.3.1幾個典型的眾包系統(tǒng)5
1.3.2眾包系統(tǒng)分類8
1.3.3眾包系統(tǒng)性能評價11
1.3.4眾包系統(tǒng)技術(shù)概覽12
1.4本章小結(jié)13
第2章眾包技術(shù)的研究方向14
2.1引言14
2.2眾包質(zhì)量控制14
2.2.1質(zhì)量模型14
2.2.2數(shù)據(jù)質(zhì)量17
2.2.3任務質(zhì)量18
2.2.4參與者質(zhì)量19
2.2.5質(zhì)量評估21
2.2.6質(zhì)量保證22
2.3眾包任務設計25
2.3.1任務組合25
2.3.2任務分配26
2.3.3激勵機制27
2.4成本和時延控制29
2.4.1問題規(guī)約29
2.4.2任務抽樣29
2.4.3時延控制30
2.5本章小結(jié)31
第3章眾包遇見機器學習33
3.1引言33
3.2從眾包中獲利33
3.2.1計算機視覺33
3.2.2信息檢索35
3.2.3自然語言處理36
3.2.4機器學習37
3.3數(shù)據(jù)生產(chǎn)38
3.3.1數(shù)據(jù)標注38
3.3.2不確定數(shù)據(jù)40
3.3.3多樣性數(shù)據(jù)41
3.3.4特殊性數(shù)據(jù)41
3.4混合智能系統(tǒng)42
3.4.1混合調(diào)度43
3.4.2混合人機通信44
3.4.3混合聚類45
3.5模型的調(diào)試與評估46
3.5.1管道組件調(diào)試46
3.5.2評估模型的可解釋性47
3.5.3評估無監(jiān)督模型48
3.5.4按需評價49
3.6本章小結(jié)49
第4章眾包標注的真值推斷50
4.1引言50
4.2真值推斷的概念50
4.2.1眾包標注50
4.2.2真值推斷的定義51
4.2.3通用真值推斷研究概覽53
4.2.4面臨的挑戰(zhàn)54
4.3真值推斷的概率模型及EM求解57
4.3.1真值推斷的求解框架57
4.3.2ZenCrowd模型60
4.3.3Dawid&Skene模型61
4.3.4Raykar&Yu模型63
4.3.5GLAD模型65
4.4復雜標注的真值推斷模型67
4.4.1OnlineWP模型68
4.4.2MCMLI模型69
4.4.3MCMLD模型72
4.4.4MCMLI-OC模型和MCMLD-OC模型75
4.5非EM求解的真值推斷77
4.5.1CUBAM模型77
4.5.2Minimax熵模型79
4.5.3KOS模型80
4.5.4SFilter時序模型81
4.5.5BCC模型和cBCC模型82
4.6本章小結(jié)85
第5章面向眾包標注數(shù)據(jù)的預測模型學習86
5.1引言86
5.2兩階段學習方案和直接學習方案86
5.2.1數(shù)據(jù)質(zhì)量和學習模型質(zhì)量86
5.2.2兩階段學習方案87
5.2.3直接學習方案88
5.3眾包監(jiān)督學習88
5.3.1Raykar&Yu學習模型88
5.3.2個人分類器模型92
5.3.3聚類個人分類器模型93
5.3.4Bi多維度模型96
5.4眾包主動學習100
5.4.1主動學習概述100
5.4.2樣本選擇和工作者選擇102
5.4.3成本約束的Proactive學習105
5.4.4STAL學習107
5.4.5Self-taught模型109
5.5其他眾包學習范式113
5.5.1眾包學習中的知識遷移113
5.5.2眾包深度學習117
5.6本章小結(jié)119
第6章眾包學習數(shù)據(jù)集與工具121
6.1引言121
6.2眾包學習數(shù)據(jù)集121
6.2.1情感判斷122
6.2.2相關性評估123
6.2.3圖像分類124
6.2.4自然語言處理125
6.2.5事實評估126
6.3眾包學習實驗工具127
6.3.1SQUARE127
6.3.2BATC129
6.3.3CEKA132
6.3.4實驗工具研發(fā)挑戰(zhàn)135
6.4性能評價指標137
6.4.1二分類問題的評價指標137
6.4.2ROC*線與AUC139
6.4.3多分類問題的評價指標142
6.4.4回歸的性能指標143
6.5本章小結(jié)144
第7章面向偏置標注的眾包標簽真值推斷145
7.1引言145
7.2偏置標注問題145
7.2.1二分類偏置標注問題定義146
7.2.2真實數(shù)據(jù)集中的偏置標注現(xiàn)象146
7.2.3偏置標注對真值推斷的影響150
7.3自動閾值估計推斷算法153
7.3.1案例研究155
7.3.2正標簽頻率閾值算法158
7.3.3閾值估計算法159
7.3.4實驗設置1617.3.5實驗結(jié)果與分析161
7.4基于聚類的多分類真值推斷163
7.4.1動機164
7.4.2原理和特征生成165
7.4.3GTIC算法169
7.4.4實驗數(shù)據(jù)集與設置170
7.4.5實驗結(jié)果與分析172
7.5本章小結(jié)175
第8章基于機器學習模型的眾包標簽噪聲處理177
8.1引言177
8.2傳統(tǒng)機器學習的噪聲處理方法178
8.2.1分類過濾算法178
8.2.2標簽打磨糾正算法179
8.2.3自訓練誤標糾正算法180
8.2.4基于聚類的誤標糾正算法181
8.2.5眾包數(shù)據(jù)集實驗結(jié)果與分析182
8.3基于監(jiān)督預測模型的眾包標簽噪聲處理184
8.3.1總體技術(shù)框架185
8.3.2自適應投票噪聲糾正算法186
8.3.3模擬眾包標注數(shù)據(jù)集191
8.3.4標簽噪聲識別的性能191
8.3.5標簽噪聲糾正的性能193
8.3.6真實眾包數(shù)據(jù)集實驗結(jié)果與分析198
8.4基于雙層聚類分析的眾包標簽噪聲處理200
8.4.1總體技術(shù)框架201
8.4.2聚類標簽集成算法202
8.4.3雙層協(xié)同聚類算法203
8.4.4實驗數(shù)據(jù)集與實驗設置207
8.4.5實驗結(jié)果與分析208
8.5本章小結(jié)210
第9章眾包標簽利用方法與集成學習模型212
9.1引言212
9.2基于噪聲標簽分布的預測模型訓練方法213
9.2.1多數(shù)投票變體213
9.2.2成對樣本模型訓練215
x眾包學習
9.2.3實驗數(shù)據(jù)集與實驗設置216
9.2.4實驗結(jié)果與分析217
9.3眾包集成學習220
9.3.1問題定義221
9.3.2集成學習方法221
9.3.3理論分析224
9.3.4實驗對比算法和設置226
9.3.5模擬實驗結(jié)果與分析227
9.3.6真實眾包數(shù)據(jù)集實驗結(jié)果與分析231
9.4本章小結(jié)233
第10章基于不確定性度量的眾包主動學習235
10.1引言235
10.2面向偏置標注的主動學習236
10.2.1主動學習框架236
10.2.2偏置的處理237
10.2.3基于眾包標簽與偏置程度的不確定性度量239
10.2.4基于學習模型與偏置程度的不確定性度量240
10.2.5混合不確定性度量241
10.2.6實驗數(shù)據(jù)集與實驗設置242
10.2.7實驗結(jié)果與分析243
10.3多標簽眾包主動學習248
10.3.1問題定義248
10.3.2基于混合模型的真值推斷249
10.3.3采樣策略與學習算法250
10.3.4實驗數(shù)據(jù)集與實驗設置253
10.3.5實驗結(jié)果與分析254
10.4本章小結(jié)256
參考文獻258