基于低維模型的高維數(shù)據(jù)分析：原理、計算和應(yīng)用

目錄
譯者序
推薦序
前言
致謝
符號表
第 1 章 緒論 1
1.1 最普遍的任務(wù): 尋找低維結(jié)構(gòu) 1
1.1.1 系統(tǒng)辨識和時序數(shù)據(jù) 1
1.1.2 人造世界中的模式和秩序 3
1.1.3 高效數(shù)據(jù)采集和處理 4
1.1.4 用圖模型解釋數(shù)據(jù) 7
1.2 簡史.8
1.2.1 神經(jīng)科學(xué): 稀疏編碼 9
1.2.2 信號處理: 稀疏糾錯 .11
1.2.3 經(jīng)典統(tǒng)計: 稀疏回歸分析 14
1.2.4 數(shù)據(jù)分析: 主成分分析 16
1.3 當(dāng)代 18
1.3.1 從高維災(zāi)難到高維福音 18
1.3.2 壓縮感知、誤差糾正和深度
學(xué)習(xí).20
1.3.3 高維幾何和非漸統(tǒng)計 21
1.3.4 可擴展優(yōu)化: 凸與非凸 23
1.3.5 一場完美的風(fēng)暴 25
1.4 習(xí)題 25
第一部分 基本原理
第 2 章 稀疏信號模型 28
2.1 稀疏信號建模的應(yīng)用 28
2.1.1 醫(yī)學(xué)影像中的實例 29
2.1.2 圖像處理中的實例 32
2.1.3 人臉識別的實例 34
2.2 稀疏解的恢復(fù) 35
2.2.1 線性空間上的范數(shù) 36
2.2.2 .0 范數(shù) 38
2.2.3 最稀疏的解: 最小化 .0
范數(shù).38
2.2.4 .0 最小化的計算復(fù)雜度.41
2.3 對稀疏恢復(fù)問題進行松弛 44
2.3.1 凸函數(shù) .44
2.3.2 .0 范數(shù)的凸替代: .1 范數(shù) .46
2.3.3 .1 最小化的簡單測試 48
2.3.4 基于 Logan 現(xiàn)象的稀疏
糾錯.53
2.4 總結(jié) 54
2.5 注記 55
2.6 習(xí)題 56
第 3 章 稀疏信號恢復(fù)的凸方法 61
3.1 為什么 .1 最小化能夠成功? 幾何
直觀 61
3.2 關(guān)于不相干矩陣的第一正確性
結(jié)果 64
3.2.1 矩陣的相干性 64
3.2.2 .1 最小化的正確性 66
3.2.3 構(gòu)造一個不相干矩陣 69
3.2.4 不相干性的局限性 71
3.3 更強的正確性結(jié)果 73
3.3.1 受限等距性質(zhì) 73
3.3.2 受限強凸性條件 75
3.3.3 RIP 條件下 .1 最小化的正
確性.79
3.4 具有受限等距性質(zhì)的矩陣 82
XXIV
3.4.1 Johnson-Lindenstrauss
引理.82
3.4.2 高斯隨機矩陣的 RIP .85
3.4.3 非高斯矩陣的 RIP.89
3.5 含噪觀測或者似稀疏性 91
3.5.1 稀疏信號的穩(wěn)定恢復(fù) 92
3.5.2 非精確稀疏信號的恢復(fù) 100
3.6 稀疏恢復(fù)中的相變.102
3.6.1 關(guān)于相變的主要結(jié)論 103
3.6.2 通過系數(shù)空間幾何看相變 104
3.6.3 通過觀測空間幾何看相變 107
3.6.4 支撐恢復(fù)的相變 108
3.7 總結(jié) 115
3.8 注記 116
3.9 習(xí)題 117
第 4 章 低秩矩陣恢復(fù)的凸方法 120
4.1 低秩建模的一些實例 121
4.1.1 從光度測量中重建三維
形狀 121
4.1.2 推薦系統(tǒng).122
4.1.3 歐幾里得距離矩陣嵌入 123
4.1.4 潛語義分析.124
4.2 用奇異值分解表示低秩矩陣.124
4.2.1 基于非凸優(yōu)化的奇異向量 125
4.2.2 最佳低秩矩陣似 128
4.3 恢復(fù)低秩矩陣 128
4.3.1 一般的秩最小化問題 128
4.3.2 秩最小化的凸松弛 129
4.3.3 核范數(shù)作為秩的凸包絡(luò) 132
4.3.4 秩 RIP 條件下的核范數(shù)最小化
問題 134
4.3.5 隨機測量的秩 RIP 139
4.3.6 噪聲、非精確低秩和相變 144
4.4 低秩矩陣補全 149
4.4.1 利用核范數(shù)最小化求解矩陣
補全 150
4.4.2 增廣拉格朗日乘子法 150
4.4.3 核范數(shù)最小化何時能夠成
功? .153
4.4.4 證明核范數(shù)最小化的正
確性 155
4.4.5 含噪聲的穩(wěn)定矩陣補全 166
4.5 總結(jié) 167
4.6 注記 168
4.7 習(xí)題 169
第 5 章 分解低秩加稀疏矩陣 175
5.1 魯棒主成分分析和應(yīng)用實例.175
5.1.1 問題描述.175
5.1.2 矩陣剛性和植入團猜想 176
5.1.3 魯棒主成分分析的應(yīng)用 178
5.2 基于主成分追蹤的魯棒主成分
分析 180
5.2.1 稀疏低秩分離的凸松弛 180
5.2.2 用交替方向法求解主成分
追蹤 181
5.2.3 主成分追蹤的數(shù)值仿真與
實驗 182
5.3 可辨識性和精確恢復(fù) 187
5.3.1 可辨識性條件 .187
5.3.2 主成分追蹤的正確性 189
5.3.3 對主要結(jié)果的一些擴展 198
5.4 含噪聲的穩(wěn)定主成分追蹤 201
5.5 壓縮主成分追蹤 205
5.6 帶有被損壞元素的矩陣補全.206
5.7 總結(jié) 208
5.8 注記 209
5.9 習(xí)題 210
第 6 章 恢復(fù)廣義低維模型 214
6.1 簡明信號模型 214
6.1.1 原子集合及幾個例子 215
6.1.2 結(jié)構(gòu)化信號的原子范數(shù)最
小化 218
XXV
6.2 幾何、測度集中與相變 221
6.2.1 作為兩個不相交的錐的成功
條件 221
6.2.2 固有體積與運動公式 223
6.2.3 統(tǒng)計維數(shù)與相變 226
6.2.4 .1 范數(shù)下降錐的統(tǒng)計
維數(shù) 229
6.2.5 分解結(jié)構(gòu)化信號中的
相變 232
6.3 凸松弛的局限性 235
6.3.1 多重結(jié)構(gòu)的凸松弛的次
優(yōu)性 235
6.3.2 高階張量不可計算的凸
松弛 236
6.3.3 雙線性問題沒有凸松弛 237
6.3.4 非線性低維結(jié)構(gòu)的存在 237
6.3.5 非凸問題表述和非凸優(yōu)化的
回歸 238
6.4 注記 238
6.5 習(xí)題 239
第 7 章 恢復(fù)低維模型的非凸方法.241
7.1 簡介 241
7.1.1 非線性、對稱性與非凸性 242
7.1.2 對稱性和優(yōu)化問題的全局
幾何 245
7.1.3 對稱非凸問題的分類 246
7.2 具有旋轉(zhuǎn)對稱性的非凸問題.248
7.2.1 極簡的例子: 只含一個未知數(shù)
的相位恢復(fù).248
7.2.2 廣義相位恢復(fù) .249
7.2.3 低秩矩陣恢復(fù) .252
7.2.4 其他具有旋轉(zhuǎn)對稱性的非凸
問題 258
7.3 具有離散對稱性的非凸問題.258
7.3.1 極簡例子: 1-稀疏的字典
學(xué)習(xí) 259
7.3.2 字典學(xué)習(xí).262
7.3.3 稀疏盲解卷積 .264
7.3.4 其他具有離散對稱性的非凸