稀疏矩陣計算優(yōu)化

第1章   稀疏矩陣概述 1
1.1　矩陣與稀疏矩陣 1
1.2　應(yīng)用領(lǐng)域 1
1.2.1　線性系統(tǒng) 2
1.2.2　圖計算 7
1.2.3　線性規(guī)劃 8
1.2.4　PageRank算法 9
1.3　稀疏矩陣相關(guān)計算 12
1.3.1　BLAS 12
1.3.2　Sparse BLAS 14
1.3.3　SpMV 16
1.3.4　SpGEMM 16
1.3.5　SpMM 17
本章參考文獻 18
第2章  稀疏矩陣壓縮編碼方法 23
2.1　常見壓縮編碼概述 23
2.2　常見基本壓縮格式 24
2.2.1　COO 24
2.2.2　CSR 24
2.2.3　ELL 25
2.2.4　DIA 26
2.3　切片和分塊壓縮格式 26
2.3.1　BCSR 26
2.3.2　BCCOO/BCCOO 27
2.3.3　CSR5 28
2.3.4　CSR2 30
2.3.5　SELL 30
2.3.6　CDS 31
2.4　混合格式 31
2.4.1　HYB 31
2.4.2　MMSparse 32
2.4.3　其他 33
本章參考文獻 33
第3章  SpMV研究現(xiàn)狀綜述 36
3.1　問題定義 36
3.2　格式選擇 37
3.2.1　基于目標(biāo)平臺特性的格式選擇 37
3.2.2　基于強化學(xué)習(xí)的格式選擇 37
3.2.3　基于決策樹的格式選擇 38
3.2.4　基于SVM的格式選擇 38
3.2.5　基于深度學(xué)習(xí)的格式選擇 39
3.3　面向體系結(jié)構(gòu)的優(yōu)化 40
3.3.1　面向多核/眾核處理器的優(yōu)化 40
3.3.2　面向GPU的優(yōu)化 42
3.3.3　基于FPGA的優(yōu)化 42
3.3.4　面向異構(gòu)計算平臺的優(yōu)化 43
3.4　自動調(diào)優(yōu)技術(shù) 43
3.5　矩陣劃分 44
3.5.1　一維劃分 44
3.5.2　二維劃分 45
本章參考文獻 45
第4章  SpGEMM研究現(xiàn)狀綜述 51
4.1　SpGEMM介紹 51
4.2　常見應(yīng)用 52
4.2.1　代數(shù)多網(wǎng)格求解器 52
4.2.2　三角形計數(shù) 53
4.2.3　多源寬度優(yōu)先搜索 55
4.3　主要研究方法 56
4.3.1　結(jié)果矩陣的大小預(yù)測 56
4.3.2　矩陣劃分和負(fù)載均衡 59
4.3.3　中間結(jié)果累加 62
4.4　面向體系結(jié)構(gòu)的優(yōu)化 64
4.4.1　多核平臺 64
4.4.2　現(xiàn)場可編程門陣列 67
4.4.3　異構(gòu)計算平臺 67
4.4.4　分布式平臺 67
4.5　實驗評估 68
4.5.1　系統(tǒng)設(shè)置 69
4.5.2　測試基準(zhǔn) 70
4.5.3　評估結(jié)果 71
4.6　挑戰(zhàn)與未來工作 76
本章參考文獻 77
第5章  面向異構(gòu)平臺的SpMV優(yōu)化算法 86
5.1　CPU-GPU異構(gòu)平臺編程 86
5.2　基于機器學(xué)習(xí)的SpMV性能預(yù)測 88
5.2.1　基于回歸分析的性能預(yù)測 89
5.2.2　模型訓(xùn)練與測試 89
5.2.3　性能分析 91
5.3　面向異構(gòu)平臺的劃分與協(xié)同優(yōu)化算法 91
5.3.1　稀疏矩陣數(shù)據(jù)布局分析 91
5.3.2　特定模式稀疏矩陣的SpMV劃分 92
5.3.3　SpMV計算協(xié)同任務(wù)優(yōu)化 93
5.3.4　實驗評估 96
5.3.5　小結(jié) 99
5.4　多GPU異構(gòu)平臺的SpMV優(yōu)化 100
5.4.1　面向CPU - GPU異構(gòu)平臺的稀疏矩陣劃分 101
5.4.2　實驗評估 106
5.4.3　小結(jié) 114
本章參考文獻 115
第6章  基于數(shù)學(xué)形態(tài)學(xué)的SpMV劃分優(yōu)化方法 119
6.1　矩陣劃分 119
6.2　基本工作流程 121
6.3　形狀識別 123
6.4　矩陣二維劃分 132
6.5　算法實現(xiàn)與GPU優(yōu)化 135
6.5.1　形狀識別算法實現(xiàn) 135
6.5.2　GPU優(yōu)化 136
6.6　實驗評估 138
6.6.1　SpMV性能分析 139
6.6.2　形態(tài)學(xué)參數(shù)選擇 142
6.6.3　數(shù)據(jù)失真 143
6.6.4　額外開銷分析 144
本章參考文獻 145
第7章  面向GPU的SpMV編碼選擇算法 146
7.1　引言 146
7.2　在GPU上進行稀疏格式選擇的重要性 148
7.2.1　SpMV內(nèi)核在GPU上的性能 148
7.2.2　SpMV內(nèi)核在GPU上的能效 150
7.3　BestSF：一種稀疏元格式 151
7.3.1　離線訓(xùn)練 152
7.3.2　在線決策 153
7.4　稀疏特征選擇 153
7.5　Pairwise Model學(xué)習(xí) 155
7.5.1　學(xué)習(xí)算法 155
7.5.2　特征選擇 156
7.5.3　訓(xùn)練與測試 156
7.6　評估 157
7.7　總結(jié) 164
本章參考文獻 164
第8章  SpMV性能預(yù)測分析 168
8.1　引言 168
8.2　面向硬件體系結(jié)構(gòu)的性能預(yù)測方法 169
8.3　基于傳統(tǒng)機器學(xué)習(xí)的性能預(yù)測方法 170
8.4　基于深度學(xué)習(xí)的性能預(yù)測方法 180
8.5　多性能指標(biāo)下SpMV性能分析 182
本章參考文獻 183
第9章  面向精度的稀疏矩陣計算優(yōu)化 186
9.1　數(shù)據(jù)表示與精度 186
9.1.1　常見浮點數(shù)據(jù)表示 186
9.1.2　處理器與精度 188
9.1.3　精度可調(diào)算法設(shè)計的主要挑戰(zhàn) 191
9.2　混合精度算法設(shè)計 192
9.2.1　數(shù)據(jù)驅(qū)動的混合精度算法 192
9.2.2　混合精度的迭代算法 192
9.2.3　混合精度的預(yù)條件迭代算法 193
9.2.4　計算格式與存儲格式解耦 195
本章參考文獻 197
220章  開源庫和工具 199
10.1　測試集 199
10.1.1　SuiteSparse Matrix Collection 199
10.1.2　SparseBench 201
10.2　相關(guān)庫 201
10.2.1　cuSPARSE 201
10.2.2　CSPARSE 202
10.2.3　CUSP 202
10.2.4　bhSPARSE 203
10.2.5　KokkosKernels 203
10.2.6　SpBLAS 203
10.2.7　Scilab 204
10.2.8　各類庫對比 204
本章參考文獻 204
彩插 206