嵌入式深度學(xué)習(xí)：算法和硬件實(shí)現(xiàn)技術(shù)

譯者序
前言
致謝
縮寫詞
第1章　嵌入式深度神經(jīng)網(wǎng)絡(luò) 1
1.1　簡介 1
1.2　機(jī)器學(xué)習(xí) 2
1.2.1　任務(wù)T 3
1.2.2　性能度量P 3
1.2.3　經(jīng)驗(yàn)E 4
1.3　深度學(xué)習(xí) 4
1.3.1　深度前饋神經(jīng)網(wǎng)絡(luò) 6
1.3.2　卷積神經(jīng)網(wǎng)絡(luò) 8
1.3.3　循環(huán)神經(jīng)網(wǎng)絡(luò) 16
1.3.4　訓(xùn)練深度神經(jīng)網(wǎng)絡(luò) 18
1.4　嵌入式深度神經(jīng)網(wǎng)絡(luò)的挑戰(zhàn) 25
1.5　本書創(chuàng)新點(diǎn) 27
參考文獻(xiàn) 29
第2章　優(yōu)化的層次級(jí)聯(lián)處理 34
2.1　簡介 34
2.2　層次級(jí)聯(lián)系統(tǒng) 36
2.2.1　泛化的兩級(jí)喚醒系統(tǒng) 36
2.2.2　層次化的代價(jià)、精度和召回率 37
2.2.3　層次化分類器的Roofline模型 40
2.2.4　優(yōu)化的層次級(jí)聯(lián)感知 42
2.3　概念的一般性證明 43
2.3.1　系統(tǒng)描述 43
2.3.2　輸入統(tǒng)計(jì) 45
2.3.3　實(shí)驗(yàn) 46
2.3.4　本節(jié)小結(jié) 48
2.4　案例研究：基于CNN的層次化人臉識(shí)別 49
2.4.1　人臉識(shí)別的分層結(jié)構(gòu) 49
2.4.2　層次化的代價(jià)、精度和召回率 51
2.4.3　優(yōu)化的人臉識(shí)別分層結(jié)構(gòu) 52
2.5　小結(jié) 55
參考文獻(xiàn) 56
第3章　硬件–算法協(xié)同優(yōu)化 58
3.1　簡介 58
3.1.1　利用網(wǎng)絡(luò)結(jié)構(gòu) 59
3.1.2　增強(qiáng)并利用稀疏性 63
3.1.3　增強(qiáng)并利用容錯(cuò)性 64
3.2　低精度神經(jīng)網(wǎng)絡(luò)的能量增益 66
3.2.1　片外訪存的能耗 67
3.2.2　硬件平臺(tái)的一般性建模 68
3.3　測試時(shí)定點(diǎn)神經(jīng)網(wǎng)絡(luò) 69
3.3.1　分析和實(shí)驗(yàn) 70
3.3.2　量化對分類準(zhǔn)確率的影響 70
3.3.3　稀疏FPNN的能耗 73
3.3.4　結(jié)果 75
3.3.5　討論 76
3.4　訓(xùn)練時(shí)量化神經(jīng)網(wǎng)絡(luò) 77
3.4.1　訓(xùn)練QNN 78
3.4.2　QNN的能耗 81
3.4.3　實(shí)驗(yàn) 81
3.4.4　結(jié)果 84
3.4.5　討論 88
3.5　聚類神經(jīng)網(wǎng)絡(luò) 88
3.6　小結(jié) 90
參考文獻(xiàn) 91
第4章　近似計(jì)算的電路技術(shù) 95
4.1　近似計(jì)算范式簡介 95
4.2　近似計(jì)算技術(shù) 98
4.2.1　容錯(cuò)分析與質(zhì)量管理 98
4.2.2　近似電路 99
4.2.3　近似架構(gòu) 100
4.2.4　近似軟件 101
4.2.5　討論 102
4.3　DVAFS：動(dòng)態(tài)電壓精度頻率調(diào)節(jié) 102
4.3.1　DVAFS基礎(chǔ) 102
4.3.2　DVAFS的容錯(cuò)識(shí)別 105
4.3.3　DVAFS的能量增益 106
4.4　DVAFS的性能分析 109
4.4.1　模塊級(jí)的DVAFS 109
4.4.2　系統(tǒng)級(jí)的DVAFS 111
4.5　DVAFS實(shí)現(xiàn)的挑戰(zhàn) 115
4.5.1　基礎(chǔ)DVA(F)S模塊的功能實(shí)現(xiàn) 115
4.5.2　基礎(chǔ)DVA(F)S模塊的物理實(shí)現(xiàn) 117
4.6　小結(jié)和討論 118
參考文獻(xiàn) 119
第5章　Envision：能耗可調(diào)節(jié)的稀疏卷積神經(jīng)網(wǎng)絡(luò)處理 122
5.1　神經(jīng)網(wǎng)絡(luò)加速 122
5.2　針對嵌入式CNN的二維MAC處理器架構(gòu) 124
5.2.1　處理器數(shù)據(jù)通路 125
5.2.2　片上存儲(chǔ)架構(gòu) 128
5.2.3　利用網(wǎng)絡(luò)稀疏性的硬件支持 130
5.2.4　通過定制化指令集實(shí)現(xiàn)高能效的靈活性 132
5.3　基于40nm CMOS的DVAS兼容的Envision處理器 133
5.3.1　RTL級(jí)的硬件支持 134
5.3.2　物理實(shí)現(xiàn) 135
5.3.3　測量結(jié)果 136
5.3.4　Envision V1回顧 143
5.4　基于28nm FD-SOI的DVAFS兼容的Envision處理器 144
5.4.1　RTL級(jí)硬件支持 146
5.4.2　物理實(shí)現(xiàn) 147
5.4.3　測量結(jié)果 147
5.4.4　Envision V2回顧 156
5.5　小結(jié) 157
參考文獻(xiàn) 158
第6章　BinarEye： 常開的數(shù)字及混合信號(hào)二值神經(jīng)網(wǎng)絡(luò)處理 160
6.1　二值神經(jīng)網(wǎng)絡(luò) 160
6.1.1　簡介 160
6.1.2　二值神經(jīng)網(wǎng)絡(luò)層 161
6.2　二值神經(jīng)網(wǎng)絡(luò)應(yīng)用 165
6.3　可編程的輸入到標(biāo)簽的加速器架構(gòu) 167
6.3.1　256X：基礎(chǔ)的BinaryNet計(jì)算架構(gòu) 169
6.3.2　SX：靈活的DVAFS BinaryNet計(jì)算架構(gòu) 178
6.4　MSBNN：混合信號(hào)的256X實(shí)現(xiàn) 182
6.4.1　開關(guān)電容神經(jīng)元陣列 183
6.4.2　測量結(jié)果 184
6.4.3　模擬信號(hào)通路代價(jià) 188
6.5　BinarEye：數(shù)字的SX實(shí)現(xiàn) 189
6.5.1　全數(shù)字的二值神經(jīng)元 189
6.5.2　物理實(shí)現(xiàn) 190
6.5.3　測量結(jié)果 190
6.5.4　BinarEye中的DVAFS 194
6.5.5　與最先進(jìn)水平的對比 195
6.6　數(shù)字與模擬二值神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)對比 197
6.7　展望與未來工作 200
6.8　小結(jié) 202
參考文獻(xiàn) 204
第7章　結(jié)論、貢獻(xiàn)和未來工作 206
7.1　結(jié)論 207
7.2　未來工作的建議 210
參考文獻(xiàn) 211
索引 212