深度學(xué)習(xí)：卷積神經(jīng)網(wǎng)絡(luò)從入門到精通

CONTENTS
目　　錄
前言
第1章　概述 1
1.1　深度學(xué)習(xí)的起源和發(fā)展 1
1.2　卷積神經(jīng)網(wǎng)絡(luò)的形成和演變 4
1.3　卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用和影響 6
1.4　卷積神經(jīng)網(wǎng)絡(luò)的缺陷和視圖 9
1.5 卷積神經(jīng)網(wǎng)絡(luò)的GPU實(shí)現(xiàn)和cuDNN庫 10
1.6　卷積神經(jīng)網(wǎng)絡(luò)的平臺和工具 10
1.7　本書的內(nèi)容結(jié)構(gòu)和案例數(shù)據(jù) 13
1.7.1　內(nèi)容結(jié)構(gòu) 13
1.7.2　案例數(shù)據(jù) 15
第2章　預(yù)備知識 22
2.1　激活函數(shù) 22
2.2　矩陣運(yùn)算 23
2.3　導(dǎo)數(shù)公式 24
2.4　梯度下降算法 25
2.5　反向傳播算法 26
2.5.1　通用反向傳播算法 27
2.5.2　逐層反向傳播算法 28
2.6　通用逼近定理 31
2.7　內(nèi)外卷積運(yùn)算 31
2.8　膨脹卷積運(yùn)算 32
2.9　上下采樣運(yùn)算 33
2.10　卷積面計算 34
2.11　池化面計算 36
2.12　局部響應(yīng)歸一化 36
2.13　權(quán)值偏置初始化 37
2.14　丟失輸出 37
2.15　丟失連接 38
2.16　隨機(jī)梯度下降算法 39
2.17　塊歸一化 39
2.18　動態(tài)規(guī)劃算法 40
第3章 卷積神經(jīng)網(wǎng)絡(luò)的現(xiàn)代雛形——LeNet 41
3.1　LeNet的原始模型 41
3.2　LeNet的標(biāo)準(zhǔn)模型 43
3.3　LeNet的學(xué)習(xí)算法 44
3.4　LeNet的Caffe代碼實(shí)現(xiàn)及說明 46
3.5　LeNet的手寫數(shù)字識別案例 54
3.6　LeNet的交通標(biāo)志識別案例 58
3.6.1 交通標(biāo)志數(shù)據(jù)集的格式轉(zhuǎn)換 58
3.6.2　交通標(biāo)志的識別分類 60
3.7　LeNet的交通路網(wǎng)提取案例 63
3.7.1　交通路網(wǎng)的人工標(biāo)注 64
3.7.2　交通路網(wǎng)的圖像塊分類 67
3.7.3 交通路網(wǎng)的圖像塊分類LeNet 69
3.7.4 交通路網(wǎng)的自動提取代碼及說明 71
3.7.5 交通路網(wǎng)的自動提取程序運(yùn)行結(jié)果 75
第4章 卷積神經(jīng)網(wǎng)絡(luò)的突破模型 78
4.1　AlexNet的模型結(jié)構(gòu) 78
4.2 AlexNet的Caffe代碼實(shí)現(xiàn)及說明 82
4.3 AlexNet的Caffe大規(guī)模圖像分類案例及演示效果 95
4.4 AlexNet的TensorFlow代碼實(shí)現(xiàn)及說明 97
4.5 AlexNet的TensorFlow大規(guī)模圖像分類案例及演示效果 103
4.6　AlexNet的改進(jìn)模型ZFNet 107
第5章 卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)變模型 109
5.1　SPPNet的模型結(jié)構(gòu) 109
5.2 SPPNet的Caffe代碼實(shí)現(xiàn)及說明 112
5.3 SPPNet的大規(guī)模圖像分類案例及演示效果 114
第6章 卷積神經(jīng)網(wǎng)絡(luò)的加深模型 118
6.1 結(jié)構(gòu)加深的卷積網(wǎng)絡(luò)VGGNet 118
6.1.1　VGGNet的模型結(jié)構(gòu) 118
6.1.2 VGGNet的TensorFlow代碼實(shí)現(xiàn)及說明 120
6.1.3 VGGNet的物體圖像分類案例 129
6.2 結(jié)構(gòu)更深的卷積網(wǎng)絡(luò)GoogLeNet 130
6.2.1　GoogLeNet的模型結(jié)構(gòu) 130
6.2.2 GoogLeNet的TensorFlow代碼實(shí)現(xiàn)及說明 136
6.2.3 GoogLeNet的鮮花圖像分類案例 149
第7章 卷積神經(jīng)網(wǎng)絡(luò)的跨連模型 154
7.1　快道網(wǎng)絡(luò)HighwayNet 154
7.2　殘差網(wǎng)絡(luò)ResNet 155
7.2.1　ResNet的模型結(jié)構(gòu) 155
7.2.2 ResNet的Caffe代碼實(shí)現(xiàn)及說明 157
7.2.3 ResNet的大規(guī)模圖像分類案例 163
7.3　密連網(wǎng)絡(luò)DenseNet 169
7.3.1　DenseNet的模型結(jié)構(gòu) 169
7.3.2 DenseNet的Caffe代碼實(shí)現(xiàn)及說明 171
7.3.3 DenseNet的物體圖像分類案例 174
7.4　拼接網(wǎng)絡(luò)CatNet 178
7.4.1　CatNet的模型結(jié)構(gòu) 178
7.4.2 CatNet的Caffe代碼實(shí)現(xiàn)及說明 179
7.4.3 CatNet的人臉圖像性別分類案例 183
第8章 卷積神經(jīng)網(wǎng)絡(luò)的區(qū)域模型 190
8.1　區(qū)域卷積網(wǎng)絡(luò)R-CNN 190
8.2 快速區(qū)域卷積網(wǎng)絡(luò)Fast R-CNN 191
8.3 更快區(qū)域卷積網(wǎng)絡(luò)Faster R-CNN 193
8.3.1 Faster R-CNN的模型結(jié)構(gòu) 193
8.3.2 Faster R-CNN的TensorFlow代碼實(shí)現(xiàn)及說明 196
8.3.3 Faster R-CNN的圖像目標(biāo)檢測案例及演示效果 216
8.4　你只看一次網(wǎng)絡(luò)YOLO 220
8.4.1　YOLO的模型結(jié)構(gòu) 220
8.4.2 YOLO的TensorFlow代碼實(shí)現(xiàn)及說明 226
8.4.3 YOLO的圖像目標(biāo)檢測案例及演示效果 239
8.5　單次檢測器SSD 242
8.5.1　SSD的模型結(jié)構(gòu) 242
8.5.2 SSD的TensorFlow代碼實(shí)現(xiàn)及說明 245
8.5.3 SSD的圖像目標(biāo)檢測案例及演示效果 260
第9章 卷積神經(jīng)網(wǎng)絡(luò)的分割模型 266
9.1　全卷積網(wǎng)絡(luò)FCN 266
9.1.1　FCN的模型結(jié)構(gòu) 266
9.1.2 FCN的Caffe代碼實(shí)現(xiàn)及說明 269
9.1.3 FCN的圖像語義和幾何分割案例 272
9.2 金字塔場景分析網(wǎng)絡(luò)PSPNet 277
9.2.1　PSPNet的模型結(jié)構(gòu) 277
9.2.2 PSPNet的TensorFlow代碼實(shí)現(xiàn)及說明 282
9.2.3 PSPNet的圖像語義分割案例及演示效果 291
9.3 掩膜區(qū)域卷積網(wǎng)絡(luò)Mask R-CNN 294
9.3.1 Mask R-CNN的模型結(jié)構(gòu) 294
9.3.2 Mask R-CNN的Keras和TensorFlow代碼實(shí)現(xiàn)及說明 297
9.3.3 Mask R-CNN的圖像實(shí)例分割案例及演示效果 318
第10章 卷積神經(jīng)網(wǎng)絡(luò)的特殊模型 325
10.1　孿生網(wǎng)絡(luò)SiameseNet 325
10.1.1 SiameseNet的模型結(jié)構(gòu) 325
10.1.2 SiameseNet的Caffe代碼實(shí)現(xiàn)及說明 326
10.1.3 SiameseNet的手寫數(shù)字驗證案例 328
10.2　擠壓網(wǎng)絡(luò)SqueezeNet 331
10.2.1 SqueezeNet的模型結(jié)構(gòu) 331
10.2.2 SqueezeNet的Caffe代碼實(shí)現(xiàn)及說明 334
10.2.3 SqueezeNet大規(guī)模圖像分類案例 337
10.3 深層卷積生成對抗網(wǎng)絡(luò)DCGAN 339
10.3.1 DCGAN的模型結(jié)構(gòu) 339
10.3.2 DCGAN的TensorFlow代碼實(shí)現(xiàn)及說明 340
10.3.3 DCGAN的CelebA人臉圖像生成案例 345
10.4　網(wǎng)中網(wǎng)NIN 348
10.4.1　NIN的模型結(jié)構(gòu) 348
10.4.2 NIN的Caffe代碼實(shí)現(xiàn)及說明 350
10.4.3 NIN大規(guī)模圖像分類案例 353
第11章 卷積神經(jīng)網(wǎng)絡(luò)的強(qiáng)化模型 356
11.1　強(qiáng)化學(xué)習(xí)的基本概念 356
11.2 深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)的學(xué)習(xí)算法 358
11.3 深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)的變種模型 359
11.4 深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)的Flappy Bird智能體案例 361
11.4.1 笨笨鳥網(wǎng)絡(luò)的開發(fā)環(huán)境和工具包 362
11.4.2 笨笨鳥網(wǎng)絡(luò)的代碼實(shí)現(xiàn)及說明 363
11.4.3 笨笨鳥網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過程 367
11.4.4 笨笨鳥網(wǎng)絡(luò)的演示效果 370
第12章 卷積神經(jīng)網(wǎng)絡(luò)的頂尖成就——AlphaGo 371
12.1　人工智能棋類程序簡介 371
12.2　AlphaGo的設(shè)計原理 373
12.2.1　總體思路 373
12.2.2　訓(xùn)練流程 374
12.2.3　搜索過程 377
12.3　AlphaGo Zero的新思想 380
12.4 仿效AlphaGo的圍棋程序案例MuGo 383
12.4.1　MuGo的開發(fā)環(huán)境 383
12.4.2 MuGo的代碼實(shí)現(xiàn)及說明 386
12.4.3 MuGo的學(xué)習(xí)訓(xùn)練過程 401
12.4.4 MuGo的演示效果 403
附錄A　Caffe在Windows上的?安裝過程 406
附錄B　Caffe在Linux上的安裝?過程 409
附錄C　TensorFlow在Windows?上的安裝過程 412
附錄D　TensorFlow在Linux?上的安裝過程 414
參考文獻(xiàn) 416