TensorFlow 2.x高級計算機視覺

第1篇  計算機視覺和神經(jīng)網(wǎng)絡概論
第1章  計算機視覺和TensorFlow基礎知識 3
1.1  技術要求 3
1.2  使用圖像哈希和濾波檢測邊緣 3
1.2.1  使用拜耳濾色器形成彩色圖案 4
1.2.2  創(chuàng)建圖像向量 5
1.2.3  變換圖像 8
1.2.4  線性濾波—與內核進行卷積 9
1.2.5  圖像平滑 10
1.2.6  均值濾波器 11
1.2.7  中值濾波器 12
1.2.8  高斯濾波器 12
1.2.9  使用OpenCV進行圖像濾波 13
1.2.10  圖像梯度 14
1.2.11  圖像銳化 15
1.2.12  混合高斯和拉普拉斯運算 16
1.2.13  檢測圖像邊緣 18
1.2.14  Sobel邊緣檢測器 19
1.2.15  Canny邊緣檢測器 19
1.3  從圖像中提取特征 20
1.3.1  直方圖 20
1.3.2  使用OpenCV進行圖像匹配 21
1.4  使用輪廓和HOG檢測器進行對象檢測 22
1.4.1  輪廓檢測 23
1.4.2  檢測邊界框 23
1.4.3  HOG檢測器 25
1.4.4  輪廓檢測方法的局限性 26
1.5  TensorFlow生態(tài)系統(tǒng)和安裝概述 28
1.5.1  TensorFlow與PyTorch 29
1.5.2  TensorFlow安裝 29
1.6  小結 31
第2章  局部二值模式和內容識別 33
2.1  使用LBP處理圖像 33
2.1.1  生成LBP模式 33
2.1.2  理解LBP直方圖 36
2.1.3  直方圖比較方法 36
2.1.4  LBP的計算成本 39
2.2  將LBP應用于紋理識別 39
2.3  使臉部顏色與基礎顏色匹配—LBP及其局限性 45
2.4  使臉部顏色與基礎顏色匹配—顏色匹配技術 48
2.5  小結 49
第3章  使用OpenCV和CNN進行面部檢測 51
3.1  應用Viola-Jones AdaBoost學習模型和Haar級聯(lián)分類器進行人臉識別 51
3.1.1  選擇哈爾特征 51
3.1.2  創(chuàng)建積分圖像 52
3.1.3  進行AdaBoost訓練 55
3.1.4  級聯(lián)分類器 56
3.1.5  訓練級聯(lián)檢測器 57
3.2  使用深度神經(jīng)網(wǎng)絡預測面部關鍵點 58
3.2.1  準備用于關鍵點檢測的數(shù)據(jù)集 58
3.2.2  處理關鍵點數(shù)據(jù) 61
3.2.3  在輸入Keras–Python代碼之前進行預處理 61
3.2.4  Keras–Python代碼中的預處理 61
3.2.5  定義模型架構 63
3.2.6  訓練模型以進行關鍵點預測 65
3.3  使用CNN預測面部表情 67
3.4  3D人臉檢測概述 69
3.4.1  3D重建的硬件設計概述 69
3.4.2  3D重建和跟蹤概述 69
3.4.3  參數(shù)跟蹤概述 70
3.5  小結 71
第4章  圖像深度學習 73
4.1  理解CNN及其參數(shù) 73
4.1.1  卷積 75
4.1.2  在空間上的卷積—3×3濾波器 77
4.1.3  在空間上的卷積—1×1濾波器 78
4.1.4  池化 79
4.1.5  填充 80
4.1.6  步幅 81
4.1.7  激活 82
4.1.8  全連接層 83
4.1.9  正則化 84
4.1.10  舍棄 84
4.1.11  內部協(xié)方差漂移和批歸一化 85
4.1.12  Softmax 87
4.2  優(yōu)化CNN參數(shù) 87
4.2.1  基準情況 89
4.2.2  迭代1 90
4.2.3  迭代2 90
4.2.4  迭代3 91
4.2.5  迭代4 92
4.3  可視化神經(jīng)網(wǎng)絡的各個層 94
4.3.1  構建自定義圖像分類器模型并可視化其層 94
4.3.2  神經(jīng)網(wǎng)絡輸入和參數(shù) 94
4.3.3  輸入圖像 95
4.3.4  定義訓練和驗證生成器 95
4.3.5  開發(fā)模型 96
4.3.6  編譯和訓練模型 96
4.3.7  輸入測試圖像并將其轉換為張量 98
4.3.8  可視化第一個激活層 99
4.3.9  可視化多個激活層 99
4.3.10  訓練現(xiàn)有的高級圖像分類器模型并可視化其層 103
4.4  小結 107
第2篇  TensorFlow和計算機視覺的高級概念
第5章  神經(jīng)網(wǎng)絡架構和模型 111
5.1  AlexNet概述 111
5.2  VGG16概述 116
5.3  Inception概述 117
5.3.1  Inception網(wǎng)絡的工作原理 117
5.3.2  GoogLeNet檢測 120
5.4  ResNet概述 121
5.5  R-CNN概述 123
5.5.1  圖像分割 125
5.5.2  基于聚類的分割 125
5.5.3  基于圖的分割 125
5.5.4  選擇性搜索 126
5.5.5  區(qū)域提議 126
5.5.6  特征提取 126
5.5.7  圖像分類 127
5.5.8  邊界框回歸 127
5.6  快速R-CNN概述 127
5.7  更快的R-CNN概述 129
5.8  GAN概述 133
5.9  GNN概述 135
5.9.1  有關圖神經(jīng)網(wǎng)絡的基礎知識 136
5.9.2  頻譜GNN 137
5.10  強化學習概述 138
5.11  遷移學習概述 139
5.12  小結 141
第6章  遷移學習和視覺搜索 143
6.1  使用TensorFlow編寫深度學習模型代碼 143
6.1.1  下載權重 144
6.1.2  解碼預測結果 144
6.1.3  導入其他常用功能 145
6.1.4  構建模型 145
6.1.5  從目錄輸入圖像 146
6.1.6  使用TensorFlow Keras導入和處理多幅圖像的循環(huán)函數(shù) 146
6.2  使用TensorFlow開發(fā)遷移學習模型 151
6.2.1  分析和存儲數(shù)據(jù) 151
6.2.2  導入TensorFlow庫 152
6.2.3  設置模型參數(shù) 153
6.2.4  建立數(shù)據(jù)輸入管道 153
6.2.5  訓練數(shù)據(jù)生成器 153
6.2.6  驗證數(shù)據(jù)生成器 154
6.2.7  使用遷移學習構建最終模型 154
6.2.8  使用Checkpoint保存模型 156
6.2.9  給訓練的歷史記錄繪圖 157
6.3  理解視覺搜索的架構和應用 160
6.3.1  視覺搜索的架構 161
6.3.2  視覺搜索代碼和說明 164
6.3.3  預測上傳圖像的類別 164
6.3.4  預測所有圖像的類別 165
6.4  使用tf.data處理視覺搜索輸入管道 171
6.5  小結 173
第7章  YOLO和對象檢測 175
7.1  YOLO概述 175
7.1.1  交并比的概念 176
7.1.2  YOLO能夠快速檢測對象的原因揭秘 177
7.1.3  YOLO v3神經(jīng)網(wǎng)絡架構 179
7.1.4  YOLO與更快的R-CNN的比較 180
7.2  用于對象檢測的Darknet簡介 181
7.2.1  使用Darknet檢測對象 181
7.2.2　使用Tiny Darknet檢測對象 184
7.3  使用Darknet進行實時預測 186
7.4  YOLO系列的比較 190
7.5  訓練模型 191
7.6  使用YOLO v3訓練新圖像集以開發(fā)自定義模型 192
7.6.1  準備圖像 194
7.6.2  生成注解文件 194
7.6.3  將.xml文件轉換為.txt文件 196
7.6.4  創(chuàng)建合并的train.txt和test.txt文件 196
7.6.5  創(chuàng)建一個類別名稱文件的列表 196
7.6.6  創(chuàng)建一個YOLO .data文件 197
7.6.7  調整YOLO配置文件 197
7.6.8  啟用GPU進行訓練 200
7.6.9  開始訓練 200
7.7  特征金字塔網(wǎng)絡和RetinaNet概述 201
7.8  小結 203
第8章  語義分割和神經(jīng)風格遷移 205
8.1  用于語義分割的TensorFlow DeepLab概述 205
8.1.1  空間金字塔池化 207
8.1.2  空洞卷積 207
8.1.3  編碼器-解碼器網(wǎng)絡 208
8.1.4  編碼器模塊 208
8.1.5  解碼器模塊 209
8.1.6  DeepLab中的語義分割示例 209
8.1.7  Google Colab、Google Cloud TPU和TensorFlow 209
8.2  使用DCGAN生成人工圖像 213
8.2.1  生成器 213
8.2.2  鑒別器 214
8.2.3  訓練 215
8.2.4  使用DCGAN修復圖像 216
8.2.5  TensorFlow DCGAN示例 217
8.3  使用OpenCV修復圖像 217
8.4  理解神經(jīng)風格遷移 218
8.5  小結 222
第3篇  使用TensorFlow的計算機視覺高級實現(xiàn)
第9章  使用多任務深度學習進行動作識別 225
9.1  人體姿勢估計—OpenPose 225
9.1.1  OpenPose背后的理論 225
9.1.2  理解OpenPose代碼 228
9.2  人體姿勢估計—堆疊沙漏模型 231
9.2.1  理解沙漏模型 233
9.2.2  編寫沙漏模型代碼 234
9.2.3  argparse塊 235
9.2.4  訓練沙漏網(wǎng)絡 237
9.2.5  創(chuàng)建沙漏網(wǎng)絡 238
9.3  人體姿勢估計—PoseNet 242
9.3.1  自上而下的方法 242
9.3.2  自下而上的方法 242
9.3.3  PoseNet實現(xiàn) 243
9.3.4  應用人體姿勢進行手勢識別 246
9.4  使用各種方法進行動作識別 247
9.4.1  基于加速度計識別動作 248
9.4.2  將基于視頻的動作與姿勢估計相結合 250
9.4.3  使用4D方法進行動作識別 251
9.5  小結 251
第10章  使用R-CNN、SSD和R-FCN進行對象檢測 253
10.1  SSD概述 253
10.2  R-FCN概述 256
10.3  TensorFlow對象檢測API概述 258
10.4  在Google Cloud上使用TensorFlow檢測對象 259
10.5  使用TensorFlow Hub檢測對象 262
10.6  使用TensorFlow和Google Colab訓練自定義對象檢測器 263
10.6.1  收集圖像并格式化為.jpg文件 265
10.6.2  注解圖像以創(chuàng)建.xml文件 266
10.6.3  將文件拆分到訓練和測試文件夾中 267
10.6.4  配置參數(shù)并安裝所需的軟件包 269
10.6.5  創(chuàng)建TensorFlow記錄 271
10.6.6  準備模型并配置訓練管道 273
10.6.7  使用TensorBoard監(jiān)控訓練進度 274
10.6.8  在本地計算機上運行TensorBoard 274
10.6.9  在Google Colab上運行TensorBoard 274
10.6.10  訓練模型 275
10.6.11  運行推理測試 278
10.6.12  使用神經(jīng)網(wǎng)絡模型時的注意事項 279
10.7  Mask R-CNN概述和Google Colab演示 280
10.8  開發(fā)對象跟蹤器模型以補充對象檢測器 282
10.8.1  基于質心的跟蹤 282
10.8.2  SORT跟蹤 282
10.8.3  DeepSORT跟蹤 283
10.8.4  OpenCV跟蹤方法 284
10.8.5  基于暹羅網(wǎng)絡的跟蹤 284
10.8.6  基于SiamMask的跟蹤 285
10.9  小結 286
第4篇  在邊緣和云端上的TensorFlow實現(xiàn)
第11章  通過CPU/GPU優(yōu)化在邊緣設備上進行深度學習 291
11.1  邊緣設備上的深度學習概述 291
11.2  用于GPU/CPU優(yōu)化的技術 293
11.3  MobileNet概述 294
11.4  使用Raspberry Pi進行圖像處理 296
11.4.1  Raspberry Pi硬件設置 297
11.4.2  Raspberry Pi攝像頭軟件設置 298
11.4.3  在Raspberry Pi中安裝OpenCV 298
11.4.4  在Raspberry Pi中安裝OpenVINO 299
11.4.5  安裝OpenVINO工具包組件 300
11.4.6  設置環(huán)境變量 301
11.4.7  添加USB規(guī)則 301
11.4.8  使用Python代碼運行推理 301
11.4.9  高級推理 302
11.4.10  人臉檢測、行人檢測和車輛檢測 304
11.4.11  特征識別模型 305
11.4.12  動作識別模型 306
11.4.13  車牌、注視和人員檢測 306
11.5  使用OpenVINO進行模型轉換和推理 309
11.5.1  使用NCAPPZOO在終端中運行推理 309
11.5.2  轉換預訓練模型以進行推理 310
11.5.3  轉換使用Keras開發(fā)的TensorFlow模型 310
11.5.4  轉換使用TensorFlow對象檢測API開發(fā)的TensorFlow模型 311
11.5.5  OpenVINO模型推理過程總結 312
11.6  TensorFlow Lite的應用 314
11.6.1  將TensorFlow模型轉換為tflite格式 315
11.6.2  Python API 315
11.6.3  TensorFlow對象檢測API—tflite_convert 315
11.6.4  TensorFlow對象檢測API—toco 316
11.6.5  模型優(yōu)化 318
11.7  使用TensorFlow Lite在Android手機上進行對象檢測 319
11.8  使用TensorFlow Lite在Raspberry Pi上進行對象檢測 323
11.8.1  圖像分類 324
11.8.2  對象檢測 325
11.9  使用TensorFlow Lite和Create ML在iPhone上進行對象檢測 326
11.9.1  適用于iPhone的TensorFlow Lite轉換模型 327
11.9.2  Core ML 330
11.9.3  將TensorFlow模型轉換為Core ML格式 333
11.10  各種注解方法的摘要 333
11.10.1  將標注工作外包給第三方 333
11.10.2  自動或半自動標注 334
11.11  小結 338
第12章  用于計算機視覺的云計算平臺 339
12.1  在GCP中訓練對象檢測器 339
12.1.1  在GCP中創(chuàng)建項目 340
12.1.2  GCP設置 341
12.1.3  Google Cloud Storage存儲桶設置 342
12.1.4  使用GCP API設置存儲桶 342
12.1.5  使用Ubuntu終端設置存儲桶 343
12.1.6  設置Google Cloud SDK 343
12.1.7  將終端鏈接到Google Cloud項目和存儲桶 344
12.1.8  安裝TensorFlow對象檢測API 345
12.1.9  準備數(shù)據(jù)集 346
12.1.10  TFRecord和標注地圖數(shù)據(jù) 346
12.1.11  準備數(shù)據(jù) 346
12.1.12  上傳數(shù)據(jù) 347
12.1.13  model.ckpt文件 348
12.1.14  模型配置文件 348
12.1.15  在云端訓練 350
12.1.16  在TensorBoard中查看模型輸出 351
12.1.17  模型輸出并轉換為凍結圖 353
12.1.18  從Google Colab導出tflite graph.py 354
12.2  在AWS SageMaker云平臺中訓練對象檢測器 357
12.2.1  設置AWS賬戶和限制等 357
12.2.2  將.xml文件轉換為JSON格式 357
12.2.3  將數(shù)據(jù)上傳到S3存儲桶 358
12.2.4  創(chuàng)建Notebook實例并開始訓練 358
12.2.5  修復訓練中的一些常見故障 359
12.3  在Microsoft Azure云平臺中訓練對象檢測器 361
12.3.1  創(chuàng)建一個Azure賬號并設置Custom Vision 361
12.3.2  上傳訓練圖像并標注它們 362
12.4  大規(guī)模訓練和打包 366
12.4.1  關于分布式訓練 366
12.4.2  應用程序打包 366
12.5  基于云的視覺搜索背后的總體思路 367
12.6  分析各種云平臺中的圖像和搜索機制 368
12.6.1  使用GCP進行視覺搜索 369
12.6.2  使用AWS進行視覺搜索 370
12.6.3  使用Azure進行視覺搜索 372
12.7  小結 373