Python深度學習原理、算法與案例

第1章  深度學習概述 1
1.1  人工智能 1
1.2  機器學習 2
1.2.1  機器學習定義 2
1.2.2  機器學習流派 3
1.2.3  機器學習簡史 6
1.2.4  機器學習流程 7
1.3  深度學習 9
1.4  深度學習的應用場景 10
1.4.1  技術(shù)類型 10
1.4.2  應用場景 11
1.5  本章小結(jié) 12
1.6  復習題 12
參考文獻 13
第2章  機器學習基礎(chǔ) 14
2.1  基本概念 14
2.2  機器學習的三要素 15
2.2.1  模型 16
2.2.2  學習準則 17
2.2.3  優(yōu)化算法 21
2.3  數(shù)據(jù)分析 23
2.3.1  描述性統(tǒng)計分析 23
2.3.2  相關(guān)分析 23
2.3.3  回歸分析 25
2.3.4  分類分析 26
2.3.5  聚類分析 26
2.4  估計、偏差和方差 27
2.4.1  點估計 27
2.4.2  偏差 28
2.4.3  方差和標準差 30
2.5  似然估計 31
2.5.1  條件對數(shù)似然和均方誤差 32
2.5.2  似然的性質(zhì) 33
2.6  特征工程 34
2.6.1  數(shù)據(jù)預處理 34
2.6.2  特征選擇 39
2.6.3  降維 44
2.7  本章小結(jié) 46
2.8  復習題 47
參考文獻 47
第3章  神經(jīng)網(wǎng)絡基礎(chǔ) 48
3.1  神經(jīng)網(wǎng)絡概述 48
3.1.1  神經(jīng)網(wǎng)絡簡史 48
3.1.2  神經(jīng)網(wǎng)絡基礎(chǔ)理論 49
3.2  線性神經(jīng)網(wǎng)絡 56
3.3  感知機 64
3.3.1  感知機模型 64
3.3.2  多層感知機 69
3.4  支持向量機 75
3.4.1  支持向量機的原理 75
3.4.2  線性支持向量機分類 81
3.4.3  非線性支持向量機分類 86
3.4.4  支持向量機回歸 93
3.5  本章小結(jié) 96
3.6  復習題 96
參考文獻 96
第4章  卷積神經(jīng)網(wǎng)絡和循環(huán)神經(jīng)網(wǎng)絡 98
4.1  卷積神經(jīng)網(wǎng)絡 98
4.1.1  卷積 100
4.1.2  卷積神經(jīng)網(wǎng)絡 102
4.1.3  幾種典型的卷積神經(jīng)網(wǎng)絡 107
4.2  循環(huán)神經(jīng)網(wǎng)絡 117
4.2.1  循環(huán)神經(jīng)網(wǎng)絡的結(jié)構(gòu) 118
4.2.2  循環(huán)神經(jīng)網(wǎng)絡的數(shù)學基礎(chǔ) 119
4.2.3  循環(huán)神經(jīng)網(wǎng)絡的計算能力 120
4.2.4  長短期記憶網(wǎng)絡 121
4.2.5  門控循環(huán)單元 125
4.2.6  雙向循環(huán)神經(jīng)網(wǎng)絡 130
4.2.7  深度循環(huán)神經(jīng)網(wǎng)絡 132
4.2.8  循環(huán)神經(jīng)網(wǎng)絡圖結(jié)構(gòu) 133
4.3  本章小結(jié) 135
4.4  復習題 136
參考文獻 136
第5章  正則化與深度學習優(yōu)化 137
5.1  正則化 137
5.1.1  訓練誤差和泛化誤差 137
5.1.2  數(shù)據(jù)集增強 138
5.1.3  提前終止 138
5.1.4  Dropout 139
5.2  網(wǎng)絡優(yōu)化 142
5.3  優(yōu)化算法 143
5.3.1  小批量梯度下降 143
5.3.2  批量大小選擇 144
5.3.3  學習率調(diào)整 144
5.4  深度學習中的正則化 154
5.4.1  L1和L2正則化 155
5.4.2  權(quán)重衰減 156
5.4.3  提前終止 156
5.4.4  Dropout 160
5.4.5  數(shù)據(jù)增強 165
5.4.6  對抗訓練 165
5.5  本章小結(jié) 169
5.6  復習題 170
參考文獻 170
第6章  深度學習用于計算機視覺 171
6.1  計算機視覺與深度學習概述 171
6.1.1  計算機視覺的任務 172
6.1.2  傳統(tǒng)計算機視覺面臨的挑戰(zhàn) 175
6.1.3  深度學習在計算機視覺領(lǐng)域的研究發(fā)展 177
6.1.4  深度學習在計算機視覺領(lǐng)域的應用 178
6.2  計算機視覺應用基礎(chǔ) 182
6.2.1  圖像數(shù)據(jù)的基本操作 182
6.2.2  常用的卷積神經(jīng)網(wǎng)絡的搭建 186
6.3  應用案例：基于LeNet-5的手寫數(shù)字識別 196
6.3.1  MNIST數(shù)據(jù)集簡介 196
6.3.2  加載和預處理數(shù)據(jù) 197
6.3.3  創(chuàng)建LeNet-5模型 198
6.3.4  編譯和訓練模型 200
6.3.5  使用模型進行預測 202
6.3.6  主流程及完整代碼 206
6.4  本章小結(jié) 206
6.5  復習題 206
參考文獻 207
第7章  深度學習用于目標檢測 208
7.1  目標檢測的概念 208
7.2  Faster R-CNN 209
7.3  YOLO 214
7.4  SSD 218
7.5  應用案例：基于YOLO的目標檢測 220
7.5.1  基于Darknet的YOLO實現(xiàn)目標檢測 220
7.5.2  基于Keras-YOLO實現(xiàn)目標檢測 222
7.6  本章小結(jié) 229
7.7  復習題 229
參考文獻 229
第8章  深度學習用于文本分析 230
8.1  自然語言處理與文本分析 230
8.1.1  文本分析的常見任務 230
8.1.2  自然語言處理技術(shù)簡介 232
8.2  應用案例：基于Encoder-Decoder模型的機器翻譯 239
8.2.1  Encoder-Decoder模型介紹 239
8.2.2  訓練數(shù)據(jù)準備 240
8.2.3  數(shù)據(jù)預處理 241
8.2.4  模型創(chuàng)建 243
8.2.5  模型訓練 245
8.2.6  模型預測 246
8.2.7  主流程代碼 247
8.3  本章小結(jié) 248
8.4  復習題 248
參考文獻 249
第9章  深度強化學習的應用 250
9.1  什么是深度強化學習 250
9.2  強化學習的應用實例 251
9.3  強化學習的基本概念 252
9.4  強化學習的算法簡介 254
9.4.1  算法分類 254
9.4.2  問題求解步驟 255
9.4.3  Q-Learning 256
9.4.4  DQN 256
9.5  應用案例：使用DQN算法學習玩CartPole游戲 257
9.5.1  CartPole游戲介紹 257
9.5.2  OpenAI Gym介紹 258
9.5.3  基于DQN的智能體實現(xiàn) 258
9.5.4  智能體強化訓練 260
9.5.5  訓練結(jié)果 262
9.6  本章小結(jié) 263
9.7  復習題 263
參考文獻 263
第10章  TensorFlow模型的應用 264
10.1  TensorFlow簡介 264
10.2  TensorFlow入門 265
10.2.1  TensorFlow的靜態(tài)圖模式 265
10.2.2  TensorFlow的Graph和Session 274
10.2.3  TensorFlow的動態(tài)圖模式 277
10.2.4  TensorFlow的損失函數(shù) 279
10.2.5  TensorFlow的優(yōu)化器 281
10.2.6  TensorFlow訓練數(shù)據(jù)輸入 284
10.3  應用案例：基于LeNet的手寫數(shù)字識別 287
10.3.1  MNIST 數(shù)據(jù)集簡介 287
10.3.2  LeNet的實現(xiàn)與講解 288
10.3.3  FashionMNIST數(shù)據(jù)集 296
10.4  應用案例：圖像多標簽分類實例 297
10.4.1  使用TFRecord生成訓練數(shù)據(jù) 297
10.4.2  構(gòu)建多標簽分類網(wǎng)絡 298
10.4.3  多標簽訓練模型 300
10.5  本章小結(jié) 301
10.6  復習題 301
參考文獻 302
第11章  Transformer模型的應用 303
11.1  模型 303
11.2  基于位置的前饋網(wǎng)絡 304
11.3  殘差連接和層歸一化 305
11.4  編碼器 306
11.5  解碼器 307
11.6  應用案例：英語-法語機器翻譯實例 310
11.7  本章小結(jié) 313
11.8  復習題 313
參考文獻 313
附錄A  線性代數(shù) 314
A.1  標量、向量、矩陣和張量 314
A.2  向量空間 316
A.3  范數(shù) 317
A.4  矩陣 318
A.4.1  線性映射 318
A.4.2  矩陣操作 319
A.4.3  矩陣類型 321
A.4.4  矩陣分解 322
附錄B  概率論 323
B.1  概率論 323
B.2  事件和概率 323
B.2.1  隨機變量 324
B.2.2  離散隨機變量 324
B.2.3  連續(xù)隨機變量 325
B.2.4  累積分布函數(shù) 326
B.2.5  隨機向量 326
B.2.6  連續(xù)隨機向量 327
B.2.7  邊際分布 327
B.2.8  條件概率分布 328
B.2.9  貝葉斯定理 328
B.2.10  獨立與條件獨立 329
B.2.11  期望和方差 329
B.3  隨機過程 330
B.3.1  馬爾可夫過程 330
B.3.2  馬爾可夫鏈 331
B.3.3  高斯過程 331
附錄C  信息論 333
深度學習（Deep Learning）是人工智能領(lǐng)域的一個概念，和傳統(tǒng)的學習相比，深度學習強調(diào)學習的深度，揭示內(nèi)部規(guī)律。深度學習是機器學習領(lǐng)域中一個新的研究方向，它被引入機器學習使其更接近初的目標—人工智能。深度學習是學習樣本數(shù)據(jù)的內(nèi)在規(guī)律和表示層次，這些學習過程中獲得的信息對諸如文字、圖像和聲音等數(shù)據(jù)的解釋有很大的幫助。它的終目標是讓機器能夠像人一樣具有分析學習能力，能夠識別文字、圖像和聲音等數(shù)據(jù)。深度學習是一個復雜的機器學習算法，在語音和圖像識別方面取得的效果遠遠超過先前的相關(guān)技術(shù)。
深度學習是一個多層神經(jīng)網(wǎng)絡，是一種機器學習方法。在深度學習出現(xiàn)之前，由于諸如局部解和梯度消失之類的技術(shù)問題，沒有對具有4層或更多層的深度神經(jīng)網(wǎng)絡進行充分的訓練，并且其性能也不佳。但是，近年來，Hinton等人通過研究多層神經(jīng)網(wǎng)絡，增強學習所需的計算機功能，以及通過Web的開發(fā)促進培訓數(shù)據(jù)的采購，使充分學習成為可能。結(jié)果，深度學習顯示出了高性能，壓倒了其他方法，解決了與語音、圖像和自然語言有關(guān)的問題，并在2010年開始流行。
作為人工智能重要的基礎(chǔ)技術(shù)之一，近年來深度學習逐步延伸到更多的應用場景，如自動駕駛、互聯(lián)網(wǎng)、安防、醫(yī)療等領(lǐng)域。隨著深度學習模型越來越大，所需的數(shù)據(jù)量越來越多，所需的AI算力資源和訓練時間越來越長，深度學習的訓練和推理性能將是重中之重。
傳統(tǒng)機器學習算法依賴人工設(shè)計特征，并進行特征提取，而深度學習方法不需要人工，而是依賴算法自動提取特征。深度學習模仿人類大腦的運行方式，從經(jīng)驗中學習獲取知識。這也是深度學習被看作黑盒子，可解釋性差的原因。隨著計算機軟硬件的飛速發(fā)展，現(xiàn)階段通過深度學習模擬人腦來解釋數(shù)據(jù)，包括圖像、文本和音頻等內(nèi)容。目前深度學習的主要應用領(lǐng)域有智能手機、語音識別、機器翻譯、拍照翻譯、自動駕駛等，在其他領(lǐng)域也能見到深度學習的身影，比如風控、安防、智能零售、醫(yī)療領(lǐng)域和推薦系統(tǒng)等。
讀者需要了解的重要信息
本書作為機器學習與深度學習專業(yè)書籍，介紹機器學習的基礎(chǔ)知識、深度學習的理論基礎(chǔ)和算法，以及常見應用場景及其Python實現(xiàn)。案例實踐的講解包含：算法分析、項目應用目的與效果、模型構(gòu)建、數(shù)據(jù)準備與預處理、模型訓練和預測，以及代碼實現(xiàn)、問題分析和實驗對比。所有示例均配有源代碼與數(shù)據(jù)。
本書采用理論與實踐相結(jié)合的方式，利用Python語言的強大功能，以小的編程代價進行深度學習應用實踐。本書展示如何將深度學習的算法應用于場景實踐，如計算機視覺、目標檢測、文本分析以及深度強化學習應用，后還給出了深度學習的兩個框架模型應用：TensorFlow和Transformer模型應用。為了幫助讀者理解深度學習算法涉及的數(shù)學知識，本書還在附錄中給出了機器學習和深度學習中用到的數(shù)學基礎(chǔ)知識，如線性代數(shù)、概率論和信息論。
本書內(nèi)容
本書基于Python 3全程以真實案例驅(qū)動，科學系統(tǒng)地介紹機器學習與深度學習領(lǐng)域的科學思維、  知識、專業(yè)工具、完整流程以及經(jīng)驗技巧。
本書整體分11章主體內(nèi)容和3章附錄，系統(tǒng)地講解了深度學習基礎(chǔ)知識與領(lǐng)域應用實踐。第1章簡要介紹了深度學習與機器學習的關(guān)系和深度學習應用場景，第2章是機器學習基礎(chǔ)，第3章是神經(jīng)網(wǎng)絡基礎(chǔ)，第4章是卷積神經(jīng)網(wǎng)絡和循環(huán)神經(jīng)網(wǎng)絡，第5章是正則化與深度學習優(yōu)化，第6章是計算機視覺應用，第7章是目標檢測應用，第8章是文本分析應用，第9章是深度強化學習應用，第10章是TensorFlow框架應用，第11章是Transformer框架應用，附錄A是線性代數(shù)，附錄B是概率論，附錄C是信息論。本書的例子都是在Python 3集成開發(fā)環(huán)境Anaconda 3中經(jīng)過實際調(diào)試通過的典型案例，書中的大部分實驗數(shù)據(jù)來源于GitHub，讀者可以參考實現(xiàn)。
示例源碼、PPT課件資源下載
本書配套70個示例源碼及PPT課件，需要用微信掃描下面的二維碼獲取。如果發(fā)現(xiàn)問題或者有任何建議，可發(fā)送郵件與作者聯(lián)系，電子郵箱為booksaga@163.com，郵件主題寫“Python深度學習原理、算法與案例”。
 
致  謝
本書完成之際，感謝李劍鋒、林慶發(fā)和鄧淇文等作者的努力付出。也要感謝同事，與他們的交流與探討使得本書得以修正錯誤和完善知識結(jié)構(gòu)。由于作者水平有限，書中的紕漏之處在所難免，懇請讀者不吝賜教。本書編寫過程中參考的資源都已在參考文獻中列出，所有案例都提供了源代碼。
作  者  
2023年2月  
 
 
C.1  熵 333
C.1.1  自信息和熵 333
C.1.2  熵編碼 334
C.1.3  聯(lián)合熵和條件熵 334
C.2  互信息 334
C.3  交叉熵和散度 335
C.3.1  交叉熵 335
C.3.2  KL散度 335
C.3.3  JS散度 335
C.3.4  Wasserstein距離 336