人工智能：深度學習核心算法（精裝版）

第 1 章 從生活走進深度學習 1
1．1 鈔票面值問題1
1．2 機器學習的特征表示5
1．3 機器學習10
1．4 深度學習的逆襲14
1．5 總結與提問 19
第 2 章 構建小型神經(jīng)網(wǎng)絡20
2．1 線性代數(shù)基礎21
2．2 全連接層與非線性函數(shù)27
2．3 神經(jīng)網(wǎng)絡可視化30
2．4 反向傳播法35
2．5 反向傳播法的計算方法37
2．6 反向傳播法在計算上的抽象40
2．7 反向傳播法在批量數(shù)據(jù)上的推廣42
2．8 模型訓練與結果可視化46
2．9 總結與提問48
第 3 章 多層網(wǎng)絡與分類50
3．1 MNIST 數(shù)據(jù)集50
3．2 概率論基礎51
3．3 Softmax 函數(shù)57
3．4 交叉熵損失60
3．5 使用 PyTorch 實現(xiàn)模型構建與訓練67
3．6 模型結果分析72
3．7 總結與提問74
第 4 章 卷積神經(jīng)網(wǎng)絡76
4．1 卷積操作76
4．2 卷積層匯總了什么83
4．3 卷積層的反向傳播87
4．4 ReLU93
4．5 Pooling 層97
4．6 卷積神經(jīng)網(wǎng)絡實驗101
4．7 卷積神經(jīng)網(wǎng)絡的感受野103
4．8 總結與提問112
第 5 章 網(wǎng)絡初始化113
5．1 錯誤的初始化113
5．2 關于數(shù)值的初始化實驗116
5．3 Xavier 初始化122
5．4 MSRA 初始化128
5．5 ZCA 初始化132
5．6 總結與提問138
第 6 章 網(wǎng)絡優(yōu)化140
6．1 梯度下降法140
6．2 動量法145
6．3 隨機梯度下降的變種算法151
6．4 總結與提問164
第 7 章 進一步強化網(wǎng)絡165
7．1 Dropout165
7．2 Batch Normalization168
7．3 總結與提問176
第 8 章 高級網(wǎng)絡結構178
8．1 CIFAR10 數(shù)據(jù)集178
8．2 VGG 模型179
8．3 ResNet183
8．4 Inception 195
8．5 通道分解的網(wǎng)絡196
8．6 總結與提問202
第 9 章 網(wǎng)絡可視化203
9．1 模型優(yōu)化路徑的簡單可視化203
9．2 卷積神經(jīng)網(wǎng)絡的可視化206
9．3 圖像風格轉(zhuǎn)換211
9．4 總結與提問217
第 10 章 物體檢測218
10．1 物體檢測的評價指標218
10．2 YOLOv3：一階段檢測算法223
10．3 Faster RCNN：兩階段檢測算法230
10．4 總結與提問235
第 11 章 詞嵌入237
11．1 One-Hot 編碼的缺點237
11．2 分布式表征238
11．3 負采樣242
11．4 SGNS 實現(xiàn)243
11．5 tSNE247
11．6 總結與提問255
第 12 章 循環(huán)神經(jīng)網(wǎng)絡256
12．1 語言模型與循環(huán)神經(jīng)網(wǎng)絡256
12．2 RNN 實現(xiàn)259
12．3 LSTM 網(wǎng)絡262
12．4 語言模型實踐266
12．5 LSTM 網(wǎng)絡的可視化與分析272
12．6 RNN 的應用類型274
12．7 CTC276
12．8 總結與提問282
第 13 章 Transformer284
13．1 Transformer 模型的基本結構286
13．2 模型訓練與預測293
13．3 BERT 模型296
13．4 總結與提問303
第 14 章 深度分解模型304
14．1 分解機306
14．2 評價指標 AUC310
14．3 DeepFM314
14．4 DeepFM 的改進方法317
14．5 總結與提問322