跟我一起學深度學習

第1章深度學習簡介
1.1深度學習的發(fā)展階段
1.1.1早期理論的發(fā)展
1.1.2人工智能的萌芽
1.1.3反向傳播算法的發(fā)展
1.1.4卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展
1.1.5循環(huán)神經(jīng)網(wǎng)絡(luò)的發(fā)展
1.1.6自然語言處理的發(fā)展
1.2深度學習中的關(guān)鍵人物
1.3深度學習框架介紹
1.3.1深度學習框架的出現(xiàn)
1.3.2深度學習框架的歷史
1.4本書的體系結(jié)構(gòu)
1.4.1面向的讀者
1.4.2內(nèi)容與結(jié)構(gòu)
1.4.3代碼及資源
第2章環(huán)境配置
2.1體系結(jié)構(gòu)介紹
2.1.1基礎(chǔ)軟硬件設(shè)施
2.1.2版本依賴關(guān)系
2.1.3Conda工具介紹
2.1.4安裝源介紹
2.1.5小結(jié)
2.2深度學習環(huán)境安裝
2.2.1在Windows環(huán)境下
2.2.2在Linux環(huán)境下
2.2.3實戰(zhàn)示例
2.2.4GPU租用
2.2.5小結(jié)
2.3開發(fā)環(huán)境安裝配置
2.3.1Jupyter Notebook安裝與使用
2.3.2PyCharm安裝與使用
2.3.3遠程連接使用
2.3.4小結(jié)
第3章深度學習基礎(chǔ)
3.1線性回歸
3.1.1理解線性回歸模型
3.1.2建立線性回歸模型
3.1.3求解線性回歸模型
3.1.4多項式回歸建模
3.1.5從特征輸入到特征提取
3.1.6從線性輸入到非線性變換
3.1.7單層神經(jīng)網(wǎng)絡(luò)
3.1.8深度神經(jīng)網(wǎng)絡(luò)
3.1.9小結(jié)
3.2線性回歸的簡捷實現(xiàn)
3.2.1PyTorch使用介紹
3.2.2房價預(yù)測實現(xiàn)
3.2.3梯形面積預(yù)測實現(xiàn)
3.2.4小結(jié)
3.3梯度下降與反向傳播
3.3.1梯度下降引例
3.3.2方向?qū)?shù)與梯度
3.3.3梯度下降原理
3.3.4前向傳播過程
3.3.5傳統(tǒng)方式梯度求解
3.3.6反向傳播過程
3.3.7梯度消失和梯度爆炸
3.3.8小結(jié)
3.4從零實現(xiàn)回歸模型
3.4.1網(wǎng)絡(luò)結(jié)構(gòu)
3.4.2模型實現(xiàn)
3.4.3小結(jié)
3.5從邏輯回歸到Softmax回歸
3.5.1理解邏輯回歸模型
3.5.2建立邏輯回歸模型
3.5.3求解邏輯回歸模型
3.5.4從二分類到多分類
3.5.5Softmax回歸
3.5.6特征的意義
3.5.7從具體到抽象
3.5.8從淺層到深層
3.5.9小結(jié)
3.6Softmax回歸的簡捷實現(xiàn)
3.6.1PyTorch使用介紹
3.6.2手寫體分類實現(xiàn)
3.6.3小結(jié)
3.7從零實現(xiàn)分類模型
3.7.1網(wǎng)絡(luò)結(jié)構(gòu)
3.7.2模型實現(xiàn)
3.7.3小結(jié)
3.8回歸模型評估指標
3.8.1常見回歸評估指標
3.8.2回歸指標示例代碼
3.8.3小結(jié)
3.9分類模型評估指標
3.9.1準確率
3.9.2精確率與召回率計算
3.9.3準確率與召回率的區(qū)別
3.9.4多分類下的指標計算
3.9.5TopK準確率
3.9.6小結(jié)
3.10過擬合與正則化
3.10.1模型擬合
3.10.2過擬合與欠擬合概念
3.10.3解決欠擬合與過擬合問題
3.10.4泛化誤差的來源
3.10.5測試集導(dǎo)致的泛化誤差
3.10.6訓(xùn)練集導(dǎo)致的泛化誤差
3.10.72正則化原理
3.10.82正則化中的參數(shù)更新
3.10.92正則化示例代碼
3.10.101正則化原理
3.10.111與2正則化差異
3.10.12丟棄法
3.10.13小結(jié)
3.11超參數(shù)與交叉驗證
3.11.1超參數(shù)介紹
3.11.2模型選擇
3.11.3基于交叉驗證的手寫體分類
3.11.4小結(jié)
3.12激活函數(shù)
3.12.1Sigmoid激活函數(shù)
3.12.2Tanh激活函數(shù)
3.12.3ReLU激活函數(shù)
3.12.4LeakyReLU激活函數(shù)
3.12.5小結(jié)
3.13多標簽分類
3.13.1Sigmoid損失
3.13.2交叉熵損失
3.13.3不考慮部分正確的評估指標
3.13.4考慮部分正確的評估指標
3.13.5小結(jié)
第4章卷積神經(jīng)網(wǎng)絡(luò)
4.1卷積的概念
4.1.1深度學習的思想
4.1.2卷積操作的作用
4.1.3卷積操作的原理
4.1.4小結(jié)
4.2卷積的計算過程
4.2.1多卷積核
4.2.2卷積的計算過程
4.2.3深度卷積
4.2.4小結(jié)
4.3填充和池化
4.3.1填充操作
4.3.2形狀計算
4.3.3卷積示例代碼
4.3.4池化操作
4.3.5池化的作用
4.3.6池化示例代碼
4.3.7小結(jié)
4.4LeNet5網(wǎng)絡(luò)
4.4.1LeNet5動機
4.4.2LeNet5結(jié)構(gòu)
4.4.3LeNet5實現(xiàn)
4.4.4小結(jié)
4.5AlexNet網(wǎng)絡(luò)
4.5.1AlexNet動機
4.5.2AlexNet結(jié)構(gòu)
4.5.3AlexNet實現(xiàn)
4.5.4小結(jié)
4.6VGG網(wǎng)絡(luò)
4.6.1VGG動機
4.6.2VGG結(jié)構(gòu)
4.6.3VGG實現(xiàn)
4.6.4小結(jié)
4.7NIN網(wǎng)絡(luò)
4.7.1NIN動機
4.7.2NIN結(jié)構(gòu)
4.7.3NIN實現(xiàn)
4.7.4小結(jié)
4.8GoogLeNet網(wǎng)絡(luò)
4.8.1GoogLeNet動機
4.8.2GoogLeNet結(jié)構(gòu)
4.8.3GoogLeNet實現(xiàn)
4.8.4小結(jié)
4.9ResNet網(wǎng)絡(luò)
4.9.1ResNet動機
4.9.2ResNet結(jié)構(gòu)
4.9.3ResNet實現(xiàn)
4.9.4小結(jié)
4.10DenseNet網(wǎng)絡(luò)
4.10.1DenseNet動機
4.10.2DenseNet結(jié)構(gòu)
4.10.3DenseNet實現(xiàn)
4.10.4小結(jié)
第5章模型訓(xùn)練與復(fù)用
5.1參數(shù)及日志管理
5.1.1參數(shù)傳遞
5.1.2參數(shù)載入
5.1.3定義日志函數(shù)
5.1.4日志輸出示例
5.1.5打印模型參數(shù)
5.1.6小結(jié)
5.2TensorBoard可視化
5.2.1安裝與啟動
5.2.2連接與訪問
5.2.3TensorBoard使用場景
5.2.4使用實例
5.2.5小結(jié)
5.3模型的保存與復(fù)用
5.3.1查看模型參數(shù)
5.3.2自定義參數(shù)前綴
5.3.3保存訓(xùn)練模型
5.3.4復(fù)用模型推理
5.3.5復(fù)用模型訓(xùn)練
5.3.6小結(jié)
5.4模型的遷移學習
5.4.1遷移學習
5.4.2模型定義與比較
5.4.3參數(shù)微調(diào)
5.4.4參數(shù)凍結(jié)
5.4.5小結(jié)
5.5開源模型復(fù)用
5.5.1ResNet結(jié)構(gòu)介紹
5.5.2遷移模型構(gòu)造
5.5.3結(jié)果對比
5.5.4小結(jié)
5.6多GPU訓(xùn)練
5.6.1訓(xùn)練方式
5.6.2數(shù)據(jù)并行
5.6.3使用示例
5.6.4小結(jié)
5.7數(shù)據(jù)預(yù)處理緩存
5.7.1修飾器介紹
5.7.2修飾器定義
5.7.3定義數(shù)據(jù)集構(gòu)造類
5.7.4定義緩存修飾器
5.7.5小結(jié)
第6章模型優(yōu)化方法
6.1學習率調(diào)度器
6.1.1使用示例
6.1.2實現(xiàn)原理
6.1.3狀態(tài)恢復(fù)
6.1.4小結(jié)
6.2梯度裁剪
6.2.1基于閾值裁剪
6.2.2基于范數(shù)裁剪
6.2.3使用示例
6.2.4小結(jié)
6.3批歸一化
6.3.1批歸一化動機
6.3.2批歸一化原理
6.3.3批歸一化實現(xiàn)
6.3.4小結(jié)
6.4層歸一化
6.4.1層歸一化動機
6.4.2層歸一化原理
6.4.3層歸一化實現(xiàn)
6.4.4小結(jié)
6.5組歸一化
6.5.1組歸一化動機
6.5.2組歸一化原理
6.5.3組歸一化實現(xiàn)
6.5.4小結(jié)
6.6動量法
6.6.1動量法動機
6.6.2動量法原理
6.6.3使用示例
6.6.4小結(jié)
6.7AdaGrad算法
6.7.1AdaGrad動機
6.7.2AdaGrad原理
6.7.3使用示例
6.7.4小結(jié)
6.8AdaDelta算法
6.8.1AdaDelta動機
6.8.2AdaDelta原理
6.8.3使用示例
6.8.4小結(jié)
6.9Adam算法
6.9.1Adam動機
6.9.2Adam原理
6.9.3使用示例
6.9.4小結(jié)
6.10初始化方法
6.10.1初始化動機
6.10.2初始化原理
6.10.3使用示例
6.10.4小結(jié)
第7章循環(huán)神經(jīng)網(wǎng)絡(luò)
7.1RNN
7.1.1RNN動機
7.1.2RNN原理
7.1.3RNN計算示例
7.1.4RNN類型
7.1.5多層RNN
7.1.6RNN示例代碼
7.1.7BPTT原理
7.1.8小結(jié)
7.2時序數(shù)據(jù)
7.2.1時序圖片
7.2.2基于RNN的圖片分類
7.2.3時序文本
7.2.4基于RNN的文本分類
7.2.5小結(jié)
7.3LSTM網(wǎng)絡(luò)
7.3.1LSTM動機
7.3.2LSTM結(jié)構(gòu)
7.3.3LSTM實現(xiàn)
7.3.4LSTM梯度分析
7.3.5小結(jié)
7.4GRU網(wǎng)絡(luò)
7.4.1GRU動機
7.4.2GRU結(jié)構(gòu)
7.4.3GRU實現(xiàn)
7.4.4GRU與LSTM對比
7.4.5類RNN模型
7.4.6小結(jié)
7.5BiRNN網(wǎng)絡(luò)
7.5.1BiRNN動機
7.5.2BiRNN結(jié)構(gòu)
7.5.3BiRNN實現(xiàn)
7.5.4小結(jié)
7.6CharRNN網(wǎng)絡(luò)
7.6.1任務(wù)構(gòu)造原理
7.6.2數(shù)據(jù)預(yù)處理
7.6.3古詩生成任務(wù)
7.6.4小結(jié)
第8章時序與模型融合
8.1TextCNN
8.1.1TextCNN結(jié)構(gòu)
8.1.2文本分詞
8.1.3TextCNN實現(xiàn)
8.1.4小結(jié)
8.2TextRNN
8.2.1TextRNN結(jié)構(gòu)
8.2.2TextRNN實現(xiàn)
8.2.3小結(jié)
8.3CNNRNN
8.3.1CLSTM結(jié)構(gòu)
8.3.2CLSTM實現(xiàn)
8.3.3BiLSTMCNN結(jié)構(gòu)
8.3.4BiLSTMCNN實現(xiàn)
8.3.5小結(jié)
8.4ConvLSTM網(wǎng)絡(luò)
8.4.1ConvLSTM動機
8.4.2ConvLSTM結(jié)構(gòu)
8.4.3ConvLSTM實現(xiàn)
8.4.4KTH數(shù)據(jù)集構(gòu)建
8.4.5KTH動作識別任務(wù)
8.4.6小結(jié)
8.53DCNN
8.5.13DCNN動機
8.5.23DCNN結(jié)構(gòu)
8.5.33DCNN實現(xiàn)
8.5.4小結(jié)
8.6STResNet
8.6.1STResNet動機
8.6.2任務(wù)背景
8.6.3STResNet結(jié)構(gòu)
8.6.4數(shù)據(jù)集構(gòu)建
8.6.5STResNet實現(xiàn)
8.6.6小結(jié)
第9章自然語言處理
9.1自然語言處理介紹
9.1.1語言模型
9.1.2基于規(guī)則的語言模型
9.1.3基于統(tǒng)計的語言模型
9.1.4基于神經(jīng)網(wǎng)絡(luò)的語言模型
9.1.5小結(jié)
9.2Word2Vec詞向量
9.2.1Word2Vec動機
9.2.2Word2Vec模型
9.2.3連續(xù)詞袋模型
9.2.4跳元模型
9.2.5小結(jié)
9.3Word2Vec訓(xùn)練與使用
9.3.1近似訓(xùn)練
9.3.2載入預(yù)訓(xùn)練詞向量
9.3.3可視化與類別計算
9.3.4詞向量訓(xùn)練
9.3.5小結(jié)
9.4GloVe詞向量
9.4.1GloVe動機
9.4.2共現(xiàn)矩陣
9.4.3GloVe原理
9.4.4GloVe詞向量使用
9.4.5小結(jié)
9.5詞向量的微調(diào)使用
9.5.1詞嵌入層介紹
9.5.2詞嵌入層使用
9.5.3多通道TextCNN網(wǎng)絡(luò)
9.5.4小結(jié)
9.6fastText網(wǎng)絡(luò)
9.6.1fastText動機
9.6.2fastText原理
9.6.3fastText庫介紹
9.6.4詞向量的使用與訓(xùn)練
9.6.5fastText文本分類
9.6.6小結(jié)
9.7Seq2Seq網(wǎng)絡(luò)
9.7.1Seq2Seq動機
9.7.2Seq2Seq結(jié)構(gòu)
9.7.3搜索策略
9.7.4小結(jié)
9.8序列模型評價指標
9.8.1困惑度
9.8.2雙語評估輔助
9.8.3小結(jié)
9.9NMT網(wǎng)絡(luò)
9.9.1谷歌翻譯簡介
9.9.2統(tǒng)計翻譯模型弊端
9.9.3NMT數(shù)據(jù)集構(gòu)建
9.9.4Seq2Seq實現(xiàn)
9.9.5NMT模型實現(xiàn)
9.9.6NMT推理實現(xiàn)
9.9.7NMT模型訓(xùn)練
9.9.8小結(jié)
9.10注意力機制
9.10.1注意力的起源
9.10.2注意力機制思想
9.10.3注意力計算框架
9.10.4填充注意力掩碼
9.10.5Bahdanau注意力
9.10.6Luong注意力
9.10.7小結(jié)
9.11含注意力的NMT網(wǎng)絡(luò)
9.11.1含注意力的NMT結(jié)構(gòu)
9.11.2含注意力的NMT實現(xiàn)
9.11.3模型訓(xùn)練
9.11.4小結(jié)
9.12含注意力的RNN
9.12.1含注意力的RNN結(jié)構(gòu)
9.12.2含注意力的RNN實現(xiàn)
9.12.3小結(jié)
第10章現(xiàn)代神經(jīng)網(wǎng)絡(luò)
10.1ELMo網(wǎng)絡(luò)
10.1.1ELMo動機
10.1.2ELMo結(jié)構(gòu)
10.1.3ELMo實現(xiàn)
10.1.4ELMo遷移
10.1.5小結(jié)
10.2Transformer網(wǎng)絡(luò)
10.2.1Transformer動機
10.2.2自注意力機制
10.2.3多頭注意力機制
10.2.4輸入編碼
10.2.5小結(jié)
10.3Transformer結(jié)構(gòu)
10.3.1單層Transformer結(jié)構(gòu)
10.3.2多層Transformer結(jié)構(gòu)
10.3.3多頭注意力實現(xiàn)
10.3.4小結(jié)
10.4Transformer實現(xiàn)
10.4.1嵌入層實現(xiàn)
10.4.2編碼器實現(xiàn)
10.4.3解碼器實現(xiàn)
10.4.4Transformer網(wǎng)絡(luò)實現(xiàn)
10.4.5小結(jié)
10.5Transformer對聯(lián)模型
10.5.1數(shù)據(jù)預(yù)處理
10.5.2網(wǎng)絡(luò)結(jié)構(gòu)
10.5.3模型訓(xùn)練
10.5.4模型推理
10.5.5小結(jié)
10.6BERT網(wǎng)絡(luò)
10.6.1BERT動機
10.6.2BERT結(jié)構(gòu)
10.6.3BERT輸入層
10.6.4預(yù)訓(xùn)練任務(wù)
10.6.5小結(jié)
10.7從零實現(xiàn)BERT
10.7.1工程結(jié)構(gòu)
10.7.2Input Embedding實現(xiàn)
10.7.3BERT網(wǎng)絡(luò)實現(xiàn)
10.7.4小結(jié)
10.8BERT文本分類模型
10.8.1任務(wù)構(gòu)造原理
10.8.2數(shù)據(jù)預(yù)處理
10.8.3加載預(yù)訓(xùn)練模型
10.8.4文本分類
10.8.5小結(jié)
10.9BERT問題選擇模型
10.9.1任務(wù)構(gòu)造原理
10.9.2數(shù)據(jù)預(yù)處理
10.9.3問題選擇
10.9.4小結(jié)
10.10BERT問題回答模型
10.10.1任務(wù)構(gòu)造原理
10.10.2樣本構(gòu)造與結(jié)果篩選
10.10.3數(shù)據(jù)預(yù)處理
10.10.4問題回答
10.10.5小結(jié)
10.11BERT命名體識別模型
10.11.1任務(wù)構(gòu)造原理
10.11.2數(shù)據(jù)預(yù)處理
10.11.3命名體識別
10.11.4小結(jié)
10.12BERT從零訓(xùn)練
10.12.1構(gòu)建流程與格式化
10.12.2數(shù)據(jù)預(yù)處理
10.12.3預(yù)訓(xùn)練任務(wù)實現(xiàn)
10.12.4模型訓(xùn)練與微調(diào)
10.12.5小結(jié)
10.13GPT1模型
10.13.1GPT1動機
10.13.2GPT1結(jié)構(gòu)
10.13.3GPT1實現(xiàn)
10.13.4小結(jié)
10.14GPT2與GPT3模型
10.14.1GPT2動機
10.14.2GPT2結(jié)構(gòu)
10.14.3GPT2使用
10.14.4GPT3結(jié)構(gòu)
10.14.5GPT3的局限性與安全性
10.14.6小結(jié)
10.15基于GPT2的中文預(yù)訓(xùn)練模型
10.15.1項目介紹
10.15.2生成結(jié)果篩選
10.15.3模型推理
10.15.4模型訓(xùn)練
10.15.5小結(jié)
10.16InstructGPT與ChatGPT
10.16.1InstructGPT動機
10.16.2人類反饋強化學習
10.16.3InstructGPT原理
10.16.4InstructGPT評估及結(jié)果
10.16.5InstructGPT數(shù)據(jù)集
10.16.6InstructGPT局限性
10.16.7ChatGPT
10.16.8小結(jié)
10.17ChatGPT與提示詞工程
10.17.1提示詞工程
10.17.2提示詞的構(gòu)成
10.17.3簡單提示詞
10.17.4少樣本提示詞
10.17.5情境化提示詞
10.17.6定制化
10.17.7場景應(yīng)用
10.17.8ChatGPT的攻擊與防御
10.17.9小結(jié)
10.18百川大模型使用
10.18.1模型簡介
10.18.2項目介紹
10.18.3模型結(jié)構(gòu)
10.18.4模型推理
10.18.5模型微調(diào)
10.18.6小結(jié)
10.19百川大模型實現(xiàn)
10.19.1解碼緩存原理
10.19.2解碼層實現(xiàn)
10.19.3語言模型實現(xiàn)
10.19.4模型微調(diào)實現(xiàn)
10.19.5模型推理實現(xiàn)
10.19.6模型解碼過程
10.19.7小結(jié)
10.20GPT4與GPT的使用
10.20.1GPT4介紹
10.20.2GPT4模型的使用
10.20.3GPT介紹
10.20.4小結(jié)
參考文獻