大模型理論與實踐：打造行業(yè)智能助手

第1章大模型導論1
1.1大模型概念1
1.1.1預訓練2
1.1.2有監(jiān)督微調(diào)2
1.1.3偏好對齊2
1.2大模型的過去、現(xiàn)在與未來2
1.2.1大模型簡史2
1.2.2大模型的現(xiàn)狀4
1.2.3大模型未來展望8
1.3本書的讀者對象與內(nèi)容11
參考文獻12
第2章大模型基礎知識13
2.1分詞13
2.1.1粒度13
2.1.2子詞拆分算法13
2.1.3實現(xiàn)14
2.2位置編碼15
2.2.1RoPE15
2.2.2ALiBi16
2.3網(wǎng)絡結構17
2.3.1Transformer架構17
2.3.2大模型的Transformer架構20
2.3.3MoE模型22
2.4長上下文25
2.4.1采用RoPE位置編碼的長上下文擴展25
2.4.2注意力操作優(yōu)化27
參考文獻31
第3章大語言模型分布式訓練33
3.1大語言模型高效訓練技術要點33
3.2并行模式34
3.2.1數(shù)據(jù)并行化35
3.2.2流水線并行化35
3.2.3張量并行化37
3.3集合通信38
3.3.1allreduce操作的分解39
3.3.2allreduce操作的高效實現(xiàn)39
3.4DeepSpeed訓練加速框架40
3.4.1ZeRO技術41
3.4.2ZeRO技術與流水線并行化結合43
3.4.3ZeRO技術與張量并行化結合43
3.5DeepSpeed訓練方案建議44
參考文獻45
第4章繼續(xù)預訓練46
4.1繼續(xù)預訓練的必要性46
4.2數(shù)據(jù)預處理47
4.2.1低質(zhì)數(shù)據(jù)過濾48
4.2.2去重48
4.3實戰(zhàn): 行業(yè)大模型的繼續(xù)預訓練49
4.3.1數(shù)據(jù)準備49
4.3.2數(shù)據(jù)處理50
4.3.3模型訓練50
參考文獻59
第5章對齊(上)——指令微調(diào)60
5.1指令微調(diào)的必要性60
5.2微調(diào)方法61
5.2.1全參微調(diào)61
5.2.2部分參數(shù)微調(diào)61
5.3指令集的自動構造64
5.3.1指令的大規(guī)模自動生成64
5.3.2指令集的進化66
5.3.3拒絕采樣66
5.4實戰(zhàn): 打造具有多輪對話能力的行業(yè)智能助手66
5.4.1數(shù)據(jù)準備67
5.4.2數(shù)據(jù)處理67
5.4.3模型訓練69
5.4.4評測74
參考文獻75
第6章對齊(下)——強化學習微調(diào)76
6.1強化學習微調(diào)的必要性76
6.2人類偏好對齊的強化學習建模77
6.3RLHF78
6.3.1RLHF技術基本流程78
6.3.2獎勵模型78
6.3.3PPO算法79
6.4RLAIF81
6.4.1偏好標注81
6.4.2微調(diào)技術路線83
6.4.3評估83
6.5實戰(zhàn): DeepSpeedChat代碼解析84
6.5.1訓練獎勵模型84
6.5.2PPO訓練85
6.6DPO算法90
6.6.1DPO算法目標函數(shù)推導91
6.6.2Online DPO算法92
參考文獻94
第7章推理與部署95
7.1推理加速95
7.1.1常規(guī)工程化手段95
7.1.2自注意力計算訪存優(yōu)化97
7.1.3推測解碼97
7.2量化102
7.2.1量化感知訓練103
7.2.2訓練后量化104
7.3部署109
7.3.1TensorRTLLM109
7.3.2vLLM111
7.3.3DeepSpeed Inference111
7.3.4SGLang112
7.3.5平臺選型建議112
7.4實戰(zhàn): 使用FastChat部署Qwen 14B113
7.4.1準備工作113
7.4.2部署113
參考文獻115
第8章多模態(tài)大模型116
8.1多模態(tài)技術路線116
8.2橋接多模態(tài)大模型120
8.2.1Flamingo121
8.2.2BLIP系列124
8.2.3LLaVA128
8.2.4OneLLM129
8.3原生多模態(tài)大模型131
8.3.1Gemini132
8.3.2GPT4o133
8.3.3Chameleon133
參考文獻136
第9章AI智能體137
9.1AI智能體架構138
9.1.1感知139
9.1.2規(guī)劃139
9.1.3記憶143
9.1.4行動147
9.2開發(fā)框架149
9.2.1LangChain149
9.2.2AutoGen150
9.2.3AGENTS151
9.2.4MetaGPT153
參考文獻154