快速部署大模型：LLM策略與實(shí)踐（基于ChatGPT等大語(yǔ)言模型）

第1部分大模型介紹
第1章大模型概述
1.1什么是大模型
1.1.1大模型的定義
1.1.2大模型的關(guān)鍵特征
1.1.3大模型是如何工作的
1.2當(dāng)前流行的大模型
1.2.1BERT
1.2.2GPT3和 ChatGPT 
1.2.3T5
1.3垂直領(lǐng)域大模型
1.4大模型的應(yīng)用
1.4.1經(jīng)典的NLP任務(wù)
1.4.2自由文本生成
1.4.3信息檢索/神經(jīng)語(yǔ)意搜索
1.4.4聊天機(jī)器人
1.5本章小結(jié)
第2章大模型語(yǔ)義檢索
2.1簡(jiǎn)介
2.2語(yǔ)義檢索的任務(wù)
2.3非對(duì)稱語(yǔ)義檢索方案概述
2.4組件
2.4.1文本嵌入器
2.4.2文檔分塊
2.4.3向量數(shù)據(jù)庫(kù)
2.4.4Pinecone
2.4.5開源替代方案
2.4.6檢索結(jié)果重排
2.4.7API
2.5完整方案
2.6閉源組件的成本
2.7本章小結(jié)
第3章提示詞工程入門
3.1簡(jiǎn)介
3.2提示詞工程
3.2.1LLM的對(duì)齊
3.2.2LLM提問(wèn)
3.2.3小樣本學(xué)習(xí)
3.2.4結(jié)構(gòu)化輸出
3.2.5人物角色提示詞
3.3跨模型提示詞工程
3.3.1ChatGPT 
3.3.2Cohere
3.3.3開源提示詞工程
3.4采用ChatGPT構(gòu)建問(wèn)答機(jī)器人
3.5本章小結(jié)
第2部分充分挖掘大模型的潛力
第4章通過(guò)定制化微調(diào)優(yōu)化大模型
4.1簡(jiǎn)介
4.2遷移學(xué)習(xí)與微調(diào)入門
4.2.1微調(diào)過(guò)程的解釋
4.2.2閉源預(yù)訓(xùn)練模型作為基礎(chǔ)模型
4.3OpenAI 微調(diào) API 概覽
4.3.1GPT3微調(diào) API
4.3.2案例學(xué)習(xí)： 亞馬遜評(píng)論情感分類
4.3.3數(shù)據(jù)指南和最佳實(shí)踐
4.4使用OpenAI CLI實(shí)現(xiàn)自定義數(shù)據(jù)微調(diào)
4.5設(shè)置 OpenAI CLI
4.6LLM微調(diào)實(shí)踐
4.6.1采用量化指標(biāo)評(píng)測(cè)大模型
4.6.2定性評(píng)估技術(shù)
4.6.3將微調(diào)的GPT3模型集成到應(yīng)用程序中
4.6.4案例學(xué)習(xí)： 亞馬遜評(píng)論分類
4.7本章小結(jié)
第5章高級(jí)提示工程
5.1提示注入攻擊
5.2輸入/輸出驗(yàn)證
5.3批處理提示
5.4提示鏈
5.4.1提示鏈作為防御提示注入的手段
5.4.2使用提示鏈來(lái)防止提示填充
5.4.3使用提示鏈來(lái)安全地使用多模態(tài)LLM
5.5思維鏈提示
5.6重新審視小樣本學(xué)習(xí)
5.7測(cè)試和迭代快速開發(fā)
5.8本章小結(jié)
第6章定制嵌入層和模型架構(gòu)
6.1案例研究： 構(gòu)建一個(gè)推薦系統(tǒng)
6.1.1定義問(wèn)題和數(shù)據(jù)
6.1.2推薦系統(tǒng)的定義
6.1.3基于萬(wàn)條用戶行為數(shù)據(jù)構(gòu)建推薦系統(tǒng)
6.1.4生成自定義字段來(lái)對(duì)比項(xiàng)目的相似性
6.1.5采用基礎(chǔ)詞向量構(gòu)建基線
6.1.6準(zhǔn)備微調(diào)數(shù)據(jù)
6.1.7使用Sentence Transformers微調(diào)開源嵌入器
6.1.8微調(diào)效果總結(jié)
6.2本章小結(jié)
第3部分大模型的高級(jí)使用
第7章超越基礎(chǔ)模型
7.1案例研究： 視覺問(wèn)答
7.1.1模型簡(jiǎn)介： DistilBERT、視覺轉(zhuǎn)換器和GPT2
7.1.2隱藏狀態(tài)投影和融合
7.1.3交叉注意力是什么以及為什么至關(guān)重要
7.1.4定制多模式聯(lián)運(yùn)模型
7.1.5數(shù)據(jù)： 視覺問(wèn)答
7.1.6VQA訓(xùn)練迭代
7.1.7結(jié)果總結(jié)
7.2案例研究： 從反饋中強(qiáng)化學(xué)習(xí)
7.2.1FLANT5模型
7.2.2獎(jiǎng)勵(lì)模型： 情感和語(yǔ)法正確性
7.2.3Transformer強(qiáng)化學(xué)習(xí)
7.2.4RLF訓(xùn)練循環(huán)
7.2.5結(jié)果總結(jié)
7.3本章小結(jié)
第8章開源大模型的高級(jí)微調(diào)方法
8.1案例研究： 采用BERT對(duì)動(dòng)漫進(jìn)行多標(biāo)簽分類
8.1.1采用Jaccard相似分來(lái)評(píng)估動(dòng)漫標(biāo)題多標(biāo)簽分類的效果
8.1.2簡(jiǎn)單的微調(diào)大模型訓(xùn)練流程
8.1.3通用的開源大模型微調(diào)技巧
8.1.4結(jié)果總結(jié)
8.2采用GPT2生成LaTeX
8.2.1開源大模型的提示詞工程 
8.2.2結(jié)果總結(jié) 
8.3Sinan嘗試做出聰明而優(yōu)美的回應(yīng)： SAWYER
8.3.1有監(jiān)督指令微調(diào) 
8.3.2獎(jiǎng)勵(lì)模型的訓(xùn)練 
8.3.3從(期望的)人類反饋中進(jìn)行強(qiáng)化學(xué)習(xí) 
8.3.4結(jié)果總結(jié) 
8.4日新月異的微調(diào)世界
8.5本章小結(jié)
第9章將LLM應(yīng)用于生產(chǎn)
9.1閉源LLM應(yīng)用于生產(chǎn)
9.2開源LLM應(yīng)用于生產(chǎn)
9.2.1將LLM應(yīng)用于推理
9.2.2互操作性
9.2.3模型量化
9.2.4模型剪枝
9.2.5知識(shí)蒸餾
9.2.6大模型的成本預(yù)估
9.2.7模型推送到Hugging Face倉(cāng)庫(kù)
9.3本章小結(jié)
9.3.1歡迎向社區(qū)貢獻(xiàn)代碼
9.3.2繼續(xù)加油
第4部分附錄
附錄ALLM常見問(wèn)題解答
附錄BLLM術(shù)語(yǔ)表
附錄CLLM應(yīng)用架構(gòu)