自然語言處理導(dǎo)論

前言
第1章緒論
1.1基本概念
1.1.1語言學(xué)與語音學(xué)
1.1.2自然語言
1.1.3自然語言處理
1.2自然語言處理的發(fā)展歷程
1.2.1自然語言處理的發(fā)展歷史
1.2.2自然語言處理的研究現(xiàn)狀
1.2.3自然語言處理的發(fā)展前景
1.3自然語言處理的基本方法
1.3.1理性主義方法
1.3.2經(jīng)驗(yàn)主義方法
1.3.3對(duì)比分析
1.4自然語言處理的研究?jī)?nèi)容
1.4.1文本分類
1.4.2信息抽取
1.4.3文本摘要
1.4.4智能問答
第2章語言模型
2.1語言模型概述
2.2n-gram統(tǒng)計(jì)語言模型
2.2.1何為n-gram模型
2.2.2n-gram語言模型評(píng)估詞序列
2.2.3n-gram統(tǒng)計(jì)語言模型的應(yīng)用
2.2.4n-gram模型中n對(duì)性能的影響
2.2.5n-gram模型小結(jié)
思考題
參考文獻(xiàn)
第3章神經(jīng)網(wǎng)絡(luò)和神經(jīng)語言模型
3.1人工神經(jīng)網(wǎng)絡(luò)和神經(jīng)語言模型
3.1.1人工神經(jīng)網(wǎng)絡(luò)
3.1.2神經(jīng)語言模型
3.2卷積神經(jīng)網(wǎng)絡(luò)
3.2.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
3.2.2卷積神經(jīng)網(wǎng)絡(luò)的文本處理
3.3循環(huán)神經(jīng)網(wǎng)絡(luò)
3.4遞歸神經(jīng)網(wǎng)絡(luò)
3.4.1遞歸神經(jīng)網(wǎng)絡(luò)的前向計(jì)算
3.4.2遞歸神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法
思考題
參考文獻(xiàn)
第4章詞和語義向量
4.1離散分布表示
4.1.1獨(dú)熱表示法
4.1.2詞袋表示法
4.2分布式表示
4.2.1Word2vec
4.2.2矩陣分解
4.2.3GloVe
4.3文本特征選擇法
4.3.1基于文檔頻率的特征提取法
4.3.2 χ2統(tǒng)計(jì)量
4.3.3信息增益法
4.3.4互信息法
4.4特征權(quán)重計(jì)算方法
4.4.1布爾權(quán)重
4.4.2 詞頻
4.4.3TF-IDF
思考題
參考文獻(xiàn)
第5章預(yù)訓(xùn)練語言模型
5.1Transformer
5.2ELMo
5.3GPT
5.4BERT
5.5后BERT時(shí)代
思考題
參考文獻(xiàn)
第6章序列標(biāo)注
6.1馬爾可夫模型
6.2條件隨機(jī)場(chǎng)、維特比算法
6.2.1條件隨機(jī)場(chǎng)的原理解析
6.2.2條件隨機(jī)場(chǎng)的特性
6.3序列標(biāo)注任務(wù)
6.3.1自動(dòng)分詞
6.3.2漢語自動(dòng)分詞中的基本問題
6.3.3歧義切分問題
6.3.4未登錄詞問題
6.4漢語分詞方法
6.4.1基于詞頻度統(tǒng)計(jì)的分詞方法
6.4.2N- 短路徑方法
6.4.3基于詞的n元語法模型的分詞方法
6.4.4由字構(gòu)詞的漢語分詞方法
6.4.5基于詞感知機(jī)的漢語分詞方法
6.4.6基于字的生成式模型和區(qū)分式模型相結(jié)合的漢語分詞方法
6.4.7其他分詞方法
6.5詞性標(biāo)注
6.5.1詞性標(biāo)注概述
6.5.2基于規(guī)則的詞性標(biāo)注方法
6.5.3基于統(tǒng)計(jì)模型的詞性標(biāo)注方法
6.5.4統(tǒng)計(jì)方法與規(guī)則方法相結(jié)合的詞性標(biāo)注方法
6.5.5詞性標(biāo)注的一致性檢查
6.5.6技術(shù)評(píng)測(cè)
6.6命名實(shí)體識(shí)別
6.6.1基于條件隨機(jī)場(chǎng)的命名實(shí)體識(shí)別方法
6.6.2基于多特征的命名實(shí)體識(shí)別方法
6.6.3基于神經(jīng)網(wǎng)絡(luò)的命名實(shí)體識(shí)別方法
思考題
參考文獻(xiàn)
第7章語義分析
7.1詞義消歧
7.1.1有監(jiān)督的詞義消歧方法
7.1.2基于詞典的詞義消歧方法
7.1.3無監(jiān)督的詞義消歧方法
7.1.4詞義消歧系統(tǒng)評(píng)價(jià)
7.2語義角色標(biāo)注
7.2.1語義角色標(biāo)注基本方法
7.2.2語義角色標(biāo)注的領(lǐng)域適應(yīng)性問題
7.3雙語聯(lián)合語義角色標(biāo)注方法
7.3.1基本思路
7.3.2雙語聯(lián)合語義角色標(biāo)注方法系統(tǒng)實(shí)現(xiàn)
思考題
參考文獻(xiàn)
第8章文本分類
8.1文本分類概述
8.2傳統(tǒng)分類器設(shè)計(jì)
8.2.1樸素貝葉斯分類器
8.2.2基于支持向量機(jī)的分類器
8.2.3KNN法
8.2.4線性 小二乘擬合法
8.2.5決策樹分類器
8.3基于神經(jīng)網(wǎng)絡(luò)方法
8.3.1文本分析中的循環(huán)神經(jīng)網(wǎng)絡(luò)方法
8.3.2文本分析中的遞歸神經(jīng)網(wǎng)絡(luò)方法
8.4文本分類性能評(píng)測(cè)
思考題
參考文獻(xiàn)
第9章情感計(jì)算
9.1文檔或句子級(jí)情感計(jì)算方法
9.1.1情感詞典方法
9.1.2基于傳統(tǒng)機(jī)器學(xué)習(xí)的監(jiān)督情感分類
9.1.3深度神經(jīng)網(wǎng)絡(luò)方法
9.2屬性級(jí)情感分析
9.2.1意見挖掘和屬性抽取
9.2.2針對(duì)特定目標(biāo)的情感分析
9.2.3立場(chǎng)檢測(cè)
9.3其他情感分析任務(wù)
9.3.1諷刺識(shí)別
9.3.2多模態(tài)情感分析
思考題
參考文獻(xiàn)
0章知識(shí)抽取
10.1知識(shí)抽取概述
10.2命名實(shí)體識(shí)別
10.2.1命名實(shí)體識(shí)別概述
10.2.2基于詞典及規(guī)則的方法
10.2.3基于機(jī)器學(xué)習(xí)的有監(jiān)督方法
10.2.4基于深度學(xué)習(xí)的方法
10.3實(shí)體鏈接
10.3.1實(shí)體鏈接概述
10.3.2通用解決框架
10.3.3實(shí)體鏈接數(shù)據(jù)集
10.4關(guān)系抽取
10.4.1關(guān)系抽取概述
10.4.2有監(jiān)督關(guān)系抽取
10.4.3遠(yuǎn)程監(jiān)督
10.4.4實(shí)體關(guān)系聯(lián)合抽取
10.4.5小樣本關(guān)系抽取
10.4.6開放域關(guān)系抽取
10.5事件抽取
10.5.1事件抽取概述
10.5.2基于模式匹配的方法
10.5.3基于機(jī)器學(xué)習(xí)的方法
10.5.4基于深度學(xué)習(xí)的方法
10.5.5事件抽取數(shù)據(jù)集
思考題
參考文獻(xiàn)
1章統(tǒng)計(jì)機(jī)器翻譯和神經(jīng)機(jī)器翻譯
11.1機(jī)器翻譯概述
11.1.1機(jī)器翻譯的發(fā)展
11.1.2機(jī)器翻譯方法
11.1.3機(jī)器翻譯研究現(xiàn)狀
11.2基于HMM的詞對(duì)位模型
11.3基于短語的翻譯模型
11.4基于 熵的翻譯模型
11.4.1對(duì)位模板與 近似
11.4.2特征函數(shù)
11.4.3參數(shù)訓(xùn)練
11.5基于層次短語的翻譯模型
11.5.1概述
11.5.2模型描述和參數(shù)訓(xùn)練
11.5.3解碼方法
11.6樹翻譯模型
11.6.1樹到串的翻譯模型
11.6.2樹到樹的翻譯模型
11.6.3串到樹的翻譯模型
11.7樹模型的相關(guān)改進(jìn)
11.8基于謂詞論元結(jié)構(gòu)轉(zhuǎn)換的翻譯模型
11.9集外詞翻譯
11.9.1數(shù)字和時(shí)間表示的識(shí)別與翻譯
11.9.2普通集外詞的翻譯
11.10統(tǒng)計(jì)翻譯系統(tǒng)實(shí)現(xiàn)
11.11譯文質(zhì)量評(píng)估方法
11.11.1概述
11.11.2技術(shù)指標(biāo)
11.11.3相關(guān)評(píng)測(cè)
思考題
參考文獻(xiàn)
2章問答系統(tǒng)與多輪對(duì)話
12.1引言
12.1.1什么是問答系統(tǒng)
12.1.2從問答到對(duì)話的擴(kuò)展
12.2 代：基于模板規(guī)則的問答系統(tǒng)
12.3第二代：基于信息檢索的問答系統(tǒng)
12.3.1問題理解
12.3.2答案檢索
12.4第三代：基于數(shù)據(jù)庫的問答系統(tǒng)
12.4.1問題理解
12.4.2數(shù)據(jù)庫的涌現(xiàn)
12.4.3FAQ問答系統(tǒng)
12.4.4特定領(lǐng)域問答系統(tǒng)（任務(wù)型）
12.4.5閱讀理解型問答系統(tǒng)
12.5第四代：基于知識(shí)庫的問答系統(tǒng)
12.5.1知識(shí)庫
12.5.2語義分析范式
12.5.3信息提取范式
12.5.4對(duì)比信息提取范式與語義分析范式
12.5.5數(shù)據(jù)集
12.6多模態(tài)問答系統(tǒng)
12.6.1多模態(tài)任務(wù)概述
12.6.2視覺問答系統(tǒng)
12.6.3視頻問答系統(tǒng)
12.7多輪對(duì)話系統(tǒng)與大語言模型
12.7.1多輪對(duì)話系統(tǒng)組成
12.7.2對(duì)話理解
12.7.3對(duì)話管理
12.7.4基于大語言模型的對(duì)話系統(tǒng)
12.8前景與挑戰(zhàn)
思考題
參考文獻(xiàn)
3章基于深度學(xué)習(xí)的社會(huì)計(jì)算
13.1基于深度學(xué)習(xí)的社會(huì)聯(lián)系模型
13.1.1基于淺層嵌入的模型
13.1.2基于深度神經(jīng)網(wǎng)絡(luò)的模型
13.2基于深度學(xué)習(xí)的 系統(tǒng)
13.2.1社交媒體中的 系統(tǒng)
13.2.2基于淺層嵌入的 模型
13.2.3基于深度神經(jīng)網(wǎng)絡(luò)的 模型
思考題
參考文獻(xiàn)
4章自動(dòng)文摘與信息抽取
14.1自動(dòng)文摘技術(shù)概要
14.2抽取式自動(dòng)文摘
14.2.1句子重要性評(píng)估
14.2.2基于約束的摘要生成方法
14.3壓縮式自動(dòng)文摘
14.3.1句子壓縮方法
14.3.2基于句子壓縮的自動(dòng)文摘
14.4生成式自動(dòng)文摘
14.5基于查詢的自動(dòng)文摘
14.5.1基于語言模型的相關(guān)性計(jì)算方法
14.5.2基于關(guān)鍵詞重合度的相關(guān)性計(jì)算方法
14.5.3基于圖模型的相關(guān)性計(jì)算方法
14.6跨語言和多語言自動(dòng)文摘
14.6.1跨語言自動(dòng)文摘
14.6.2多語言自動(dòng)文摘
14.7摘要質(zhì)量評(píng)估方法和相關(guān)評(píng)測(cè)
14.7.1摘要質(zhì)量評(píng)估方法
14.7.2相關(guān)評(píng)測(cè)活動(dòng)
思考題
參考文獻(xiàn)
5章內(nèi)容生成和跨模態(tài)計(jì)算
15.1自然語言生成和圖像描述
15.1.1自然語言生成
15.1.2圖像中的自然語言描述示例
15.1.3圖像描述技術(shù)
15.2圖像描述的深度學(xué)習(xí)框架
15.2.1端到端框架
15.2.2組合框架
15.2.3其他框架
15.3評(píng)估指標(biāo)和基準(zhǔn)
思考題
參考文獻(xiàn)
6章深度學(xué) 下自然語言處理的前沿研究
16.1組合型泛化
16.2自然語言處理中的無監(jiān)督學(xué)習(xí)
16.3自然語言處理中的強(qiáng)化學(xué)習(xí)
16.4自然語言處理中的元學(xué)習(xí)
16.5弱可解釋性與強(qiáng)可解釋性
思考題
參考文獻(xiàn)