工業(yè)人工智能概論

第 1 章 緒論??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????1
1．1 人工智能的內(nèi)涵及發(fā)展????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????1
1．2 工業(yè)人工智能的內(nèi)涵及發(fā)展????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????4
1．2．1 工業(yè)人工智能的發(fā)展背景 ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????4
1．2．2 工業(yè)人工智能的發(fā)展歷程 ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????6
1．2．3 工業(yè)人工智能與傳統(tǒng)人工智能的區(qū)別????????????????????????????????????????????????????????????????????????????????????????????????7
1．3 工業(yè)人工智能的算法功能和典型應(yīng)用????????????????????????????????????????????????????????????????????????????????????????????????????8
1．4 工業(yè)人工智能的知識體系????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????11
1．5 工業(yè)人工智能的關(guān)鍵技術(shù)????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????12
第 2 章 數(shù)據(jù)分析與數(shù)據(jù)挖掘工具????????????????????????????????????????????????????????????????????????????????????????????????????????????????????14
2．1 工業(yè)大數(shù)據(jù)的特點????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????15
2．2 工業(yè)大數(shù)據(jù)挖掘的定義及過程??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????17
2．3 工業(yè)數(shù)據(jù)的特征分析??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????18
2．3．1 工業(yè)數(shù)據(jù)的統(tǒng)計描述 ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????18
2．3．2 工業(yè)數(shù)據(jù)的相關(guān)性分析 ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????20
2．4 工業(yè)數(shù)據(jù)的預(yù)處理????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????23
2．4．1 異常值處理 ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????23
工業(yè)數(shù)據(jù)異常值的處理案例 ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????25
2．4．2 缺失值處理 ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????26
工業(yè)數(shù)據(jù)缺失值的處理案例 ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????27
2．4．3 數(shù)據(jù)歸一化處理 ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????28
2．4．4 不等時距數(shù)據(jù)處理 ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????28
工業(yè)數(shù)據(jù)不等時距處理案例??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????．29
2．4．5 離群點檢測??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????．32
2．4．6 不平衡數(shù)據(jù)集檢測????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????．34
2．4．7 數(shù)據(jù)降維處理????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????．36
2．5 假設(shè)檢驗????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????．41
2．5．1 假設(shè)檢驗的基本原理??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????．41
2．5．2 假設(shè)檢驗的一般步驟??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????．42
2．5．3 假設(shè)檢驗的種類??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????．42
2．6 多變量分析模型 ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????．44
2．6．1 線性模型????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????．44
2．6．2 廣義線性模型????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????．45
2．6．3 線性混合效應(yīng)模型????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????．47
2．7 最大似然估計????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????．48
2．8 關(guān)聯(lián)分析????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????．49
2．8．1 關(guān)聯(lián)規(guī)則挖掘??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????．??51
2．8．2 關(guān)聯(lián)規(guī)則算法??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????．??52
2．8．3 時序關(guān)聯(lián)規(guī)則算法????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????．54
2．8．4 一維時序關(guān)聯(lián)規(guī)則????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????．56
2．8．5 多維時序關(guān)聯(lián)規(guī)則????????????????????????????????????????????????????????????????????????????????????????????????????????????．????????????????????????????．59
2．9 數(shù)據(jù)分析系統(tǒng)的體系架構(gòu) ????????????????????????????????????????????????????????????????????????????????????????????．????????????????????????????．64
第 3 章 機器學(xué)習(xí) ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????．??????????????????????????????．65
3．1 人類的思考過程與機器學(xué)習(xí)的過程 ??????????????????????????????????????????????????????????????????????????????????????????????????????．65
3．2 機器學(xué)習(xí)的知識體系 ??????????????????????????????????????????????????????????????????????????????????????????????????????．????????????????????????????????．67
3．3 Python 語言的優(yōu)勢??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????．68
3．4 工業(yè)人工智能的有監(jiān)督學(xué)習(xí)算法 ??????????????????????????????????????????????????????????????????????????????????????????????????????????????．68
3．4．1 決策樹算法??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????．????70
決策樹算法的應(yīng)用案例：判斷影響打網(wǎng)球的相關(guān)因素????????????????????????????????????????????????????????73
3．4．2 回歸算法??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????75
3．4．3 支持向量機算法 ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????80
有監(jiān)督學(xué)習(xí)算法的工業(yè)應(yīng)用案例????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????86
3．5 工業(yè)人工智能的無監(jiān)督學(xué)習(xí)算法??????????????????????????????????????????????????????????????????????????????????????????????????????????????????87
3．5．1 聚類算法 ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????87
3．5．2 自動編碼器 ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????94
無監(jiān)督學(xué)習(xí)算法的工業(yè)應(yīng)用案例??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????95
3．6 機器學(xué)習(xí)的主要挑戰(zhàn)及應(yīng)對方法????????????????????????????????????????????????????????????????????????????????????????????????????????????????????97
3．6．1 機器學(xué)習(xí)的主要挑戰(zhàn) ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????97
3．6．2 應(yīng)對挑戰(zhàn)的主要方法 ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????100
第 4 章 深度學(xué)習(xí)????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????．??????????????103
4．1 深度學(xué)習(xí)的核心??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????．????????????????103
4．2 深度學(xué)習(xí)的常用網(wǎng)絡(luò)：卷積神經(jīng)網(wǎng)絡(luò)????????????????????????????????????????????????????????????????????????????????????????????????????????106
4．2．1 卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????107
4．2．2 卷積神經(jīng)網(wǎng)絡(luò)的關(guān)鍵技術(shù) ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????109
4．2．3 卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????112
卷積神經(jīng)網(wǎng)絡(luò)的工業(yè)應(yīng)用案例????????????????????????????????????????????????．??????????????????????????????????????????????????????????????????113
4．3 深度學(xué)習(xí)的常用網(wǎng)絡(luò)：循環(huán)神經(jīng)網(wǎng)絡(luò)????????????????????????????????????．????????????????????????????????????????????????????????????????115
4．3．1 循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) ????????????????????????????????????????????????????????????????????????． ??????????????????????????????????????????????????????????????115
4．3．2 循環(huán)神經(jīng)網(wǎng)絡(luò)的優(yōu)化 ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????117
循環(huán)神經(jīng)網(wǎng)絡(luò)的工業(yè)應(yīng)用案例????????????????????????????????????????????????????????????????????????????????????????????????????????????????????120
4．4 深度學(xué)習(xí)的常用網(wǎng)絡(luò)：受限玻爾茲曼機??????????????????????????????????????????????????????????????????????????????????????????????????126
4．4．1 受限玻爾茲曼機的分類 ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????126
4．4．2 受限玻爾茲曼機的訓(xùn)練 ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????131
4．5 深度學(xué)習(xí)的常用網(wǎng)絡(luò)：深度置信網(wǎng)絡(luò)????????????????????????????????????????????????????????????????????????????????????????????????????????134
4．5．1 深度置信網(wǎng)絡(luò)的構(gòu)建 ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????134
4．5．2 深度置信網(wǎng)絡(luò)的訓(xùn)練 ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????135
深度置信網(wǎng)絡(luò)的工業(yè)應(yīng)用案例????????????????????????????????????????????????????????????????????????????????????????????????????????????????????137
4．6 深度學(xué)習(xí)的常用框架??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????143
4．6．1 Theano??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????．143
4．6．2 TensorFlow????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????． 144
4．6．3 Keras ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????．146
4．6．4 Caffe/Caffe2??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????． ??146
4．6．5 MXNet ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????． 147
4．6．6 CNTK????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????． 148
第 5 章 工業(yè)人工智能面臨的挑戰(zhàn) ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????149
5．1 工業(yè)人工智能帶來的變革 ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????．149
5．2 工業(yè)人工智能面臨的挑戰(zhàn) ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????．150
參考文獻??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????153