基于數(shù)據(jù)科學(xué)的惡意軟件分析

目　　錄
譯者序
序
前言
致謝
作者簡(jiǎn)介
評(píng)審專家簡(jiǎn)介
第1章　惡意軟件靜態(tài)分析基礎(chǔ) 1
1.1　微軟Windows可移植可執(zhí)行文件格式 2
1.1.1　PE頭 3
1.1.2　可選頭 3
1.1.3　節(jié)頭 3
1.2　使用pef?ile解析PE文件格式 5
1.3　檢查惡意軟件的圖片 7
1.4　檢查惡意軟件的字符串 8
1.4.1　使用字符串程序 8
1.4.2　分析鏡像字符串 8
1.5　小結(jié) 10
第2章　基礎(chǔ)靜態(tài)分析進(jìn)階：x86反匯編 11
2.1　反匯編方法 11
2.2　x86匯編語(yǔ)言基礎(chǔ) 12
2.2.1　CPU寄存器 13
2.2.2　算術(shù)指令 14
2.2.3　數(shù)據(jù)傳送指令 15
2.3　使用peffile和capstone反匯編ircbot.exe 19
2.4　限制靜態(tài)分析的因素 21
2.4.1　加殼 21
2.4.2　資源混淆 22
2.4.3　反匯編技術(shù) 22
2.4.4　動(dòng)態(tài)下載數(shù)據(jù) 22
2.5　小結(jié) 23
第3章　動(dòng)態(tài)分析簡(jiǎn)介 24
3.1　為什么使用動(dòng)態(tài)分析 24
3.2　惡意軟件數(shù)據(jù)科學(xué)的動(dòng)態(tài)分析 25
3.3　動(dòng)態(tài)分析的基本工具 25
3.3.1　典型的惡意軟件行為 26
3.3.2　在malwr.com上加載文件 26
3.3.3　在malwr.com上分析結(jié)果 27
3.4　基本動(dòng)態(tài)分析的局限 32
3.5　小結(jié) 32
第4章　利用惡意軟件網(wǎng)絡(luò)識(shí)別攻擊活動(dòng) 33
4.1　節(jié)點(diǎn)和邊 34
4.2　二分網(wǎng)絡(luò) 35
4.3　惡意軟件網(wǎng)絡(luò)可視化 37
4.3.1　失真問(wèn)題 37
4.3.2　力導(dǎo)向算法 38
4.4　使用NetworkX構(gòu)建網(wǎng)絡(luò) 38
4.5　添加節(jié)點(diǎn)和邊 39
4.5.1　添加屬性 40
4.5.2　將網(wǎng)絡(luò)保存到磁盤(pán) 41
4.6　使用GraphViz實(shí)現(xiàn)網(wǎng)絡(luò)可視化 41
4.6.1　使用參數(shù)調(diào)整網(wǎng)絡(luò) 42
4.6.2　GraphViz命令行工具 43
4.6.3　向節(jié)點(diǎn)和邊添加可視屬性 47
4.7　構(gòu)建惡意軟件網(wǎng)絡(luò) 50
4.8　構(gòu)建共享圖像關(guān)系網(wǎng)絡(luò) 53
4.9　小結(jié) 57
第5章　共享代碼分析 58
5.1　通過(guò)特征提取對(duì)樣本進(jìn)行比較 61
5.1.1　特征袋模型如何工作 61
5.1.2　N-gram 62
5.2　使用Jaccard系數(shù)量化相似性 63
5.3　使用相似性矩陣評(píng)價(jià)惡意軟件共享代碼估計(jì)方法 65
5.3.1　基于指令序列的相似性 66
5.3.2　基于字符串的相似性 68
5.3.3　基于導(dǎo)入地址表的相似性 69
5.3.4　基于API動(dòng)態(tài)調(diào)用的相似性 70
5.4　構(gòu)建相似圖 71
5.5　擴(kuò)展相似性比較 76
5.5.1　minhash概述 77
5.5.2　minhash詳述 77
5.6　構(gòu)建持續(xù)的惡意軟件相似性搜索系統(tǒng) 79
5.7　運(yùn)行相似性搜索系統(tǒng) 84
5.8　小結(jié) 86
第6章　理解基于機(jī)器學(xué)習(xí)的惡意軟件檢測(cè)方法 87
6.1　基于機(jī)器學(xué)習(xí)的檢測(cè)引擎構(gòu)建步驟 88
6.1.1　收集訓(xùn)練樣本 88
6.1.2　提取特征 89
6.1.3　設(shè)計(jì)好的特征 90
6.1.4　訓(xùn)練機(jī)器學(xué)習(xí)系統(tǒng) 90
6.1.5　測(cè)試機(jī)器學(xué)習(xí)系統(tǒng) 91
6.2　理解特征空間和決策邊界 91
6.3　是什么決定了模型的好和壞：過(guò)擬合與欠擬合 96
6.4　機(jī)器學(xué)習(xí)算法的主要類型 99
6.4.1　邏輯回歸 100
6.4.2　k近鄰算法 103
6.4.3　決策樹(shù) 106
6.4.4　隨機(jī)森林 112
6.5　小結(jié) 114
第7章　評(píng)價(jià)惡意軟件檢測(cè)系統(tǒng) 115
7.1　四種可能的檢測(cè)結(jié)果 115
7.1.1　檢出率和誤報(bào)率 116
7.1.2　檢出率和誤報(bào)率之間的關(guān)系 117
7.1.3　ROC曲線 118
7.2　在評(píng)價(jià)中考慮基準(zhǔn)率 119
7.2.1　基準(zhǔn)率如何影響精確度 120
7.2.2　在部署環(huán)境中評(píng)價(jià)精確度 120
7.3　小結(jié) 122
第8章　構(gòu)建基于機(jī)器學(xué)習(xí)的檢測(cè)器 123
8.1　術(shù)語(yǔ)和概念 124
8.2　構(gòu)建一個(gè)基于決策樹(shù)的檢測(cè)器雛形 125
8.2.1　訓(xùn)練你的決策樹(shù)分類器 126
8.2.2　可視化決策樹(shù) 127
8.2.3　完整的示例代碼 129
8.3　使用sklearn構(gòu)建實(shí)際的機(jī)器學(xué)習(xí)檢測(cè)器 130
8.3.1　實(shí)際的特征提取 130
8.3.2　為什么不能使用所有可能的特征 134
8.3.3　使用哈希技巧壓縮特征 134
8.4　構(gòu)建工業(yè)級(jí)的檢測(cè)器 138
8.4.1　特征提取 138
8.4.2　訓(xùn)練檢測(cè)器 139
8.4.3　運(yùn)行檢測(cè)器檢測(cè)新的二進(jìn)制文件 141
8.4.4　至此我們實(shí)現(xiàn)了什么 142
8.5　評(píng)價(jià)檢測(cè)器的性能 144
8.5.1　使用ROC曲線評(píng)價(jià)檢測(cè)器的功效 144
8.5.2　計(jì)算ROC曲線 144
8.5.3　將數(shù)據(jù)拆分為訓(xùn)練集和測(cè)試集 146
8.5.4　計(jì)算ROC曲線 147
8.5.5　交叉驗(yàn)證 148
8.6　下一步工作 151
8.7　小結(jié) 152
第9章　可視化惡意軟件趨勢(shì) 153
9.1　為什么可視化惡意軟件數(shù)據(jù)很重要 153
9.2　理解我們的惡意軟件數(shù)據(jù)集 155
9.2.1　將數(shù)據(jù)加載到pandas中 156
9.2.2　使用pandas DataFrame 157
9.2.3　使用條件過(guò)濾數(shù)據(jù) 159
9.3　使用matplotlib可視化數(shù)據(jù) 160
9.3.1　繪制惡意軟件大小和反病毒引擎檢測(cè)之間的關(guān)系 161
9.3.2　繪制勒索軟件檢出率 162
9.3.3　繪制勒索軟件和蠕蟲(chóng)檢測(cè)率 163
9.4　使用seaborn可視化數(shù)據(jù) 166
9.4.1　繪制反病毒引擎檢出的分布圖 167
9.4.2　創(chuàng)建小提琴圖 170
9.5　小結(jié) 172
第10章　深度學(xué)習(xí)基礎(chǔ) 173
10.1　深度學(xué)習(xí)的定義 174
10.2　神經(jīng)網(wǎng)絡(luò)是如何工作的 175
10.2.1　神經(jīng)元剖析 175
10.2.2　神經(jīng)元網(wǎng)絡(luò) 178
10.2.3　通用近似定理 178
10.2.4　構(gòu)建自己的神經(jīng)網(wǎng)絡(luò) 179
10.2.5　向網(wǎng)絡(luò)中添加一個(gè)新的神經(jīng)元 182
10.2.6　自動(dòng)生成特征 184
10.3　訓(xùn)練神經(jīng)網(wǎng)絡(luò) 185
10.3.1　利用后向傳播優(yōu)化神經(jīng)網(wǎng)絡(luò) 186
10.3.2　路徑爆炸 188
10.3.3　梯度消失 189
10.4　神經(jīng)網(wǎng)絡(luò)的類型 189
10.4.1　前饋神經(jīng)網(wǎng)絡(luò) 189
10.4.2　卷積神經(jīng)網(wǎng)絡(luò) 190
10.4.3　自編碼神經(jīng)網(wǎng)絡(luò) 191
10.4.4　生成式對(duì)抗網(wǎng)絡(luò) 192
10.4.5　循環(huán)神經(jīng)網(wǎng)絡(luò) 192
10.4.6　殘差網(wǎng)絡(luò) 193
10.5　小結(jié) 193
第11章　使用Keras構(gòu)建神經(jīng)網(wǎng)絡(luò)惡意軟件檢測(cè)器 194
11.1　定義模型的架構(gòu) 195
11.2　編譯模型 197
11.3　訓(xùn)練模型 198
11.3.1　提取特征 198
11.3.2　創(chuàng)建數(shù)據(jù)生成器 199
11.3.3　與驗(yàn)證數(shù)據(jù)協(xié)作 203
11.3.4　保存和加載模型 204
11.4　模型評(píng)價(jià) 205
11.5　使用回調(diào)強(qiáng)化模型訓(xùn)練過(guò)程 206
11.5.1　使用內(nèi)置回調(diào) 207
11.5.2　使用自定義回調(diào)函數(shù) 208
11.6　小結(jié) 210
第12章　成為數(shù)據(jù)科學(xué)家 211
12.1　成為安全數(shù)據(jù)科學(xué)家之路 211
12.2　安全數(shù)據(jù)科學(xué)家的一天 212
12.3　高效安全數(shù)據(jù)科學(xué)家的特征 214
12.3.1　開(kāi)放的心態(tài) 214
12.3.2　無(wú)窮的好奇心 214
12.3.3　對(duì)結(jié)果的癡迷 215
12.3.4　對(duì)結(jié)果的懷疑 215
12.4　未來(lái)的工作 215
附錄　數(shù)據(jù)集和工具概述 217