大數(shù)據(jù)測試技術(shù)：數(shù)據(jù)采集、分析與測試實(shí)踐（在線實(shí)驗(yàn)+在線自測）

第 1章　大數(shù)據(jù)測試的思維　1
1．1　規(guī)律是否存在　1
1．2　大數(shù)據(jù)的背后　3
1．3　大數(shù)據(jù)測試方法　4
1．4　目的及組織結(jié)構(gòu)　5
第 2章　大數(shù)據(jù)收集概述　7
2．1　案例介紹　7
2．2　原理及方法　7
2．3　環(huán)境配置　8
2．3．1　配置無線網(wǎng)　8
2．3．2　安裝分析軟件　9
2．4　數(shù)據(jù)采集　10
2．4．1　軟件連接　10
2．4．2　信息顯示　11
2．4．3　數(shù)據(jù)包的存儲(chǔ)　11
2．5　同步操作　12
2．6　小結(jié)　14
【思考題】　14
第3章　網(wǎng)絡(luò)數(shù)據(jù)的采集與分析　15
3．1　物理連接及Wireshark軟件的常用操作　15
3．1．1　物理連接　15
3．1．2　Wireshark軟件的打開方式　15
3．1．3　構(gòu)建網(wǎng)絡(luò)　17
3．1．4　Wireshark軟件功能介紹　18
3．2　數(shù)據(jù)包的采集　18
3．2．1　數(shù)據(jù)的收集　18
3．2．2　數(shù)據(jù)的存儲(chǔ)和打開　20
3．3　數(shù)據(jù)包的自動(dòng)抓取　22
3．3．1　背景介紹　22
3．3．2　腳本錄制　23
3．3．3　腳本執(zhí)行　24
3．4　數(shù)據(jù)包分析　25
3．4．1　數(shù)據(jù)包的分析方法　25
3．4．2　數(shù)據(jù)獲取　25
3．4．3　數(shù)據(jù)包的數(shù)量　28
3．4．4　數(shù)據(jù)分析　28
3．5　小結(jié)　32
【思考題】　32
第4章　數(shù)據(jù)格式轉(zhuǎn)換及Python編程　34
4．1　原理及方法　34
4．1．1　pyshark介紹　34
4．1．2　FileCapture和LiveCapture　35
4．1．3　Python基礎(chǔ)語法　37
4．2　Python安裝及配置　37
4．2．1　Python安裝　37
4．2．2　配置　38
4．2．3　pyshark包下載　39
4．2．4　pyshark包安裝　40
4．2．5　安裝支撐文件　41
4．3　Python基礎(chǔ)學(xué)習(xí)　42
4．3．1　Python的命令行演示　42
4．3．2　創(chuàng)建并運(yùn)行．py文件　42
4．3．3　Python出錯(cuò)演示　42
4．3．4　Python注釋　43
4．3．5　一行多語句　43
4．3．6　輸出換行　43
4．3．7　縮進(jìn)　44
4．3．8　Python幫助　44
4．4　Notepad環(huán)境　45
4．4．1　Notepad++軟件　45
4．4．2　運(yùn)行設(shè)置　45
4．4．3　多個(gè)變量賦值　46
4．4．4　Python的標(biāo)準(zhǔn)數(shù)據(jù)類型　47
4．4．5　刪除對(duì)象的引用　50
4．4．6　Python語言的運(yùn)算符　50
4．4．7　Python條件語句　52
4．5　Python編程實(shí)踐　52
4．5．1　漢諾塔問題　52
4．5．2　奇偶數(shù)分離　53
4．5．3　Python中in的應(yīng)用　54
4．5．4　循環(huán)使用else語句編程　54
4．6　Python面向?qū)ο蟆?4
4．6．1　面向?qū)ο蠼榻B　54
4．6．2　self代表類的對(duì)象　55
4．6．3　類的實(shí)例化　56
4．6．4　Python內(nèi)置類屬性　57
4．6．5　Python對(duì)象的銷毀（垃圾回收）　57
4．6．6　類的繼承　58
4．6．7　方法重寫　59
4．6．8　運(yùn)算符重載　60
4．6．9　類屬性與方法　60
4．7　Python的集成開發(fā)環(huán)境　61
4．7．1　PyCharm軟件　61
4．7．2　Jupyter軟件　67
4．8　pcapng文件到CSV文件　78
4．8．1　編寫代碼　78
4．8．2　代碼運(yùn)行　80
4．8．3　轉(zhuǎn)換文件　80
4．9　小結(jié)　80
【思考題】　81
第5章　Splunk軟件初探　83
5．1　Splunk簡介　83
5．1．1　Splunk的架構(gòu)　84
5．1．2　Splunk indexer集群架構(gòu)　85
5．1．3　Splunk search集群架構(gòu)　86
5．1．4　SPL語言　86
5．2　Splunk的安裝與配置　90
5．2．1　安裝　90
5．2．2　配置　92
5．3　Splunk數(shù)據(jù)分析　94
5．3．1　構(gòu)造SPL語句　94
5．3．2　確定列名　95
5．3．3　Splunk的簡單操作　95
5．4　SPL高級(jí)編程　97
5．4．1　自動(dòng)生成數(shù)據(jù)　97
5．4．2　構(gòu)造隨機(jī)數(shù)　99
5．4．3　數(shù)據(jù)統(tǒng)計(jì)　100
5．4．4　Splunk處理過程　101
5．4．5　報(bào)告再編輯　102
5．5　小結(jié)　102
【思考題】　102
第6章　Splunk平臺(tái)實(shí)踐　105
6．1　Splunk的基礎(chǔ)命令　105
6．1．1　Search（搜索）命令　105
6．1．2　SPL的命令分類　107
6．1．3　常用命令詳解　115
6．2　Splunk軟件的自動(dòng)數(shù)據(jù)生成　119
6．2．1　生成數(shù)據(jù)　119
6．2．2　刪除無用數(shù)據(jù)　121
6．2．3　構(gòu)造隨機(jī)數(shù)據(jù)　121
6．2．4　創(chuàng)建對(duì)數(shù)列和指數(shù)列　122
6．3　可視化展示　123
6．3．1　可視化圖　123
6．3．2　格式設(shè)置　123
6．3．3　保存和導(dǎo)入　123
6．3．4　圖形修改　125
6．4　官方幫助文檔　126
6．4．1　SPL語言目錄　126
6．4．2　命令分析實(shí)例　133
6．5　應(yīng)用分析實(shí)例　137
6．5．1　案例　137
6．5．2　案例分析　137
6．5．3　創(chuàng)建記錄　137
6．5．4　增加統(tǒng)計(jì)值　138
6．5．5　創(chuàng)建test字段　138
6．5．6　錯(cuò)誤解決　139
【思考題】　140
第7章　SPL案例編程　142
7．1　stats命令學(xué)習(xí)　142
7．2　數(shù)據(jù)下載和導(dǎo)入　144
7．2．1　數(shù)據(jù)下載　144
7．2．2　數(shù)據(jù)導(dǎo)入　145
7．3　問題描述及分析　148
7．3．1　自動(dòng)生成的SPL語句　148
7．3．2　要求及分析　149
7．3．3　解決方案　150
【思考題】　151
第8章　數(shù)據(jù)導(dǎo)入及錯(cuò)誤分析　153
8．1　背景知識(shí)介紹　153
8．1．1　時(shí)間戳　153
8．1．2　數(shù)據(jù)　153
8．2　數(shù)據(jù)選擇　154
8．2．1　導(dǎo)入數(shù)據(jù)入口　154
8．2．2　數(shù)據(jù)類型　154
8．3　時(shí)間戳錯(cuò)誤　155
8．3．1　手機(jī)聯(lián)網(wǎng)數(shù)據(jù)導(dǎo)入　155
8．3．2　時(shí)間戳錯(cuò)誤　157
8．4　問題分析及解決　157
8．4．1　問題分析　157
8．4．2　問題解決　158
8．5　導(dǎo)入配置　159
8．5．1　源類型設(shè)置　159
8．5．2　索引設(shè)置　160
8．5．3　導(dǎo)入成功及預(yù)覽　161
8．5．4　數(shù)據(jù)搜索及分析　162
【思考題】　163
第9章　聯(lián)網(wǎng)效率分析　164
9．1　原理及方法　164
9．1．1　效率分析　164
9．1．2　性能測試方法　164
9．2　常用分析命令　164
9．2．1　sort命令　164
9．2．2　timechart命令　165
9．2．3　outlier命令　166
9．2．4　eventstats命令　167
9．3　數(shù)據(jù)導(dǎo)入和處理　167
9．3．1　數(shù)據(jù)導(dǎo)入　167
9．3．2　從Wireshark代碼到Splunk代碼　167
9．3．3　字段調(diào)整　169
9．3．4　時(shí)間排序　171
9．3．5　數(shù)據(jù)分組　172
9．4　分析聯(lián)網(wǎng)效率　175
9．4．1　創(chuàng)建count字段　175
9．4．2　數(shù)據(jù)過濾　176
9．4．3　數(shù)據(jù)分析　176
【思考題】　180
第 10章　Linux部署　182
10．1　原理及方法　182
10．1．1　虛擬機(jī)　182
10．1．2　數(shù)據(jù)傳輸　183
10．2　軟件安裝及運(yùn)行　184
10．2．1　在虛擬機(jī)中安裝Linux系統(tǒng)　184
10．2．2　在CentOS 7系統(tǒng)中安裝Splunk平臺(tái)　185
10．2．3　啟動(dòng)Splunk　186
10．2．4　Splunk的運(yùn)行演示　187
10．3　網(wǎng)絡(luò)配置　189
10．3．1　Ubuntu安裝　189
10．3．2　VMware網(wǎng)絡(luò)設(shè)置　190
10．3．3　網(wǎng)絡(luò)驗(yàn)證　191
10．3．4　Ubuntu系統(tǒng)的網(wǎng)絡(luò)配置　192
10．3．5　運(yùn)行Splunk　193
【思考題】　196
第 11章　大數(shù)據(jù)測試實(shí)踐　197
11．1　監(jiān)測數(shù)據(jù)導(dǎo)入　197
11．1．1　運(yùn)行Splunk　197
11．1．2　Web日志分析　197
11．1．3　Xftp連接　198
11．1．4　monitor方式　199
11．1．5　monitor數(shù)據(jù)導(dǎo)入　199
11．1．6　數(shù)據(jù)分析　203
11．1．7　查看文件和目錄　204
11．1．8　小結(jié)　205
11．2　數(shù)據(jù)缺陷挖掘　205
11．2．1　方法與思路　205
11．2．2　狀態(tài)碼　206
11．2．3　啟動(dòng)Splunk服務(wù)　209
11．2．4　網(wǎng)絡(luò)聯(lián)通驗(yàn)證　210
11．2．5　運(yùn)行Splunk　212
11．2．6　返回操作　212
11．2．7　數(shù)據(jù)挖掘及分析　214
11．2．8　可視化展示　217
11．3　非結(jié)構(gòu)化數(shù)據(jù)處理　220
11．3．1　非結(jié)構(gòu)化數(shù)據(jù)　220
11．3．2　正則表達(dá)式　221
11．3．3　數(shù)據(jù)處理　226
【思考題】　240
思考題答案　242