性能之道：分布式系統(tǒng)全棧性能優(yōu)化

目　　錄
前言　性能是軟件非功能特性的基本面
認(rèn)知篇
第1章　軟件架構(gòu)的時(shí)空觀　2
1.1　軟件架構(gòu)的時(shí)空定義　2
1.2　軟件架構(gòu)的分類　3
1.2.1　體系結(jié)構(gòu)上的分類　3
1.2.2　流程決策上的架構(gòu)分類　4
1.3　軟件架構(gòu)設(shè)計(jì)的原則與模式　5
1.3.1　軟件架構(gòu)設(shè)計(jì)的原則　5
1.3.2　軟件架構(gòu)設(shè)計(jì)的模式　6
1.4　軟件架構(gòu)的常用技術(shù)棧　8
1.5　本章小結(jié)　10
第2章　軟件性能的時(shí)空觀　11
2.1　軟件性能的宏觀多維模型　11
2.1.1　系統(tǒng)邊界　12
2.1.2　內(nèi)部結(jié)構(gòu)　13
2.1.3　外部效應(yīng)　13
2.1.4　連接輸入　14
2.1.5　本節(jié)小結(jié)　14
2.2　軟件性能的一般含義　14
2.3　軟件性能的時(shí)空視角　15
2.3.1　系統(tǒng)性能的時(shí)間指標(biāo)　16
2.3.2　軟件性能的空間指標(biāo)　17
2.3.3　系統(tǒng)性能指標(biāo)的時(shí)空關(guān)聯(lián)　18
2.3.4　常見(jiàn)的軟件性能指標(biāo)　18
2.4　軟件性能的描述方式與工具　19
2.4.1　軟件性能的時(shí)間描述——
　時(shí)序圖　20
2.4.2　軟件性能的空間描述——
　組件描述直方圖　20
2.5　軟件的性能測(cè)試與監(jiān)控　20
2.5.1　性能測(cè)試　21
2.5.2　監(jiān)控性能拐點(diǎn)　21
2.5.3　容量規(guī)劃　22
2.6　本章小結(jié)　22
第3章　軟件性能優(yōu)化體系　23
3.1　軟件性能優(yōu)化策略　23
3.1.1　控制資源需求相關(guān)因素　24
3.1.2　管理資源相關(guān)因素　25
3.2　基于“點(diǎn)”的性能優(yōu)化　27
3.3　基于“線”的性能優(yōu)化　28
3.4　基于“面”的性能優(yōu)化　30
3.5　基于“體”的性能優(yōu)化　33
3.5.1　第一階段：常規(guī)優(yōu)化　34
3.5.2　第二階段：使用緩存與
　讀寫(xiě)分離　34
3.5.3　第三階段：異步化與事務(wù)　35
3.6　性能優(yōu)化的PDCA　37
3.7　性能與其他非功能要素　38
3.8　本章小結(jié)　39
第4章　性能測(cè)試與評(píng)估　40
4.1　軟件性能的度量　40
4.1.1　性能測(cè)試的目的及意義　40
4.1.2　性能測(cè)試的度量指標(biāo)　42
4.1.3　常見(jiàn)基礎(chǔ)設(shè)施性能指標(biāo)　44
4.2　性能測(cè)試常用工具　45
4.2.1　性能測(cè)試場(chǎng)景　45
4.2.2　性能測(cè)試工具簡(jiǎn)介　47
4.2.3　性能測(cè)試工具選擇　51
4.3　性能測(cè)試的方法、誤區(qū)和流程　53
4.3.1　性能測(cè)試的方法　53
4.3.2　性能測(cè)試的誤區(qū)　54
4.3.3　性能測(cè)試的流程　56
4.4　性能測(cè)試的結(jié)果分析與評(píng)估　61
4.4.1　施壓機(jī)器的指標(biāo)觀測(cè)　62
4.4.2　軟件的指標(biāo)分析　64
4.4.3　軟件的事后評(píng)估　69
4.5　本章小結(jié)　71
實(shí)踐篇
第5章　網(wǎng)絡(luò)性能　74
5.1　互聯(lián)網(wǎng)的性能問(wèn)題　74
5.1.1　規(guī)模問(wèn)題　75
5.1.2　距離瓶頸　75
5.2　內(nèi)容分發(fā)的方式與性能　75
5.2.1　集中托管　75
5.2.2　數(shù)據(jù)中心　76
5.2.3　分布式CDN　76
5.2.4　P2P網(wǎng)絡(luò)　77
5.3　CDN的選擇　77
5.4　應(yīng)用層的網(wǎng)絡(luò)性能優(yōu)化　78
5.4.1　減少傳輸層開(kāi)銷(xiāo)　79
5.4.2　尋找更好的路由　79
5.4.3　內(nèi)容預(yù)取　79
5.4.4　使用壓縮和增量編碼　79
5.4.5　邊緣組裝　80
5.4.6　邊緣計(jì)算　80
5.5　計(jì)算密集型應(yīng)用的性能提升——
　高性能網(wǎng)絡(luò)　80
5.5.1　Inf?iniband網(wǎng)絡(luò)與RDMA　81
5.5.2　RDMA的關(guān)鍵特性　82
5.5.3　RDMA的上層接口　83
5.5.4　RDMA的底層實(shí)現(xiàn)　85
5.5.5　RDMA的性能優(yōu)勢(shì)與
　主要應(yīng)用場(chǎng)景　86
5.6　網(wǎng)絡(luò)性能觀測(cè)工具　86
5.6.1　網(wǎng)絡(luò)可觀測(cè)性建設(shè)　87
5.6.2　網(wǎng)絡(luò)分析工具　88
5.7　本章小結(jié)　89
第6章　通信性能　90
6.1　面向互聯(lián)網(wǎng)的軟件　90
6.1.1　網(wǎng)絡(luò)應(yīng)用并非只是計(jì)算　90
6.1.2　計(jì)算中的通信視角　91
6.1.3　網(wǎng)絡(luò)應(yīng)用的通信視角　92
6.2　通信協(xié)議的分層設(shè)計(jì)與優(yōu)化　94
6.2.1　通信協(xié)議的分層設(shè)計(jì)　94
6.2.2　通信協(xié)議的優(yōu)化　95
6.3　軟件通信中的數(shù)據(jù)組織　95
6.3.1　XML、JSON和
　Protocol Buffer　96
6.3.2　性能視角的數(shù)據(jù)包大小　96
6.4　軟件通信中的復(fù)用機(jī)制　97
6.5　軟件通信的糾錯(cuò)處理　98
6.5.1　前向糾錯(cuò)與重傳糾錯(cuò)　98
6.5.2　重傳機(jī)制　99
6.6　軟件通信中的流量控制　100
6.6.1　反向壓力　100
6.6.2　減負(fù)載　100
6.6.3　熔斷　101
6.7　通信協(xié)議的優(yōu)化示例：基于
　HTTP的性能優(yōu)化　102
6.7.1　鏈路復(fù)用　102
6.7.2　數(shù)據(jù)壓縮　103
6.7.3　SSL加速　103
6.8　本章小結(jié)　103
第7章　客戶端性能/前端性能
　優(yōu)化　105
7.1　性能優(yōu)化指標(biāo)　105
7.1.1　以用戶為中心的性能指標(biāo)　106
7.1.2　三大核心指標(biāo)　107
7.1.3　前端性能測(cè)量工具匯總　112
7.2　前端系統(tǒng)優(yōu)化　113
7.2.1　HTTP中的性能優(yōu)化　113
7.2.2　代碼壓縮　116
7.2.3　JavaScript中的性能優(yōu)化　117
7.2.4　Webpack優(yōu)化　121
7.2.5　Vue項(xiàng)目性能優(yōu)化　128
7.3　客戶端系統(tǒng)優(yōu)化　131
7.3.1　Flutter項(xiàng)目?jī)?yōu)化　131
7.3.2　PC端QT項(xiàng)目?jī)?yōu)化　138
7.3.3　客戶端性能監(jiān)控的思考　139
7.4　本章小結(jié)　140
第8章　單服務(wù)實(shí)體的性能優(yōu)化　141
8.1　單服務(wù)實(shí)體性能問(wèn)題定位的
　簡(jiǎn)單策略　141
8.1.1　度量指標(biāo)　142
8.1.2　資源列表　142
8.1.3　功能模塊圖　143
8.1.4　度量方法　143
8.1.5　軟件資源　143
8.1.6　性能定位的簡(jiǎn)單策略　144
8.2　操作系統(tǒng)的配置優(yōu)化　144
8.3　代碼性能的基礎(chǔ)保障——
　靜態(tài)分析　146
8.4　API的性能約定　147
8.4.1　面向API的性能分類　147
8.4.2　API的性能約定　149
8.5　資源池的應(yīng)用　151
8.5.1　連接池　152
8.5.2　線程池　155
8.5.3　內(nèi)存池　156
8.6　本章小結(jié)　157
第9章　數(shù)據(jù)庫(kù)性能　158
9.1　從數(shù)據(jù)庫(kù)技術(shù)發(fā)展看性能問(wèn)題　158
9.1.1　數(shù)據(jù)庫(kù)對(duì)系統(tǒng)性能的影響　158
9.1.2　數(shù)據(jù)庫(kù)技術(shù)的整體發(fā)展　159
9.1.3　關(guān)系數(shù)據(jù)庫(kù)的諸多挑戰(zhàn)　159
9.1.4　NoSQL運(yùn)動(dòng)的百花齊放　164
9.1.5　分布式演進(jìn)的步步為營(yíng)　164
9.1.6　分布式數(shù)據(jù)庫(kù)的風(fēng)起云涌　168
9.2　面向分布式應(yīng)用的數(shù)據(jù)庫(kù)
　性能分析　170
9.2.1　制定數(shù)據(jù)庫(kù)性能規(guī)劃目標(biāo)　170
9.2.2　通過(guò)壓測(cè)了解數(shù)據(jù)庫(kù)性能　170
9.2.3　分析應(yīng)用數(shù)據(jù)庫(kù)性能瓶頸　171
9.2.4　數(shù)據(jù)庫(kù)性能優(yōu)化一般方法　171
9.3　MySQL的常見(jiàn)優(yōu)化方法　174
9.3.1　操作系統(tǒng)參數(shù)優(yōu)化　174
9.3.2　數(shù)據(jù)庫(kù)配置優(yōu)化　175
9.3.3　數(shù)據(jù)庫(kù)設(shè)計(jì)優(yōu)化　178
9.3.4　SQL查詢優(yōu)化　184
9.3.5　SQL寫(xiě)入優(yōu)化　187
9.3.6　應(yīng)用連接池優(yōu)化　187
9.4　本章小結(jié)　189
第10章　緩存的應(yīng)用　190
10.1　無(wú)處不在的緩存　191
10.2　客戶端緩存　192
10.2.1　頁(yè)面緩存　192
10.2.2　瀏覽器緩存　194
10.2.3　App上的緩存　195
10.3　網(wǎng)絡(luò)端緩存　196
10.3.1　Web代理緩存　196
10.3.2　邊緣緩存　197
10.4　服務(wù)端緩存　198
10.4.1　平臺(tái)級(jí)緩存　198
10.4.2　分布式緩存的應(yīng)用　198
10.5　數(shù)據(jù)庫(kù)緩存　199
10.5.1　數(shù)據(jù)庫(kù)緩存：MySQL的
　查詢緩存　199
10.5.2　檢驗(yàn)Query Cache的
　合理性　200
10.5.3　數(shù)據(jù)庫(kù)緩存：InnoDB的
　緩存性能　200
10.6　營(yíng)銷(xiāo)場(chǎng)景案例：優(yōu)惠券
　（紅包）發(fā)放與核銷(xiāo)　202
10.7　電商案例：應(yīng)用多級(jí)緩存
　模式支撐海量讀服務(wù)　204
10.7.1　多級(jí)緩存介紹　204
10.7.2　如何緩存數(shù)據(jù)　205
10.8　本章小結(jié)　208
第11章　消息隊(duì)列　210
11.1　消息隊(duì)列概述　210
11.2　消息隊(duì)列使用場(chǎng)景　211
11.2.1　削峰填谷　211
11.2.2　應(yīng)用解耦　213
11.2.3　異步處理　213
11.2.4　分布式事務(wù)一致性　214
11.2.5　大數(shù)據(jù)分析　218
11.3　消息中間件的選型　219
11.3.1　RocketMQ　221
11.3.2　RabbitMQ　222
11.3.3　ActiveMQ　223
11.3.4　Kafka　223
11.4　本章小結(jié)　224
案例篇
第12章　小度音箱的性能優(yōu)化　228
12.1　智能音箱的組成和系統(tǒng)架構(gòu)　228
12.1.1　對(duì)話式AI操作系統(tǒng)——
　DuerOS　229
12.1.2　智能音箱的典型工作
 流程　231
12.2　小度音箱的性能分析　232
12.2.1　核心的性能指標(biāo)　232
12.2.2　核心指標(biāo)的度量　232
12.3　小度音箱系統(tǒng)的網(wǎng)絡(luò)拓?fù)?br />　優(yōu)化　234
12.4　小度音箱系統(tǒng)的應(yīng)用協(xié)議
　優(yōu)化　234
12.5　小度音箱系統(tǒng)的業(yè)務(wù)邏輯
　優(yōu)化　235
12.5.1　智能音箱業(yè)務(wù)中的
　延時(shí)分布　236
12.5.2　預(yù)測(cè)預(yù)取　236
12.5.3　連接池的應(yīng)用　237
12.6　小度音箱系統(tǒng)的緩存應(yīng)用　238
12.7　本章小結(jié)　238
第13章　網(wǎng)上商城的性能優(yōu)化　239
13.1　網(wǎng)上商城的架構(gòu)與業(yè)務(wù)流程　239
13.1.1　核心模塊　242
13.1.2　核心業(yè)務(wù)　242
13.2　商城系統(tǒng)的性能指標(biāo)　244
13.3　網(wǎng)上商城核心模塊的性能
　優(yōu)化　245
13.3.1　商品管理　245
13.3.2　用戶管理　248
13.3.3　購(gòu)物車(chē)管理　251
13.3.4　訂單管理　254
13.3.5　秒殺系統(tǒng)設(shè)計(jì)　257
13.4　本章小結(jié)　274
第14章　典型并發(fā)場(chǎng)景——
　營(yíng)銷(xiāo)紅包的性能優(yōu)化　275
14.1　類支付寶紅包系統(tǒng)的業(yè)務(wù)流
　和挑戰(zhàn)　275
14.1.1　類支付寶紅包業(yè)務(wù)動(dòng)作
　和潛在技術(shù)挑戰(zhàn)分析　275
14.1.2　討論方案：大商戶紅包
　熱點(diǎn)問(wèn)題　276
14.1.3　多級(jí)緩存策略　277
14.1.4　討論方案：?jiǎn)喂P支付咨詢
　多紅包問(wèn)題　277
14.2　類微信紅包系統(tǒng)的業(yè)務(wù)流和
　挑戰(zhàn)　278
14.2.1　類微信紅包業(yè)務(wù)動(dòng)作
　分析　278
14.2.2　異步化　278
14.2.3　SET化：分拆資源　279
14.2.4　無(wú)并發(fā)寫(xiě)的實(shí)踐　279
14.3　預(yù)加載和考慮備案　280
14.4　性能優(yōu)化策略與案例的關(guān)系　281
14.5　本章小結(jié)　282
第15章　支付系統(tǒng)/核心交易
　系統(tǒng)的性能優(yōu)化　283
15.1　支付系統(tǒng)/核心交易系統(tǒng)的
　架構(gòu)特點(diǎn)　284
15.1.1　支付系統(tǒng)的作用　284
15.1.2　支付系統(tǒng)的架構(gòu)　285
15.2　交易系統(tǒng)的鏈路優(yōu)化　291
15.3　對(duì)賬系統(tǒng)的設(shè)計(jì)　302
15.3.1　對(duì)賬系統(tǒng)概述　302
15.3.2　對(duì)賬需求分析　304
15.3.3　對(duì)賬流程和規(guī)則設(shè)計(jì)　305
15.3.4　對(duì)賬系統(tǒng)實(shí)現(xiàn)說(shuō)明　311
15.4　本章小結(jié)　312
擴(kuò)展篇
第16章　全鏈路性能壓測(cè)　314
16.1　全鏈路性能壓測(cè)的背景與
　價(jià)值　314
16.2　端到端全鏈路監(jiān)控分析　315
16.2.1　APM技術(shù)　316
16.2.2　Apache Skywalking　316
16.3　線上流量復(fù)制與染色　318
16.3.1　流量復(fù)制　318
16.3.2　流量復(fù)制工具　318
16.3.3　流量染色　321
16.4　全鏈路壓測(cè)的數(shù)據(jù)安全與
　隔離　321
16.4.1　數(shù)據(jù)隔離　322
16.4.2　影子庫(kù)與影子表　322
16.4.3　ShardingSphere的影子庫(kù)
　功能　323
16.5　全鏈路壓測(cè)下相關(guān)系統(tǒng)的
　改造　324
16.5.1　業(yè)務(wù)系統(tǒng)的改造　324
16.5.2　消息隊(duì)列的改造　326
16.5.3　外調(diào)服務(wù)的擋板功能　326
16.5.4　緩存中間件的改造　327
16.6　全鏈路壓測(cè)的行業(yè)案例　328
16.6.1　滴滴出行的全鏈路壓測(cè)　328
16.6.2　美團(tuán)全鏈路壓測(cè)自動(dòng)化
　實(shí)踐　329
16.6.3　餓了么全鏈路壓測(cè)平臺(tái)　331
16.7　本章小結(jié)　331
第17章　云原生技術(shù)為性能帶來(lái)的
　機(jī)遇與變革　333
17.1　云原生彈性的實(shí)現(xiàn)原理　334
17.1.1　Kubernetes的資源類型　334
17.1.2　Kubernetes的資源管理和
　調(diào)度　339
17.1.3　Kubernetes的資源動(dòng)態(tài)
　調(diào)整能力　342
17.1.4　Kubernetes的資源碎片
　問(wèn)題　345
17.2　云原生的可觀測(cè)性　346
17.2.1　可觀測(cè)性與傳統(tǒng)監(jiān)控的
　區(qū)別　347
17.2.2　可觀測(cè)性的維度　349
17.3　云原生要解決的性能問(wèn)題、
　帶來(lái)的挑戰(zhàn)及應(yīng)對(duì)　353
17.3.1　云原生解決了哪些性能
　問(wèn)題　353
17.3.2　云原生帶來(lái)了哪些新的
　挑戰(zhàn)　354
17.3.3　如何應(yīng)對(duì)云原生帶來(lái)的
　挑戰(zhàn)　355
17.4　本章小結(jié)　356