openGauss數(shù)據(jù)庫(kù)源碼解析

第1章 openGauss簡(jiǎn)介001
1.1　openGauss概述001
1.2　應(yīng)用場(chǎng)景003
1.3　系統(tǒng)架構(gòu)003
1.4　代碼結(jié)構(gòu)004
1.4.1　通信管理004
1.4.2　SQL引擎006
1.4.3　存儲(chǔ)引擎020
1.5　價(jià)值特性034
1.5.1　高性能035
1.5.2　高擴(kuò)展037
1.5.3　高可用038
1.5.4　可維護(hù)性039
1.5.5　數(shù)據(jù)庫(kù)安全040
1.5.6　AI能力043
1.6　本章小結(jié)044
第2章 openGauss開發(fā)快速入門045
2.1　安裝部署045
2.1.1　了解安裝流程045
2.1.2　準(zhǔn)備軟硬件安裝環(huán)境046
2.1.3　修改操作系統(tǒng)配置048
2.1.4　設(shè)置root用戶遠(yuǎn)程登錄050
2.1.5　獲取安裝包051
2.1.6　創(chuàng)建XML配置文件053
2.1.7　初始化安裝環(huán)境057
2.1.8　執(zhí)行安裝058
2.1.9　安裝驗(yàn)證060
2.2　基本使用060
2.2.1　連接數(shù)據(jù)庫(kù)060
12 openGauss數(shù)據(jù)庫(kù)源碼解析
2.2.2　使用數(shù)據(jù)庫(kù)062
2.3　開發(fā)和編譯080
2.3.1　搭建開發(fā)環(huán)境080
2.3.2　搭建編譯環(huán)境085
2.3.3　版本編譯086
2.4　參與openGauss社區(qū)開源項(xiàng)目091
2.4.1　開源社區(qū)概述091
2.4.2　社區(qū)環(huán)境準(zhǔn)備092
2.4.3　提交Issue 093
2.4.4　貢獻(xiàn)代碼和文檔094
2.4.5　Git使用099
2.5　本章小結(jié)100
第3章 公共組件源碼解析101
3.1　系統(tǒng)表101
3.1.1　系統(tǒng)表的定義101
3.1.2　系統(tǒng)表的訪問103
3.2　數(shù)據(jù)庫(kù)初始化103
3.3　多線程架構(gòu)107
3.3.1　openGauss主要線程108
3.3.2　線程間通信108
3.3.3　線程初始化流程109
3.4　線程池技術(shù)111
3.4.1　線程池原理111
3.4.2　線程池實(shí)現(xiàn)112
3.5　內(nèi)存管理115
3.6　多維監(jiān)控120
3.7　模擬信號(hào)機(jī)制123
3.8　本章小結(jié)125
第4章 存儲(chǔ)引擎源碼解析126
4.1　存儲(chǔ)引擎整體架構(gòu)與代碼126
4.2　磁盤引擎131
4.2.1　磁盤引擎整體框架與代碼131
4.2.2　行存儲(chǔ)統(tǒng)一訪存接口134
4.2.3　astore 137
目錄 13
4.2.4　ustore 158
4.2.5　行存儲(chǔ)索引機(jī)制181
4.2.6　行存儲(chǔ)緩存機(jī)制184
4.2.7　cstore 189
4.2.8　日志系統(tǒng)202
4.2.9　持久化及故障恢復(fù)機(jī)制209
4.2.10　主備機(jī)制214
4.3　內(nèi)存表223
4.3.1　總體架構(gòu)與代碼223
4.3.2　FDW 225
4.3.3　內(nèi)存表的存儲(chǔ)236
4.3.4　索引237
4.3.5　事務(wù)237
4.3.6　并發(fā)控制243
4.3.7　重做日志246
4.3.8　檢查點(diǎn)251
4.3.9　恢復(fù)254
4.4　本章小結(jié)257
第5章 事務(wù)機(jī)制源碼解析258
5.1　事務(wù)整體架構(gòu)與代碼258
5.2　事務(wù)并發(fā)控制259
5.2.1　事務(wù)狀態(tài)機(jī)259
5.2.2　事務(wù)ID分配及CLOG/CSNLOG 268
5.2.3　MVCC可見性判斷機(jī)制271
5.2.4　進(jìn)程內(nèi)多線程管理機(jī)制279
5.3　鎖機(jī)制286
5.3.1　自旋鎖287
5.3.2　輕量級(jí)鎖287
5.3.3　常規(guī)鎖288
5.3.4　死鎖檢測(cè)機(jī)制291
5.3.5　無鎖原子操作295
5.3.6　基于鯤鵬服務(wù)器的性能優(yōu)化296
5.4　本章小結(jié)307
14 openGauss數(shù)據(jù)庫(kù)源碼解析
第6章 SQL引擎源碼解析308
6.1　概述308
6.2　SQL解析308
6.2.1　詞法分析310
6.2.2　語(yǔ)法分析313
6.2.3　語(yǔ)義分析318
6.2.4　解析流程分析323
6.3　查詢優(yōu)化326
6.3.1　查詢重寫327
6.3.2　統(tǒng)計(jì)信息與代價(jià)估算335
6.3.3　物理路徑344
6.3.4　動(dòng)態(tài)規(guī)劃344
6.3.5　遺傳算法356
6.4　本章小結(jié)367
第7章 執(zhí)行器解析368
7.1　執(zhí)行器整體架構(gòu)與代碼368
7.1.1　執(zhí)行器整體架構(gòu)368
7.1.2　火山模型368
7.1.3　代碼370
7.2　執(zhí)行流程371
7.2.1　Portal策略選擇模塊371
7.2.2　ProcessUtility模塊373
7.2.3　executor模塊373
7.3　執(zhí)行算子376
7.3.1　控制算子376
7.3.2　掃描算子381
7.3.3　物化算子389
7.3.4　連接算子395
7.4　表達(dá)式計(jì)算398
7.4.1　初始化階段398
7.4.2　執(zhí)行階段400
7.5　編譯執(zhí)行410
7.5.1　VecExprCode類415
7.5.2　VecHashAggCodeGen類419
目錄 15
7.5.3　VecHashJoinCodeGen類420
7.5.4　VecSortCodeGen類422
7.6　向量化引擎423
7.6.1　控制算子423
7.6.2　掃描算子427
7.6.3　物化算子430
7.6.4　連接算子438
7.7　本章小結(jié)441
第8章 AI技術(shù)442
8.1　概述442
8.2　自調(diào)優(yōu)442
8.2.1　參數(shù)自調(diào)優(yōu)的使用場(chǎng)景442
8.2.2　現(xiàn)有的參數(shù)調(diào)優(yōu)技術(shù)443
8.2.3　X-Tuner的調(diào)優(yōu)策略445
8.2.4　openGauss關(guān)鍵源碼解析447
8.2.5　使用示例459
8.2.6　對(duì)X-Tuner的二次開發(fā)465
8.2.7　X-Tuner的演進(jìn)路線465
8.3　慢SQL發(fā)現(xiàn)465
8.3.1　慢SQL發(fā)現(xiàn)的功能466
8.3.2　現(xiàn)有技術(shù)466
8.3.3　慢SQL發(fā)現(xiàn)采取的策略469
8.3.4　關(guān)鍵源碼解析471
8.3.5　使用示例475
8.4　智能索引推薦476
8.4.1　使用場(chǎng)景476
8.4.2　現(xiàn)有技術(shù)476
8.4.3　實(shí)現(xiàn)原理477
8.4.4　關(guān)鍵源碼解析480
8.4.5　使用示例483
8.5　指標(biāo)采集、預(yù)測(cè)與異常檢測(cè)487
8.5.1　使用場(chǎng)景487
8.5.2　實(shí)現(xiàn)原理487
8.5.3　關(guān)鍵源碼解析489
8.5.4　使用示例492
16 openGauss數(shù)據(jù)庫(kù)源碼解析
8.5.5　演進(jìn)路線493
8.6　AI查詢時(shí)間預(yù)測(cè)494
8.6.1　使用場(chǎng)景494
8.6.2　現(xiàn)有技術(shù)494
8.6.3　實(shí)現(xiàn)原理495
8.6.4　關(guān)鍵源碼解析500
8.6.5　使用示例505
8.6.6　演進(jìn)路線505
8.7　DeepSQL 506
8.7.1　使用場(chǎng)景506
8.7.2　現(xiàn)有技術(shù)506
8.7.3　關(guān)鍵源碼解析507
8.7.4　基于MADlib框架的擴(kuò)展508
8.7.5　MADlib在openGauss上的使用示例511
8.7.6　演進(jìn)路線513
8.8　本章小結(jié)513
第9章 安全管理源碼解析514
9.1　安全管理整體架構(gòu)與代碼514
9.2　安全認(rèn)證516
9.2.1　身份認(rèn)證517
9.2.2　口令存儲(chǔ)520
9.2.3　認(rèn)證機(jī)制522
9.2.4　Kerberos安全認(rèn)證529
9.3　角色創(chuàng)建與角色管理531
9.3.1　角色創(chuàng)建531
9.3.2　角色管理536
9.4　權(quán)限管理與權(quán)限檢查545
9.4.1　權(quán)限管理545
9.4.2　權(quán)限檢查551
9.5　審計(jì)與追蹤553
9.5.1　審計(jì)日志設(shè)計(jì)553
9.5.2　審計(jì)執(zhí)行555
9.6　數(shù)據(jù)安全技術(shù)561
9.6.1　數(shù)據(jù)加解密接口561
9.6.2　數(shù)據(jù)動(dòng)態(tài)脫敏570
目錄 17
9.6.3　密態(tài)等值查詢578
9.7　本章小結(jié)593
第10章 備份恢復(fù)機(jī)制594
10.1　openGauss全量備份技術(shù)594
10.1.1　gs_basebackup備份工具594
10.1.2　gs_basebackup備份交互流程595
10.2　openGauss增量備份技術(shù)598
10.2.1　gs_probackup子命令599
10.2.2　gs_probackup主要文件608
10.2.3　gs_probackup備份恢復(fù)流程609
10.2.4　redo日志增量備份恢復(fù)流程613
10.3　本章小結(jié)613