Doris實(shí)時(shí)數(shù)倉(cāng)實(shí)戰(zhàn)

第一部分　基礎(chǔ)

第1章　Doris概述　3

1.1　Doris的前世今生　3

1.1.1　Doris應(yīng)需而生　3

1.1.2　Doris架構(gòu)重組　5

1.1.3　Doris引擎升級(jí)　6

1.1.4　Doris擁抱開(kāi)源　7

1.2　Doris的特點(diǎn)　7

1.2.1　極簡(jiǎn)架構(gòu)　7

1.2.2　使用簡(jiǎn)單　9

1.2.3　功能豐富　11

1.2.4　開(kāi)源開(kāi)放　13

1.3　Doris核心設(shè)計(jì)　13

1.3.1　存儲(chǔ)引擎　13

1.3.2　查詢(xún)引擎　15

1.3.3　查詢(xún)優(yōu)化器　17

1.3.4　向量化執(zhí)行引擎　19

1.4　Doris應(yīng)用場(chǎng)景　20

1.5　Doris的競(jìng)爭(zhēng)對(duì)手　23

1.5.1　Doris的“前浪”

— Greenplum　24

1.5.2　Doris的“表哥”

— Kylin　24

1.5.3　Doris的“知音”

— ClickHouse　25

1.5.4　Doris的“傷痕”

— StarRocks　25

第2章　Doris的安裝與部署　27

2.1　集群規(guī)劃和環(huán)境準(zhǔn)備　27

2.1.1　環(huán)境要求　27

2.1.2　硬件要求　28

2.1.3　節(jié)點(diǎn)規(guī)劃　28

2.1.4　通信端口　29

2.1.5　IP地址綁定　30

2.2　Doris源碼編譯　30

2.2.1　環(huán)境準(zhǔn)備　30

2.2.2　通過(guò)Git下載Doris源碼　31

2.2.3　拉取Docker編譯環(huán)境　32

2.2.4　啟動(dòng)編譯環(huán)境　32

2.2.5　進(jìn)入Docker進(jìn)行編譯　33

2.2.6?編譯Broker　33

2.3　安裝和部署　34

2.3.1?安裝前的準(zhǔn)備　35

2.3.2?安裝FE　36

2.3.3?安裝BE　39

2.3.4　安裝Broker　41

2.4　數(shù)據(jù)庫(kù)訪問(wèn)和常用命令　41

2.4.1?訪問(wèn)Doris數(shù)據(jù)庫(kù)　41

2.4.2　Doris常用命令　44

2.4.3　Doris用戶(hù)管理　45

第3章　Doris數(shù)據(jù)對(duì)象　47

3.1　數(shù)據(jù)類(lèi)型　47

3.1.1　數(shù)值類(lèi)型　48

3.1.2?日期時(shí)間類(lèi)型　48

3.1.3?字符串類(lèi)型　48

3.1.4?其他擴(kuò)展類(lèi)型　48

3.2　OLAP表定義　51

3.2.1　列定義　51

3.2.2　鍵描述　51

3.2.3　分布描述　52

3.2.4　鍵值對(duì)　53

3.3　分區(qū)表定義　55

3.3.1　Range分區(qū)　56

3.3.2　List分區(qū)　57

3.4　外部表定義　58

3.4.1　MySQL表引擎　58

3.4.2　Broker表引擎　59

3.4.3　Hive表引擎　61

3.4.4　Iceberg表引擎　61

3.5　表的基本操作　62

3.5.1　修改表　62

3.5.2　刪除表　65

3.5.3?清空表　65

3.6　視圖　66

3.6.1?創(chuàng)建視圖　66

3.6.2　修改視圖　67

3.6.3?刪除視圖　67

3.7　函數(shù)　67

3.7.1　日期函數(shù)　67

3.7.2　正則匹配函數(shù)　68

3.7.3　BITMAP函數(shù)　68

3.7.4　JSON函數(shù)　69

3.7.5?表函數(shù)　70

3.7.6?窗口函數(shù)　71

第4章　Doris數(shù)據(jù)模型詳解　73

4.1　數(shù)據(jù)模型及原理　73

4.1.1　Duplicate模型　73

4.1.2　Aggregate模型　74

4.1.3　Unique模型　75

4.2　數(shù)據(jù)模型實(shí)戰(zhàn)　76

4.3　數(shù)據(jù)模型應(yīng)用場(chǎng)景　79

4.4　表數(shù)據(jù)存儲(chǔ)　80

4.5　分區(qū)與分桶　84

4.6　DDL語(yǔ)句執(zhí)行過(guò)程　85

第二部分　進(jìn)階

第5章　數(shù)據(jù)導(dǎo)入實(shí)戰(zhàn)　91

5.1　INSERT INTO　91

5.1.1　用法詳解　92

5.1.2　應(yīng)用舉例　93

5.2　Stream Load　94

5.2.1　執(zhí)行原理　94

5.2.2　用法詳解　96

5.2.3　應(yīng)用舉例　100

5.3　Broker Load　102

5.3.1　執(zhí)行原理　102

5.3.2　用法詳解　103

5.3.3　應(yīng)用舉例　105

5.4　Routine Load　108

5.4.1　執(zhí)行原理　109

5.4.2　用法詳解　110

5.4.3　應(yīng)用舉例　112

5.5　Binlog Load　115

5.5.1　基本原理　115

5.5.2　用法詳解　116

5.5.3　應(yīng)用舉例　118

5.6　DataX　122

5.6.1　DataX執(zhí)行原理　122

5.6.2　DataX DorisWriter插件　124

5.6.3　應(yīng)用舉例　126

5.7　Spark Load　129

5.7.1　執(zhí)行原理　129

5.7.2　用法詳解　130

5.7.3　應(yīng)用舉例　131

第6章　Doris數(shù)據(jù)查詢(xún)　134

6.1　簡(jiǎn)單查詢(xún)　136

6.1.1　簡(jiǎn)單的SQL語(yǔ)法　136

6.1.2　WITH特性　140

6.1.3　IN語(yǔ)句和EXISTS語(yǔ)句　143

6.2　多表關(guān)聯(lián)　145

6.2.1　JOIN操作類(lèi)型　145

6.2.2　JOIN算法實(shí)現(xiàn)　152

6.2.3　分布式JOIN優(yōu)化策略　152

6.3　開(kāi)窗查詢(xún)　155

6.4　BITMAP精準(zhǔn)去重　160

6.5　HLL近似去重　164

6.6　GROUPING SETS多維組合　165

第7章　Doris查詢(xún)優(yōu)化　168

7.1　執(zhí)行計(jì)劃　168

7.2　查詢(xún)優(yōu)化器　173

7.3　索引　176

7.4　物化視圖　179

7.5　ROLLUP　183

7.6　向量化查詢(xún)引擎　185

7.7　查詢(xún)優(yōu)化總結(jié)　186

第三部分　拓展

第8章　Doris流數(shù)據(jù)　193

8.1　Flink簡(jiǎn)介　193

8.2　Flink基本概念　196

8.3　Flink SQL和Table API　200

8.4　Flink CDC技術(shù)　202

8.5　Flink Doris Connector　206

8.5.1　插件編譯與安裝　206

8.5.2　環(huán)境配置　206

8.5.3　單表增、刪、改　209

8.5.4　多表關(guān)聯(lián)　212

8.5.5　匯總數(shù)據(jù)　213

第9章　Doris外部表　215

9.1　ODBC外部表　215

9.2　Hive外部表　219

9.3　ES外部表　222

9.4　Iceberg外部表　225

第10章　Doris集群管理　227

10.1　集群管理　227

?10.1.1　數(shù)據(jù)庫(kù)管理　227

?10.1.2　用戶(hù)管理　228

?10.1.3　權(quán)限管理　228

10.2　集群資源管理　229

?10.2.1　節(jié)點(diǎn)資源劃分　229

?10.2.2　節(jié)點(diǎn)資源限制　231

10.3　集群備份和恢復(fù)　232

?10.3.1　數(shù)據(jù)導(dǎo)出　232

?10.3.2　數(shù)據(jù)備份　234

?10.3.3　數(shù)據(jù)恢復(fù)　236

?10.3.4　模式備份　237

10.4　集群高可用　238

?10.4.1　Doris一鍵啟動(dòng)　238

?10.4.2　Doris自啟動(dòng)　239

?10.4.3　Doris升級(jí)版本　242

10.5　集群擴(kuò)縮容　243

?10.5.1　FE擴(kuò)容　243

?10.5.2　FE縮容　244

?10.5.3　BE擴(kuò)容　244

?10.5.4　BE縮容　244

?10.5.5　Broker擴(kuò)縮容　245

10.6　刪除恢復(fù)　245

第四部分　實(shí)戰(zhàn)

第11章　數(shù)據(jù)倉(cāng)庫(kù)概述　249

11.1　數(shù)據(jù)倉(cāng)庫(kù)的起源　249

11.2　數(shù)據(jù)倉(cāng)庫(kù)的流行　250

11.3　數(shù)據(jù)倉(cāng)庫(kù)的分布式之路　251

11.4　MPP架構(gòu)的崛起　253

11.5　數(shù)據(jù)倉(cāng)庫(kù)的未來(lái)　255

11.6　概念對(duì)比　256

?11.6.1　數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)庫(kù)　256

?11.6.2　數(shù)據(jù)倉(cāng)庫(kù)與大數(shù)據(jù)

技術(shù)　257

?11.6.3　數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)中臺(tái)　257

?11.6.4　數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)湖　258

第12章　數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)　259

12.1　數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)　259

?12.1.1　Inmon的企業(yè)信息

化工廠　260

?12.1.2　Kimball的維度建模

數(shù)據(jù)倉(cāng)庫(kù)　261

?12.1.3　兩種建模方式對(duì)比　261

12.2　數(shù)據(jù)倉(cāng)庫(kù)分層　262

?12.2.1　操作數(shù)據(jù)存儲(chǔ)層　263

?12.2.2　數(shù)據(jù)倉(cāng)庫(kù)層　263

?12.2.3　應(yīng)用數(shù)據(jù)層　265

12.3　實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)的兩條

線路　266

12.4　實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)的新

選擇　269

第13章　基于Doris的OLAP查詢(xún)和實(shí)時(shí)

數(shù)據(jù)倉(cāng)庫(kù)實(shí)戰(zhàn)　272

13.1　項(xiàng)目背景　272

13.2　項(xiàng)目需求　273

13.3　技術(shù)方案實(shí)現(xiàn)　273

?13.3.1　基于DataX的接口

數(shù)據(jù)抽取　274

?13.3.2　基于Hive構(gòu)建數(shù)據(jù)

倉(cāng)庫(kù)　275

?13.3.3　基于Doris構(gòu)建數(shù)據(jù)

集市　277

?13.3.4　基于Flink SQL的實(shí)時(shí)

數(shù)據(jù)流　278

?13.3.5　代碼發(fā)布和作業(yè)監(jiān)控　280

13.4　業(yè)務(wù)方案實(shí)現(xiàn)　280

?13.4.1　零售流水及本期、

同期計(jì)算　280

?13.4.2　有效店、同店及

渠道分析　281

?13.4.3　庫(kù)存及齊碼率分析　283

?13.4.4　庫(kù)銷(xiāo)比及售罄率分析　283

13.5　項(xiàng)目總結(jié)　285

第14章　基于Doris的流批一體數(shù)據(jù)倉(cāng)庫(kù)

實(shí)戰(zhàn)　287

14.1　項(xiàng)目背景　287

14.2　項(xiàng)目需求　288

14.3　技術(shù)方案實(shí)現(xiàn)　289

?14.3.1　批量數(shù)據(jù)同步　290

?14.3.2　實(shí)時(shí)數(shù)據(jù)入庫(kù)　292

?14.3.3　數(shù)據(jù)倉(cāng)庫(kù)分層　294

?14.3.4　全增量一體化數(shù)據(jù)

加工　295

?14.3.5　流批融合的實(shí)時(shí)大屏　298

?14.3.6　調(diào)度任務(wù)　299

14.4　開(kāi)發(fā)規(guī)范　300

?14.4.1　數(shù)據(jù)對(duì)象命名規(guī)范　300

?14.4.2　建表規(guī)范　301

?14.4.3　字段命名規(guī)范　302

?14.4.4　調(diào)度任務(wù)命名規(guī)范　303

14.5　項(xiàng)目交付成果　303

?14.5.1　PC端報(bào)表　303

?14.5.2　移動(dòng)端報(bào)表　305

?14.5.3　自助分析報(bào)表　305

14.6　項(xiàng)目總結(jié)　308