AB實(shí)驗(yàn)：科學(xué)歸因與增長的利器

前言
第一部分　了解AB實(shí)驗(yàn)
第1章　AB實(shí)驗(yàn)的基本原理和應(yīng)用002
1.1　什么是AB實(shí)驗(yàn)002
1.1.1　AB實(shí)驗(yàn)的定義002
1.1.2　AB實(shí)驗(yàn)的類型004
1.2　AB實(shí)驗(yàn)的3個基本要素005
1.2.1　實(shí)驗(yàn)參與單元005
1.2.2　實(shí)驗(yàn)控制參數(shù)007
1.2.3　實(shí)驗(yàn)指標(biāo)008
1.3　AB實(shí)驗(yàn)的2個核心價(jià)值009
1.3.1　定性因果：驗(yàn)證因果關(guān)系，確保方向正確009
1.3.2　定量增長：實(shí)踐數(shù)據(jù)驅(qū)動，精細(xì)成本收益012
1.4　AB實(shí)驗(yàn)的2個關(guān)鍵特性015
1.5　AB實(shí)驗(yàn)行業(yè)應(yīng)用016
1.5.1　AB實(shí)驗(yàn)應(yīng)用場景016
1.5.2　AB實(shí)驗(yàn)應(yīng)用案例018
第二部分　深入AB實(shí)驗(yàn)
第2章　AB實(shí)驗(yàn)的關(guān)鍵問題026
2.1　實(shí)驗(yàn)參與對象的3個問題027
2.2　實(shí)驗(yàn)隨機(jī)分流的3個問題027
2.3　實(shí)驗(yàn)指標(biāo)的2個問題028
2.4　實(shí)驗(yàn)分析和評估的3個問題028
第3章　AB實(shí)驗(yàn)的統(tǒng)計(jì)學(xué)知識031
3.1　隨機(jī)抽樣和抽樣分布032
3.2　區(qū)間估計(jì)和置信區(qū)間037
3.3　樣本容量和邊際誤差038
3.3.1　均值類指標(biāo)038
3.3.2　比率類指標(biāo)040
3.4　假設(shè)檢驗(yàn)041
3.4.1　為什么需要假設(shè)檢驗(yàn)041
3.4.2　如何進(jìn)行假設(shè)檢驗(yàn)042
3.4.3　第一類錯誤、第二類錯誤和功效047
3.4.4　如何計(jì)算功效049
3.5　非參數(shù)檢驗(yàn)051
3.6　方差估計(jì)問題052
3.6.1　變化絕對差和相對差的方差估計(jì)053
3.6.2　比率類指標(biāo)的方差估計(jì)054
3.6.3　其他指標(biāo)的方差估計(jì)055
3.6.4　異常點(diǎn)對方差估計(jì)的影響055
3.7　多重測試問題056
3.7.1　什么是多重測試問題056
3.7.2　如何避免多重測試056
3.7.3　如何控制多重測試問題058
第4章　AB實(shí)驗(yàn)參與單元061
4.1　實(shí)驗(yàn)參與單元的選擇061
4.1.1　常見的實(shí)驗(yàn)參與單元062
4.1.2　實(shí)驗(yàn)參與單元粒度與實(shí)驗(yàn)評估066
4.1.3　用戶級別的實(shí)驗(yàn)參與單元067
4.2　實(shí)驗(yàn)參與單元的SUTVA問題070
4.2.1　什么是SUTVA070
4.2.2　為什么需要讓SUTVA成立071
4.2.3　導(dǎo)致SUTVA不成立的原因073
4.2.4　如何解決SUTVA不成立的問題075
4.3　最小實(shí)驗(yàn)參與單元數(shù)量079
第5章　AB實(shí)驗(yàn)的隨機(jī)分流083
5.1　單層分流模式083
5.2　正交分層模式084
5.2.1　正交性問題085
5.2.2　分層問題087
5.3　散列算法089
第6章　AB實(shí)驗(yàn)的SRM問題092
6.1　什么是SRM問題092
6.2　導(dǎo)致SRM問題的原因093
6.2.1　部署階段093
6.2.2　執(zhí)行階段097
6.2.3　數(shù)據(jù)處理和分析階段098
6.3　SRM指標(biāo)計(jì)算和定位099
6.3.1　SRM指標(biāo)計(jì)算099
6.3.2　定位SRM問題099
第7章　AA實(shí)驗(yàn)101
7.1　AA實(shí)驗(yàn)的意義101
7.1.1　控制第一類錯誤102
7.1.2　確保用戶同質(zhì)104
7.1.3　數(shù)據(jù)指標(biāo)對齊105
7.1.4　估計(jì)統(tǒng)計(jì)方差106
7.2　如何運(yùn)行AA實(shí)驗(yàn)108
7.2.1　什么時(shí)候運(yùn)行AA實(shí)驗(yàn)108
7.2.2　AA實(shí)驗(yàn)失敗的常見原因110
第8章　AB實(shí)驗(yàn)的靈敏度112
8.1　什么是實(shí)驗(yàn)靈敏度112
8.2　如何提升實(shí)驗(yàn)靈敏度113
8.3　選擇指標(biāo)114
8.3.1　選擇方差較小的評估指標(biāo)114
8.3.2　標(biāo)準(zhǔn)化評估指標(biāo)115
8.4　選擇實(shí)驗(yàn)參與對象116
8.4.1　采用更細(xì)粒度的單元隨機(jī)化對象116
8.4.2　使用觸發(fā)分析116
8.5　選擇實(shí)驗(yàn)分組117
8.5.1　使用分層、控制變量或CUPED方法117
8.5.2　設(shè)計(jì)配對實(shí)驗(yàn)119
8.6　定向觸發(fā)技術(shù)和評估119
8.6.1　觸發(fā)的方式120
8.6.2　觸發(fā)范圍變化121
8.6.3　觸發(fā)實(shí)驗(yàn)的分析123
8.6.4　觸發(fā)檢驗(yàn)125
8.6.5　觸發(fā)技術(shù)的局限性125
8.7　如何驗(yàn)證實(shí)驗(yàn)靈敏度的提升127
第9章　AB實(shí)驗(yàn)的長期影響129
9.1　長短期影響不一致的原因130
9.2　評估長期影響的意義133
9.3　如何評估長期影響134
9.3.1　長周期實(shí)驗(yàn)134
9.3.2　保留實(shí)驗(yàn)和反轉(zhuǎn)實(shí)驗(yàn)136
9.3.3　后期分析法137
9.3.4　時(shí)間交錯實(shí)驗(yàn)法139
9.3.5　固定群組分析法140
9.3.6　長期影響的代理指標(biāo)法141
第三部分　AB實(shí)驗(yàn)評估指標(biāo)體系
第10章　產(chǎn)品指標(biāo)體系145
10.1　什么是指標(biāo)體系145
10.2　設(shè)計(jì)指標(biāo)146
10.2.1　基于OKR的分級法147
10.2.2　OSM模型法153
10.2.3　指標(biāo)設(shè)計(jì)和開發(fā)技巧154
10.3　評估指標(biāo)156
10.3.1　信息增益156
10.3.2　因果關(guān)系158
10.3.3　長期有效性158
10.4　進(jìn)化指標(biāo)159
10.5　指標(biāo)分類162
10.6　指標(biāo)體系設(shè)計(jì)案例165
第11章　實(shí)驗(yàn)評估指標(biāo)體系169
11.1　實(shí)驗(yàn)評估指標(biāo)的3個基本條件169
11.2　選擇更好的實(shí)驗(yàn)評估指標(biāo)170
11.2.1　綜合指向性與靈敏性170
11.2.2　從業(yè)務(wù)視角出發(fā)172
11.2.3　考慮應(yīng)用和工程174
11.3　將關(guān)鍵指標(biāo)合并為OEC175
11.3.1　如何建立OEC176
11.3.2　OEC的關(guān)鍵屬性179
11.3.3　構(gòu)建OEC的注意事項(xiàng)179
11.3.4　構(gòu)建OEC的案例180
第四部分　AB實(shí)驗(yàn)的基礎(chǔ)建設(shè)
第12章　開展AB實(shí)驗(yàn)的基礎(chǔ)條件187
12.1　決策層認(rèn)知187
12.2　基礎(chǔ)工具建設(shè)188
12.2.1　購買外部服務(wù)189
12.2.2　自建平臺190
12.3　文化制度建設(shè)191
第13章　AB實(shí)驗(yàn)平臺的建設(shè)192
13.1　AB實(shí)驗(yàn)平臺架構(gòu)193
13.2　實(shí)驗(yàn)管理功能194
13.2.1　實(shí)驗(yàn)創(chuàng)建管理195
13.2.2　實(shí)驗(yàn)配置管理196
13.2.3　實(shí)驗(yàn)操作管理197
13.2.4　實(shí)驗(yàn)權(quán)限管理198
13.3　實(shí)驗(yàn)部署功能199
13.3.1　流量分配大小200
13.3.2　流量分配時(shí)機(jī)202
13.3.3　實(shí)驗(yàn)放量節(jié)奏203
13.3.4　不同類型實(shí)驗(yàn)的部署205
13.3.5　實(shí)驗(yàn)部署中的其他問題209
13.4　實(shí)驗(yàn)數(shù)據(jù)處理和分析211
13.4.1　數(shù)據(jù)源212
13.4.2　數(shù)據(jù)處理214
13.4.3　指標(biāo)定義和數(shù)據(jù)計(jì)算215
13.4.4　數(shù)據(jù)可視化219
13.4.5　數(shù)據(jù)分析221
13.5　AB實(shí)驗(yàn)服務(wù)通用框架221
第14章　實(shí)驗(yàn)組織和文化建設(shè)224
14.1　決策層的支持與參與226
14.2　實(shí)驗(yàn)專家團(tuán)隊(duì)的帶領(lǐng)與教育228
14.3　業(yè)務(wù)團(tuán)隊(duì)實(shí)驗(yàn)骨干的深入與傳遞229
14.4　全體參與和擴(kuò)大影響231
14.5　國內(nèi)AB實(shí)驗(yàn)的開展情況233
14.6　實(shí)驗(yàn)成熟度模型236
第五部分　基于AB實(shí)驗(yàn)的增長實(shí)踐
第15章　構(gòu)建想法：形成產(chǎn)品假設(shè)240
15.1　產(chǎn)品策劃找方向240
15.2　數(shù)據(jù)洞察找瓶頸245
第16章　驗(yàn)證想法：AB實(shí)驗(yàn)實(shí)踐252
16.1　實(shí)驗(yàn)假設(shè)252
16.1.1　目標(biāo)性252
16.1.2　可歸因253
16.1.3　可復(fù)用254
16.2　實(shí)驗(yàn)設(shè)計(jì)255
16.2.1　實(shí)驗(yàn)樣本選擇255
16.2.2　實(shí)驗(yàn)指標(biāo)設(shè)計(jì)257
16.2.3　實(shí)驗(yàn)流量計(jì)算258
16.2.4　實(shí)驗(yàn)周期預(yù)估260
16.3　實(shí)驗(yàn)運(yùn)行261
16.3.1　實(shí)驗(yàn)上線261
16.3.2　實(shí)驗(yàn)停止263
16.3.3　實(shí)驗(yàn)放量265
16.4　實(shí)驗(yàn)分析和理解266
16.4.1　明確實(shí)驗(yàn)影響范圍266
16.4.2　確保實(shí)驗(yàn)對比人群具有可對比性270
16.4.3　實(shí)驗(yàn)影響評估：先總后分、從主到次272
16.4.4　通過維度細(xì)分發(fā)現(xiàn)問題273
16.4.5　理解實(shí)驗(yàn)統(tǒng)計(jì)學(xué)含義275
16.4.6　解讀數(shù)據(jù)背后的產(chǎn)品邏輯277
16.5　實(shí)驗(yàn)決策278
16.5.1　從分析到?jīng)Q策278
16.5.2　3種實(shí)驗(yàn)結(jié)果282
16.5.3　實(shí)驗(yàn)報(bào)告284
第17章　沉淀想法：實(shí)驗(yàn)記憶285
17.1　什么是實(shí)驗(yàn)沉淀285
17.2　實(shí)驗(yàn)沉淀的價(jià)值286
17.2.1　發(fā)現(xiàn)策略通用性286
17.2.2　從失敗中尋找機(jī)會289
17.2.3　發(fā)揚(yáng)實(shí)驗(yàn)文化290
17.2.4　幫助理解指標(biāo)290
17.3　如何進(jìn)行實(shí)驗(yàn)沉淀291
第18章　基于AB實(shí)驗(yàn)的增長實(shí)踐解決方案293
18.1　角色分工方案295
18.2　數(shù)據(jù)建設(shè)方案295
18.3　效果評估方案297
第六部分　AB實(shí)驗(yàn)的局限與補(bǔ)充
第19章　AB實(shí)驗(yàn)的局限性303
19.1　戰(zhàn)略創(chuàng)新層面303
19.2　戰(zhàn)術(shù)執(zhí)行層面305
第20章　AB實(shí)驗(yàn)之外的因果分析方法309
20.1　匹配法310
20.1.1　匹配法的基本步驟310
20.1.2　傾向性得分方法313
20.2　工具變量法314
20.2.1　什么是工具變量314
20.2.2　案例1：教育、參軍對收入的影響316
20.2.3　案例2：內(nèi)容發(fā)布者與用戶活躍度的關(guān)系317
20.3　面板數(shù)據(jù)法317
20.4　中斷時(shí)間序列法319
20.5　斷點(diǎn)回歸法320
20.6　增益模型322
第21章　常用的用戶調(diào)查分析方法325
21.1　用戶日志分析326
21.2　調(diào)查問卷328
21.3　焦點(diǎn)小組329
21.4　用戶體驗(yàn)研究330
21.5　人工評測330
21.6　外部數(shù)據(jù)332