《產(chǎn)品經(jīng)理 - 風(fēng)控產(chǎn)品經(jīng)理如何運用AB —Test做指導(dǎo).docx》由會員分享,可在線閱讀,更多相關(guān)《產(chǎn)品經(jīng)理 - 風(fēng)控產(chǎn)品經(jīng)理如何運用AB —Test做指導(dǎo).docx(3頁珍藏版)》請在裝配圖網(wǎng)上搜索。
1、風(fēng)控產(chǎn)品經(jīng)理如何運用A/B Test做指導(dǎo)
字節(jié)跳動2012年成立之初便開始使用A/B Test,截至2021年3 月底,字節(jié)跳動累計已經(jīng)做了 70多萬次A/B Test;
Amazon不僅使用A/B Test優(yōu)化用戶的購物體驗提升訂單轉(zhuǎn)化, 還開放給平臺商家使用;
谷歌每個月從上百個實驗中找到有效方案,將營收提升2%, 創(chuàng)造出10億美元的規(guī)模。
為什么互聯(lián)網(wǎng)巨頭們熱衷于A/B Test?
業(yè)務(wù)開展的邏輯就像是馬拉松,需要低損耗地朝正確方向持續(xù)小跑。
而A/B Test就是一個很好的導(dǎo)航系統(tǒng)和說理工具,有效的實驗可以幫我們 快速測試方案、找到最優(yōu)選擇,并以此進一步優(yōu)化自己的產(chǎn)品、運
2、營計劃以及驅(qū) 動業(yè)務(wù)開展。因此,在互聯(lián)網(wǎng)領(lǐng)域,數(shù)據(jù)分析、產(chǎn)品經(jīng)理、運營、策略等從業(yè)人 員幾乎必知,A/B Test的重要性,也無需多言。
什么是A/B Test
A/B Test又被稱為小流量實驗、分桶實驗或?qū)φ諏嶒?。指單個變量具有兩 個版本A和B的隨機試驗。
作為“數(shù)據(jù)驅(qū)動增長”的最正確實踐,復(fù)刻了用實驗數(shù)據(jù)檢驗假設(shè)的科學(xué)研究 方法,將“適者生存”的進化理論作為底層的指導(dǎo)邏輯。
其基本思想是針對我們要改進的某項功能、UK邏輯策略等,提供兩種 或多種備選方案,從總體用戶中抽取一小局部,隨機將抽取出的流量分配給不同 方案,在結(jié)合一定的統(tǒng)計方法,得到不同版本相對效果的準(zhǔn)確估計,并對結(jié)果進
3、行量化分析,通過多輪實驗迭代,分析出最優(yōu)效果來達(dá)成決策。
指標(biāo)體系
流量實體
物物物
(X域 (X.區(qū).
&麻衣
■手 騎手梅手.
S1 11 @1
指標(biāo)、指標(biāo)/指標(biāo)
AA分組
實驗組
對照組
基于上述對A/B Test的說明,我們可將A/B Test實驗可以分為三個階段:
實驗前,提出該實驗假設(shè),定義實驗成功的指標(biāo),確定分流策略;實驗中,即驗證假設(shè)的階段,根據(jù)配置階段的分流策略進行分流和埋點上報;
實驗后,進行實驗分析與學(xué)習(xí),并基于實驗報告決定是否發(fā)布。
這種基于小樣本的實驗方法同時滿足低風(fēng)險、抗干擾和量化結(jié) 果的要求,因此在互聯(lián)網(wǎng)或者其他行業(yè)內(nèi)被廣泛應(yīng)用。
如何有效運用A/B Test“怎么說服老板重視A/B Test,如何從0到1完成A/B Test? ”
“實驗需要收集多少樣本才能使結(jié)果顯著?如何對樣本量進行取舍? ”
“在A/BTest運用過程中,我們該如何提出假設(shè)、定義成功指標(biāo)、確定分 流策略?
“如何提出有效假設(shè),才能幫助我們做好分流決策及實驗?如何判斷實驗報告的有效性?
這是新人常常會遇到的問題,當(dāng)然,還有許多問題待提出解決。尤其是在工作「2年這個階段,要么無從下手,要么眉毛胡子一把抓,往往測試效果不理想, 這都是缺少分析思路的表現(xiàn)。