Optimizely Intelligence Cloud: Hur man använder statistikmotorn för att testa smartare och snabbare

Optimistiskt statistik för motor- och A/B -teststrategier

Om du vill köra ett experimentprogram för att hjälpa ditt företag att testa och lära sig, är chansen stor att du använder det Optimalt intelligensmoln - eller så har du åtminstone tittat på det. Optimizely är ett av de mest kraftfulla verktygen i spelet, men som alla sådana verktyg kan du använda det fel om du inte förstår hur det fungerar. 

Vad gör Optimizely så kraftfullt? Kärnan i dess funktionsuppsättning ligger den mest informerade och intuitiva statistikmotorn i ett tredjepartsverktyg, så att du kan fokusera mer på att få viktiga tester live-utan att behöva oroa dig för att du misstolkar dina resultat. 

Ungefär som en traditionell blindstudie i medicin, A / B-testning kommer slumpmässigt att visa olika behandlingar av din webbplats till olika användare för att sedan jämföra varje behandlings effekt. 

Statistik hjälper oss sedan att dra slutsatser om hur effektiv den behandlingen kan vara på lång sikt. 

De flesta A/B -testverktyg förlitar sig på en av två typer av statistisk slutsats: Frequentist eller Bayesian statistik. Varje skola har olika fördelar och nackdelar - Frekvensstatistik kräver att ett provstorlek fastställs innan ett experiment körs, och Bayesiansk statistik bryr sig främst om att fatta bra riktningsbeslut snarare än att ange en enda siffra för påverkan, för att nämna två exempel. Optimizelys supermakt är att det är det enda verktyget på marknaden idag som tar en bästa av båda världar närma sig.

Slutresultatet? Optimizely gör det möjligt för användare att köra experiment snabbare, mer pålitligt och mer intuitivt.

För att dra full nytta av det är det dock viktigt att förstå vad som händer bakom kulisserna. Här är 5 insikter och strategier som får dig att använda Optimizelys funktioner som ett proffs.

Strategi 1: Förstå att inte alla mätvärden skapas lika

I de flesta testverktyg är en vanligt förbisedd fråga att ju fler mätvärden du lägger till och spårar som en del av ditt test, desto mer sannolikt är det att du ser några felaktiga slutsatser på grund av slumpmässiga slumpar (i statistik kallas detta "flera testproblem ”). För att hålla resultaten pålitliga använder Optimizely en rad kontroller och korrigeringar för att hålla oddsen för att det ska hända så låga som möjligt. 

Dessa kontroller och korrigeringar har två konsekvenser när du går för att ställa in tester i Optimizely. Först måttet du anger som din Primär mätvärde kommer att nå statistisk signifikans snabbast, allt annat konstant. För det andra, ju fler mätvärden du lägger till i ett experiment, desto längre tid tar dina senare mätvärden för att nå statistisk signifikans.

När du planerar ett experiment, se till att du vet vilket mått som kommer att vara ditt sanna nord i din beslutsprocess, gör det till ditt primära mått. Håll sedan resten av din mätlista mager genom att ta bort allt som är för överflödigt eller tangentiellt.

Strategi 2: Bygg dina egna anpassade attribut

Optimizely är bra på att ge dig flera intressanta och hjälpsamma sätt att segmentera dina experimentresultat. Du kan till exempel undersöka om vissa behandlingar fungerar bättre på stationära enheter jämfört med mobilen eller observera skillnader mellan trafikkällor. När ditt experimentprogram mognar kommer du snabbt att önska dig nya segment-dessa kan vara specifika för ditt användningsfall, som segment för engångsköp jämfört med prenumerationsköp, eller lika generellt som "nya kontra återkommande besökare" (vilket, uppriktigt sagt, vi kan fortfarande inte ta reda på varför det inte tillhandahålls ur kartongen).

Den goda nyheten är att via Optimizelys Project Javascript -fält kan ingenjörer som är bekanta med Optimizely bygga ett antal intressanta anpassade attribut som besökare kan tilldelas och segmenteras efter. På Cro Metrics har vi byggt ett antal aktiemoduler (som “nya kontra återkommande besökare”) som vi installerar för alla våra kunder via deras Project Javascript. Att utnyttja denna förmåga är en viktig skillnad mellan mogna team som har rätt tekniska resurser för att hjälpa dem att utföra, och team som kämpar för att förverkliga experimentets fulla potential.

Strategi 3: Utforska Optimizelys statistikaccelerator

En ofta överhypad testverktygsfunktion är möjligheten att använda "flerarmade banditer", en typ av maskininlärningsalgoritm som dynamiskt förändras var din trafik fördelas under ett experiment, för att skicka så många besökare till "vinnande" variation som möjligt. Problemet med flerarmade banditer är att deras resultat inte är tillförlitliga indikatorer på långsiktig prestanda, så användningsfallet för denna typ av experiment är begränsat till tidskänsliga fall som säljkampanjer.

Optimalt har dock en annan typ av banditalgoritm tillgänglig för användare på högre planer - Stats Accelerator (nu känt som alternativet "Accelerera inlärningar" i Bandits). I denna inställning, i stället för att försöka dynamiskt allokera trafik till den högst presterande varianten, fördelar Optimizely dynamiskt trafik till de variationer som sannolikt kommer att uppnå statistisk signifikans snabbast. På så sätt kan du lära dig snabbare och behålla replikerbarheten av traditionella A/B -testresultat.

Strategi #4: Lägg till emojis i dina metriska namn

Vid första anblicken låter denna idé förmodligen malplacerad, till och med vansinnig. En viktig aspekt av att se till att du läser rätt experimentresultat börjar dock med att se till att din publik kan förstå frågan. 

Ibland, trots våra bästa ansträngningar, kan metriska namn bli förvirrande (vänta - avfyras det måttet när beställningen accepteras, eller när användaren träffar tack -sidan?), Eller ett experiment har så många mått som rullar upp och ner i resultaten sida leder till total kognitiv överbelastning.

Om du lägger till emojis till dina måttnamn (mål, gröna bockar, till och med den stora pengasäcken kan fungera) kan det leda till sidor som är mycket mer skannbara. 

Lita på oss - att läsa upp resultaten kommer att kännas mycket lättare.

Strategi 5: Överväg din statistiska signifikansnivå igen

Resultaten anses avgörande i samband med ett Optimizely -experiment när de har nåtts statistisk signifikans. Statistisk signifikans är en tuff matematisk term, men i huvudsak är det sannolikheten att dina observationer är resultatet av en verklig skillnad mellan två populationer, och inte bara slumpmässiga slumpar. 

Optimizelys rapporterade statistiska signifikansnivåer är "alltid giltiga" tack vare ett matematiskt begrepp som kallas sekventiell testning - detta gör dem faktiskt mycket mer tillförlitliga än andra testverktyg, som är benägna att "kika" om du läser dem för tidigt.

Det är värt att överväga vilken nivå av statistisk signifikans du anser vara viktig för ditt testprogram. Medan 95% är konventionen inom det vetenskapliga samfundet, testar vi webbplatsändringar, inte vacciner. Ett annat vanligt val i experimentvärlden: 90%. Men är du villig att acceptera lite mer osäkerhet för att köra experiment snabbare och testa fler idéer? Kan du använda 85% eller till och med 80% statistisk signifikans? Att vara avsiktlig om din risk-belöningsbalans kan betala exponentiell utdelning över tid, så tänk igenom detta noga.

Läs mer om Optimizely Intelligence Cloud

Dessa fem snabba principer och insikter kommer att vara oerhört hjälpsamma att tänka på när du använder Optimizely. Som med alla verktyg går det ut på att se till att du har en god förståelse för alla anpassningar bakom kulisserna, så att du kan se till att du använder verktyget effektivt och effektivt. Med dessa förståelser kan du få de pålitliga resultaten du letar efter när du behöver dem. 

Vad tror du?

Den här sidan använder Akismet för att minska spam. Läs om hur din kommentardata behandlas.