Kan man lita på A/B-testets resultat?

Om inte datan i ett A/B eller MV test är rätt är den värdelöst , eller värre, väldigt dyr. Orsaker till missvisande data kan vara:

Slumpmässigheten i tilldelningen av varianter funkar inte som den ska. Det kan hända att en viss typ av trafik alltid tilldelas den ena eller den andra varianten vilket kan göra testresultatet opålitligt.

Förlorad data. Vid tester kan det hända att varianterna samlar data med olika metoder, till exempel att originalvarianten samlar data genom tracking av URL redirects och utmanaren med ett JavaScriptanrop. Det kan påverka testresultatets tillförlitlighet då vissa browsers inte tillåter JavaScript.

Olika laddningstid. När man använder tjänster som Optimizely eller Visual website optimizer skapar man testvarianter som lagras på externa servers som inte laddar i samma hastighet som den egna. Dessutom visas den utmanande varianten genom en redirect från orginalvarianten. Båda dessa saker kan påverka laddningstiden på den utmanande varianten till det sämre.

Ron Kohavi, General manager på Microsofts Experimentation Platform tipsar om vad man kan göra för att upptäcka fel i datainsamlingen.

– Geonomföra A/A tester innan A/B-testet körs igång

– Hålla koll på KPIer som inte ska förändras mellan de två varianterna, till exempel cache hit rate

– Validera datan genom att till exempel kolla CTR per timme för att se om det finns perioder då datan skiljer sig markant mellan original och utmanare. Finns stora förändringar i vissa tidsintervaller kontrollera varför och om nödvändigt uteslut datan som samlats under det specifika perioden.

Annonser

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut / Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut / Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut / Ändra )

Google+ photo

Du kommenterar med ditt Google+-konto. Logga ut / Ändra )

Ansluter till %s