Varför har det dröjt så länge för företag att A/B-testa sin kommunikation?

På 1600 talet trodde man att fluglarver föddes ur dött kött och utan världens första A/B-test kanske vi fortfarande hade trott så. Snubben (Francesco Redi) som motbevisade det döda köttets förmåga att föda flugor tog enligt källor 8 burkar och stoppade köttbitar i dem. Fyra av brukarna täcktes med muslinpapper och resterande fyra fick stå öppna. Ni förstår vad som hände, eller hur.

A/B-tester är den enklaste varianten av en vetenskaplig metod som kallas kontrollerade experiment. Metoden har använts framgångsrikt i till exempel lantbruks och bilindustrin. Och vi ska inte glömma bort att snacka om det medicinska området. Där måste kontrollerade experiment användas, do or die!

Enkel förklaring för dig som är ny på det här med A/B-tester

Innan du startar ett A/B-test har du genom observation och analys kommit fram till en hypotes. Fancescos var väl något i stil med det föds bara fluglarver i dött kött om flugor kan lägga ägg där. För en webbplats kan hypotesen vara om jag använder röd köpknapp istället för grön köpknapp kommer fler att klicka på den.

För att bevisa eller motbevisa påståendet finns i det här A/B-testet variant av webbsidan som har grön köpknapp och en som har röd köpknapp. En del av webbsidans besökare får se kontrollvarianten (den med grön knapp) och en del får se den utmanande varianten (den med röd knapp) Den variant där flest besök lett till klick på knappen vinner och man ser om resultatet stämmer med hypotesen.

Men, hold on…det här med konverteringsoptimering av webbplatser genom A/B-tester är ju faktiskt ganska nytt, speciellt i Sverige. Varför det? Det är både tids- och kostnadseffektivt i jämförelse med tidigare nämnda branscher. Och att implementera en förändring är ju ännu mer effektivt än själva testgenomförandet.
Jämför med att slänga in den vinnande varianten av webbplatsen som default med att t.ex förändra en hel tillverkningsprocess i en biltillverkning för flera miljoner. Ändå görs det, bland annat hos Toyota. Regelbundet.Man gör det för att det är värt!

Sug på den en sväng!

Kan man lita på A/B-testets resultat?

Om inte datan i ett A/B eller MV test är rätt är den värdelöst , eller värre, väldigt dyr. Orsaker till missvisande data kan vara:

Slumpmässigheten i tilldelningen av varianter funkar inte som den ska. Det kan hända att en viss typ av trafik alltid tilldelas den ena eller den andra varianten vilket kan göra testresultatet opålitligt.

Förlorad data. Vid tester kan det hända att varianterna samlar data med olika metoder, till exempel att originalvarianten samlar data genom tracking av URL redirects och utmanaren med ett JavaScriptanrop. Det kan påverka testresultatets tillförlitlighet då vissa browsers inte tillåter JavaScript.

Olika laddningstid. När man använder tjänster som Optimizely eller Visual website optimizer skapar man testvarianter som lagras på externa servers som inte laddar i samma hastighet som den egna. Dessutom visas den utmanande varianten genom en redirect från orginalvarianten. Båda dessa saker kan påverka laddningstiden på den utmanande varianten till det sämre.

Ron Kohavi, General manager på Microsofts Experimentation Platform tipsar om vad man kan göra för att upptäcka fel i datainsamlingen.

– Geonomföra A/A tester innan A/B-testet körs igång

– Hålla koll på KPIer som inte ska förändras mellan de två varianterna, till exempel cache hit rate

– Validera datan genom att till exempel kolla CTR per timme för att se om det finns perioder då datan skiljer sig markant mellan original och utmanare. Finns stora förändringar i vissa tidsintervaller kontrollera varför och om nödvändigt uteslut datan som samlats under det specifika perioden.

Såhär genomförs expertgranskningen av ideella organisationers webbplatser

Efter att ha gjort en grovgallring av organisationernas webbplatser finns ett första urval av fem intressanta kvar. Det är dessa fem som kommer att ingå i expertgranskningen där 5 ska bli 3. Expertgranskningen bygger på följande kriterier.

Value proposition

Den viktigaste komponenten i en organisation och i dess kommunikation är vem man är och varför man finns. Begreppet är lånat från affärsvärlden och för ideella organisationer har jag översatt det till att förmedla anledningen till sin existens på ett sätt som får mottagaren att identifiera sig och hålla med om budskapet.Detta är grundpelaren som efterföljande mätpunkter bygger på.

Möjlighet att gå till handling (agera/reagera)

All kommunikation på webbplatsen bör ha ett mål, en handling som man vill att mottagaren sak utföra. I det här fallet ska det vara lätt för besökarna på webbplatsen att förstå budskapet och agera/reagera utifrån det. Till exempel bli medlem eller ge en gåva.

Skapa angelägenhet (Urgency)

Här frågar jag mig om organisationen lyckas skapa en känsla hos mottagaren av att inte vilja missa eller inte vara en del av det som organistionen gör/har att erbjuda.

Relevans

Är allt som finns på webbplatsen relevant för målen med den digitala närvaron? Här använder jag mig av hypotetiska målsättningar som jag kan anta att organisationen jobbar för att nå utifrån de budskap jag kan utläsa på webbplatsen.

Distraktioner

Finns det komponenter på webbplatsens URLer som drar uppmärksamheten från primära Call-to-actions.

Stress och oro

Finns det komponenter på webbplatsen som förvirrar, stressar och skapar ängslan hos besökaren? Detta är ofta en stor bov när måluppfyllelsen misslyckas på en webbplats.

Att skapa en webbplats som levererar och uppfyller mål – hur gör man?

Är inte ideella organisationers webbplatser fantastiskt dåliga på att kommunicera vad som är viktigt? Jag känner mig överfallen av text-spyor  och grafiskt material med slogans som jag inte förstår. Jag undrar varför denna kommunikationskanal med potential att nå en teoretiskt sett obegränsad publik får bli så åsidosatt. Jag undrar varför många organisationer fuckar upp möjligheten till måluppfyllelse genom att exempelvis:

  • Glömma bort att berätta om organisationens syfte
  • Använda ett alldeles för internt språkbruk
  • Att besökaren inte förstår hur man går till handling (t.ex. blir medlem, donerar, signar upp m.m.) eller varför man ska göra det.

Jag har bestämt mig för att hitta de ideella organisationer som lyckas bra med sin webbplats och ta reda på vad det är som gör dem framgångsrika. Tänk att få suga juicen ur det och tänk om andra organisationer vill ta del av det jag hittar! Om det kan hjälpa en enda organisation att blir liiite bättre så kommer det att vara värt jobbet!

Hur ska jag lyckas?

Min kille tycker att ideella organisationer borde jobba lite mer som Liverpool...varför inte?

1. Jag börjar med att välja ut tre organisationer vars webbplatser jag tror fungerar bra. Det gör jag genom en s.k. expertgranskning.

2. Intervjua ansvariga för webbplatserna om mål, måluppfyllelse, arbetsmetodik m.m

3. Validera webbplatsernas funktionalitet och användbarhet genom användbarhetstester.

4. Ny intervju för att gå djupare in på organisationens metodik kring arbetet med webbplatsen

5. Paketera informationen och inspirationen som jag har hittat och sprida den till alla som är intresserade.

Jag har jobbat flera år inom ideell sektor, bland annat som ordförande för Sveriges elevråd och som generalsekreterare på Förbundet Unga Forskare. Jag vet allt(?) om knappa resurser, ideellt arbete och att leva på öronmärkta projektbidrag och just därför känns detta viktigt. Hur gör man egentligen för att skapa en webbplats som faktiskt genererar nya medlemmar? Hur förstår besökare att organisationen är bäst? Och finns det sätt som underlättar för att få den där mytomspunna virala spridningen som är så åtråvärd? Förhoppningsvis hittar jag svar och när jag gör det kommer jag att publicera det!

Rätt info på rätt plats i Signerat.se kassan

Brightstep gjorde tillsammans med Signerat.se en omdesign för att förbättra interaktionen i kassan. Därefter testades om konverteringsgraden skulle öka om man i ett tidigt skede berättade om trygg e-handel samt påminde om fri frakt i direkt anslutning till kassaflödet.

Varianten

Originalet

I båda varianterna finns både loggan för trygg ehandel och fri frakt att hitta, men i den utmanade varianten visas de  i direkt anslutning till varukorgen (och inte bara i headern)

Den utmanade varianten ökade konverteringsgraden med 6%

Det här testet är baserat på best practice och det är inte jätte förvånande att få se att varianten vinna, och det med en ökning på dryga 6%. MEN jag har blivit förvånad över mindre saker när det kommer till A/B- och användbarhetstester, varför det är alltid rätt att testa!

För testet användes verktyget Optimizely.

Jag ska prata om optimering på emeet

Om en vecka träffas en massa ehandelsnördar i Solna för att byta erfaranheter om allt som har med ehandel att göra. Sjukt bra initiativ från drivna människor . Upplägget bygger på att man pratar om det som deltagarna vill prata om så jag har förberett min lista:

  1. Hur jobbar företag med konverteringsoptimering?
  2. Olika erfarenheter och case från A/B tester
  3. Segmentering, vilka segment har varit mest framgångsrika att optimera för och hur gjorde man då?
  4. När kan man sätta igång med konverteringsoptimering
  5. Tycker företagen att konverteringsoptimering är något viktigt som är värt att lägga tid på eller hur prioriterat är det egentligen?
  6. Hur man får trafiken från sociala nätverk att konvertera
  7. Var börjar andra när de startar upp konverteringsoptimering?
  8. Helt enkelt vill jag veta om alla andras erfarenheter och kunskap!!
Den finns en lista på alla företag som kommer att vara där så den kan man span på innan för att bli pepp!

Vad vill du diskutera på emeet??

Guide: kommunicera rätt och öka konverteringsgraden

Jag har precis träffat Maria på Signerat.se för att pratat om dessa A/B-tester och förbereda för nästa testomgång. Tidigare har vi baserat våra testhypoteser på data från Google Analytics och Clicktale och nu utökar vi med ytterligare en metod. Detta är för att få fram de mest informerade hypoteserna.

Metoden kallas ”the awareness ladder”  och används för att avgöra hur man kan kommunicera på ett sätt som passar situation och publik  och på så vis underlätta för besökare att fatta ett köpbeslut.

The awareness ladder

vem kommunicerar du till

Grundläggande regler

  • Alla befinner sig vid någon tidpunkt på 0
  • Man kan bara förflyttas ett steg i taget
  • En person kommer bara att fatta ett köpbeslut och gå till handling i steg 5
  • För att göra en försäljning måste du hjälpa varje besökare att förflytta sig uppåt, ett steg i taget!

Såhär använder du stegen

Besvara följande frågor så bra du kan. Det är i svaren du hittar nyckeln för att få dina besökare att röra sig uppåt på stegen.

  1. Var på stegen befinner sig mina besökare just nu?
  2. Vad letar de efter?
  3. Vad är de öppna för?
  4. Hur fångar jag deras uppmärksamhet?
  5. Hur kan du bjuda in dem till nästa steg (vilken är den rätta att Call-to-action att använda)
  6.  Vad behöver du göra för att övertyga besökaren om att nästa steg är en vettig väg att gå.

Den mest informerade Hypotesen

För att genomföra effektiva A/B-test vill jag inte slösa tid på att testa varianter som presterar sämre än originalet. För att undvika det jobbar jag med analys och utvärderingsmetoder för att därifrån göra den mest informerade hypotesen om vad som kommer att leda till en förbättring av konverteringsgraden. Målet är alltid att testvarianten ska slå originalet.
Precis som i forskning vill jag bevisa eller motbevisa hypoteserna och det är därför jag använder A/B-tester (istället för att göra förändringen på e-handeln direkt). A/B-testerna gör att jag med säkerhet vet om en planerad förändring på e-handeln kommer att ge en ökad konverteringsgrad.
Läs mer om The Awareness Ladder