Sprievodca A/B testovaním stránok

Cieľom marketingu je čo najviac predávať. Logicky vzniká otázka, čo pomôže predať viac, resp. efektívnejšie. Jedna z najspoľahlivejších metód, ako na túto otázku nájsť odpoveď, predstavuje A/B testovanie. V online marketingu ide napríklad o A/B testovanie stránok.

Prvotne na tomto blogu tému A/B testovania spracoval Marek Šulik (30. 4. 2014). Neskôr daný článok upravil Jaroslav Uram (7. 10. 2020) a teraz som článok opäť výraznejšie prepracoval a rozšíril. 

Čo je to A/B testovanie stránok?

A/B testovanie stránok nazývané tiež split testing je riadený experiment, ktorý spočíva v tom, že návštevníci sa dostávajú na odlišné varianty stránok, pričom sa sleduje, ktorý variant dosahuje želanú konverznú akciu častejšie. Varianty sa líšia spravidla v zmene nejakého prvku. Želanou konverziou býva najčastejšie nákup alebo objednanie nejakej služby.

Prečo testovať?

Stručne povedané kvôli nízkym nákladom a vysokej spoľahlivosti zistení.

A/B testovanie je kvantitatívna metóda optimalizácie konverznej miery. Hlavnou výhodou kvantitatívnych metód je, že pri nich vieme dosahovať štatistickú významnosť, z čoho vyplýva väčšia objektivizovateľnosť a spoľahlivosť záverov.

Každý web i každý návštevník webu je unikátny. Dáta z reálneho života na konkrétnom webe sú neraz odlišné od toho, čo sa osvedčilo na iných weboch a sú tiež neraz výrazne odlišné od intuície akokoľvek skúsených UX špecialistov.

Vďaka testovaniu teda zmeny na webe nerobíme na základe našej intuície ani na základe názoru UX odborníka, ktorý nie je naším reálnym zákazníkom, ani na základe participantov testovania použiteľnosti, ktorí kvôli svojmu nízkemu počtu nemusia byť dostatočne reprezentatívni. Rozhodnutia robíme na základe štatisticky významných dát. Takže by sa nemalo stať, že tvorcovia rozhodnutí (klienti či niekto v manažérskej hierarchii), by zistenú potrebu zmien na webe mali spochybňovať či brániť jej implementácii.

A/B testovanie je v pomere k svojmu prínosu pre rast ziskov relatívne nízko nákladová metóda. Stačí na to jeden špecialista a nejaký platený online nástroj. K tomu treba rátať ešte s nákladmi na developera či copywriterov a administrátorov webu, ktorí budú zmeny implementovať. Tiež treba rátať aj so stratami na konverziách, ktoré spôsobuje testovanie menej úspešných variantov oproti aktuálne nasadenému stavu.  

Skúsme si návratnosť investície do A/B testovania ilustrovať na príklade. Máme e-shop, ktorý generuje za rok na tržbách 1 milión eur a zisk 200 000 €. Ak by sme vďaka ročnému A/B testovaniu, do ktorého sa investuje spolu so všetkým 10 000 €, zvýšili konverznú mieru o 30 % a k tomu by adekvátne stúpli tržby o 600 000 € a zisky o 60 000 €, tak vidíme, že za prvý rok sa investícia 5-násobne zhodnotí a prínos z toho by v ďalších rokoch iba pokračoval. Čím vyššie tržby a zisky, o to lepšie zhodnotenie.

Pre ktoré weby je A/B testovanie vhodné

A/B testovanie je v prvom rade o objektívnosti. Pre objektívnosť je podstatná štatistická významnosť. Na to, aby niečo bolo štatisticky významné, potrebujeme mať dosť veľkú vzorku na posúdenie. Nejde ani tak o počet návštev, ako skôr o počet konverzií, ktoré chceme zvyšovať.

Na rýchlosť dosiahnutia výsledkov A/B testovania vplývajú najviac dva faktory: počet konverzií na webe a veľkosť rozdielu vo výkonnosti variantov. Čím vyššie sú tieto hodnoty, tým rýchlejšie možno dosiahnuť výsledok testovania.

Vzťah potrebného počtu návštev pri 3-percentnej konverzii a miery zlepšenia pri štatistickej významnosti 95 % možno vidieť v nasledujúcej tabuľke (čísla sú zaokrúhlené):

Hodnoty vypočítané podľa kalkulačky na výpočet vzorky na webe Optimizely.

Zjednodušene možno povedať, že na to, aby dávalo A/B testovanie zmysel, čiže aby sme v rozumnom čase vedeli identifikovať aspoň 10-percentné rozdiely vo výkonnosti dvoch variant (originálu a alternatívy), web by mal mať aspoň 114 000 návštev mesačne.

Nejde o nijako striktnú hranicu, ale ako aj vidieť v tabuľke vyššie, čím nižšia návštevnosť a na to nadväzujúci počet konverzií, tým menej dáva A/B testovanie zmysel. Naopak, viacnásobné rozdiely v zlepšení medzi variantmi možno vidieť už pri veľmi nízkej návštevnosti, doslova zopár stoviek.

Tu si treba ešte uvedomiť, že pre aktivovanie nástrojov na A/B testovanie na webe je potrebný výslovný súhlas návštevníka webu v rámci tzv. cookie lišty. Takže spomenutú návštevnosť potrebujeme nazbierať od návštevníkov, ktorí súhlas udelia. Ak je miera súhlasu na webe iba okolo 33 %, reálna návštevnosť by mala byť trojnásobná oproti hodnotám v tabuľke.

Tiež treba rátať s tým, že väčšina experimentov dopadne neúspechom.

Aké CRO metódy by mali predchádzať A/B testovaniu

A/B testovanie slúži na to, aby sme skúšali, či zmeny, o ktorých si myslíme, že by mohli fungovať, aj naozaj zaúčinkujú.

Pred tým, ako sa pustíme do A/B testovania, je vhodné mať zanalyzované, či na webe nie sú očividné nedostatky, ktoré nás zbytočne ukracujú o želané konverzie. Je dobré mať vypracovaný komplexný UX/UI audit webu s dôrazom na nákupný proces opretý o dáta z webovej analytiky (napr. Google Analytics). Preto je dôležité mať v nástroji webovej analytiky nastavené rôzne pokročilé metriky.

Vďaka tomu môžeme napr. zistiť, že veľa návštevníkov odchádza, keď sa počas objednávky dozvie vysokú cenu za dopravu. Alebo zistia, že im chýba nimi preferovaná metóda platby alebo metóda doručenia. Prípadne sa zistí, že návštevníci z mobilov majú k dispozícii nekvalitnú verziu webu, ktorý sa ťažko ovláda a ťažko sa cez neho objednáva.

Samozrejme, sú úpravy, pri ktorých je ťažké určiť, či sú nepochybne prínosné alebo je to sporné a treba to otestovať. Ak urobíte bez testovania zmenu, o ktorej si myslíte, že je jednoznačne prínosná a v skutočnosti bude pôsobiť ako ťažko izolovateľný faktor zhoršenia želaných metrík, poškodíte tým ziskovosť daného webu. Ak, naopak, budete testovať zmeny, ktoré sú nepochybným prínosom, tak stratou času a nákladmi na testovanie taktiež poškodzujete ziskovosť webu.

Na vyriešenie takýchto dilem sú skúsení špecialisti. Ak takých pri sebe nemáte a neviete si ich zaplatiť, môžete skúsiť využiť nejaké UI/UX fórum napríklad na Facebooku.

Definovanie cieľov

Pri testovaní si je nevyhnutné zadefinovať, akú metriku chceme zvyšovať. Tieto ciele majú v jednotlivých nástrojoch rôzne názvy: ciele, udalosti, konverzné akcie, konverzie, kľúčové udalosti ap. Už sme uviedli, že najčastejšou konverziou býva nákup alebo objednanie služby. 

Konverziou môže byť ale aj vyplnenie webového formulára so záujmom o službu (tzv. lead), registrácia, stiahnutie dema, katalógu či iného dokumentu. Konverzie môžu byť tiež rôzne interakcie na webe, ako napr. prekliknutie sa na inú stránku v rámci webu, prezretie videa, odoslanie recenzie, dosiahnutie určitého počtu prezeraných stránok, definovaná frekvencia návratu návštevníka, zdieľanie obsahu na sociálnych sieťach atď.

V praxi nás však zaujímajú najmä konverzie, ktoré majú priamy vplyv na rast tržieb či ziskov.

Čo môžeme A/B testovať?

Po UI/UX audite webu sa dá odporučiť, čo by mohlo byť predmetom testovania. Môže sa to týkať prakticky všetkých prvkov webu, ktoré môžu mať vplyv na správanie používateľa:

Texty na stránke vrátane nadpisov:

• znenie,
• dĺžka častí textu i celého textu,
• počet znakov v riadku,
• tón a štýl,
• umiestnenie textu,
• zarovnanie textu,
• odrážky, číslovanie alebo celé vety.

Call to action prvky:

• text,
• farba,
• pozícia,
• počet,
• s obrázkami alebo bez,
• tvar.

Obrázky:

• ľudia, produkty, iné,
• zamestnanci alebo ľudia z fotobanky,
• vek, pohlavie, rasa, výzor, výraz,
• veľkosť obrázkov,
• počet obrázkov,
• farby obrázkov,
• pohyblivé alebo statické obrázky,

Videá:

• s videom či bez,
• obsah videa,
• dĺžka videa,
• animované alebo hrané video.

Dĺžka a šírka stránky:

• dlhá stránka s viac informáciami alebo krátka a viac nahustená,
• rozloženie prvkov na stránke.

Menu a jeho položky:

• počet položiek,
• ich poradie,
• štruktúra menu,
• statické alebo plávajúce menu.

Tlačidlá sociálnych sietí:

• počet sociálnych sietí,
• ich poradie,
• štýl – štandardný alebo na mieru,
• umiestnenie – na začiatku článku, na konci, plávajúce.

Veľkosť a druh písma:

• pätkové alebo bezpätkové,
• veľkosť písma,
• medzery medzi písmenami.

Formuláre:

• počet položiek vo formulároch,
• popis polí,
• všetky položky na jednej stránke alebo rozdelené na viacerých,
• veľkosť polí na text,
• druh polí,
• počet stĺpcov s poliami.

Treba zdôrazniť, že mnoho z vyššie uvedeného sa síce v rámci testovania ľahko nastavuje, ale mnohé z toho v praxi dosahuje iba nepatrný rozdiel vo výkonnosti. Príkladom je zmena farby tlačidla. Na mnohé takéto testovania potrebujete tým pádom veľmi veľkú vzorku, čo dosahuje iba máloktorý web.

Príklad prvkov, ktoré sa aj ľahko nastavujú v rámci testovania a zároveň vedia zaznamenať výraznejšie zmeny vo výkonnosti medzi variantmi, predstavujú zmeny textov.

Ide jednak o mikrotexty, napr. rôzne chybové hlásenia, ktorým nemusí návštevník porozumieť, ale tiež o hlavné nadpisy či textáciu CTA prvkov.

Zmena dvoch slov v tlačidle CTA prvku môže v niektorých extrémnejších prípadoch zvýšiť konverznú mieru aj o 20 %.

Treba si uvedomiť, že podstata presviedčania, a teda predaja, stojí do veľkej miery na slovách, ktoré sú na weboch buď uvedené v podobe textu, alebo nahovorené v rámci videa. Preto testovanie textov dokáže prinášať značné zlepšenia.

V praxi sa tiež stalo, že pridanie videa na stránku zvýšilo konverznú mieru o viac ako 300 %.  

Tvorba hypotéz

Rozhodne možno odporučiť, aby bolo A/B testovanie postavené na hypotézach. Či je nejaká alternatívna verzia úspešná alebo nie, potom závisí od overovania hypotéz. Formulácia hypotéz a výsledky ich overovania sú dôležité pre systematický postup a smerovanie budúceho testovania.

Možno si definovať vopred viaceré scenáre testovania a pre ne jednotlivé hypotézy. A na vyhodnotených výsledkoch možno formulovať nové hypotézy, resp. vyhnúť sa hypotézam, ktoré vzhľadom na predchádzajúce zistenia majú nižšiu šancu na úspech.  

Schéma hypotézy môže vyzerať nejako takto:

„Zmenou [identifikovaný problém] na [navrhnuté riešenie] nastane [želaný výsledok].“

Konkrétne príklady hypotéz, navrhnutých alternatívnych variant a dosiahnutých výsledkov si môžete pozrieť napr. v prehľadovom článku na HubSpote.

Nástroje na A/B testovanie

Na trhu existuje pomerne veľa nástrojov, ktoré A/B testovanie výrazne uľahčujú. Pri výbere je dobré zohľadniť:

• náročnosť používania,
• ponúkané funkcionality,
• spôsob vyhodnocovania dát,
• cenu.

Tieto nástroje nemajú vždy transparentné a jednotné ceny. Ceny poskytujú často na vyžiadanie. Okrem toho existujú aj open-source riešenia.

Základnou výhodou väčšiny týchto nástrojov je to, že sa jednoducho implementujú na web, napr. cez Google Tag Manager pomocou pridania skriptu. A následne viete v danom nástroji vytvárať alternatívne varianty pomocou vizuálneho editora typu WYSIWYG.

Často umožňujú prepojenie s inými nástrojmi, napr. Google Analytics 4 a dokážu tiež rôzne segmentovať testovanú návštevnosť. Mnoho nástrojov okrem A/B testovania ponúka aj iné metódy na optimalizáciu konverzného pomeru.

Ceny vybratých nástrojov vyzerajú cca takto:

• Web Experimantation od Optimizely: na vyžiadanie, v realite rádovo desiatky až stovky eur mesačne.
• GrowthBook: zdarma; verzia s vizuálnym editorom začína od 20 dolárov mesačne na používateľa.
• VWO: zdarma pri mesačnej návštevnosti do 50 000.
• Zoho PageSense: od 30 eur mesačne pri 10 000 návštevníkoch mesačne.

Ako si nezhoršiť A/B testovaním SEO

Niektoré technické prevedenia A/B testovania môžu nevedome v očiach vyhľadávačov vyzerať ako tzv. black hat SEO techniky, za ktoré vyhľadávače pristupujú k rôznej miere trestania, či už znížením pozícií, alebo vyradením z indexu.

Preto si treba dať pozor, aby sa A/B testovanie nedostalo do kolízie s odporúčaniami Googlu.

Treba sa riadiť najmä týmito pravidlami:

1. Nepoužívajte maskovanie: počas testovania nezobrazujte Googlebotom inú verziu ako používateľom.
2. Používajte kanonizáciu: ak testujete dve verzie stránok na rôznych URL adresách, tak nezabudnite označiť kanonickú verziu stránky, spravidla originál.
3. Používajte 302 presmerovanie: ak potrebujete počas testu presmerovať návštevníka na inú URL adresu, tak použite dočasné 302 presmerovanie.
4. Testujte len tak dlho, ako je potrebné: testovanie ukončite po nazbieraní dostatočného objemu dát a nenechávajte alternatívne stránky na webe zbytočne dlho.

Ak si nie ste istí, technické aspekty A/B testovania konzultujte so SEO špecialistom.

Dosahovanie štatistickej významnosti

Už sme spomenuli, že pri A/B testovaní je dôležitá štatistická významnosť. Tu sa však treba rozhodnúť, na základe akej vysokej pravdepodobnosti sa bude rozhodovať o výsledkoch testovania: 90, 95, 99 % alebo dokonca viac. Číslo 99 znamená, že ak by sme v rovnakých podmienkach zopakovali daný experiment 100-krát, tak v 99 prípadoch by vyšli rovnaké výsledky.

Špecialista na optimalizáciu konverznej miery Joris Bryon však takéto vysoké miery pravdepodobnosti považuje za vhodné pre akademický výskum, ale potenciálne škodlivé pre rozhodovanie v podnikaní. Preto odporúča pracovať s pravdepodobnosťou už na úrovni 75 %.

Ak nejaké testovanie preukáže napr. 85-percentnú pravdepodobnosť, že nejaká úprava na webe môže v priebehu roka zvýšiť tržby o 100 000 €, potom ignorovať takú úpravu by asi naozaj nebolo rozumné.

Rozhodnutie, na základe akej vysokej pravdepodobnosti budeme rozhodovať o zapracovaní zmien, by malo záležať od cieľov a od možných následkov v prípade omylu.

Vyhodnotenie testovania a implementovanie zmien

Experimenty by nemali bežať iba pár dní, aj keď budeme vidieť, že pri zistených rozdieloch medzi variantmi sú už dáta dostatočne štatisticky významné. Je totiž možné, že návštevníci majú odlišné správanie počas priebehu a po priebehu experimentu. Typickým príkladom sú pracovné dni vs. víkend. Cez víkend sa môžu návštevníci správať inak ako cez pracovné dni. Preto by testovanie malo prebiehať aspoň 7 dní, aby v ňom boli zahrnuté pracovné aj voľné dni.

Je tiež dobré vyhnúť sa netypickým obdobiam, počas ktorých je výrazne odlišné správanie návštevníkov. Môže to súvisieť s vonkajšími okolnosťami (napr. predvianočné nakupovanie) alebo s vnútornými okolnosťami (výpredaje, silné zľavy, krátkodobá akcia na dopravu zdarma ap.). Riadiť sa dátami z týchto období by nemuselo priniesť vôbec zlepšenie v bežnom období.

V prípade, že na zvolenej miere pravdepodobnosti vykáže nejaký alternatívny variant zlepšenie, zmenu implementujeme ako výlučnú. Buď priamo v systéme na správu obsahu, alebo pomocou web-developerov. Nástroje na A/B testovanie dosahovanú mieru pravdepodobnosti priamo zobrazujú. Ak pri testovaní tieto nástroje nepoužívate, mieru pravdepodobnosti si viete vypočítať podľa kalkulačky.

V prípade, že alternatívne varianty vykážu zníženú konverznú mieru s dostatočnou štatistickou významnosťou, také testovanie treba bezodkladne zastaviť, lebo poškodzuje biznis.

Z testovania si vedieme záznamy, aby sme sa od nich mohli v budúcnosti odraziť do formulovania nových hypotéz a vyvarovať sa predošlých nezdarov.

Miera úspešnosti A/B testovania

Cítime za potrebné konfrontovať aj istú naivnú predstavu o tom, ako sa dá v A/B testovaní hladko a jednoducho napredovať a plynulo zvyšovať konverzné miery.

Treba si uvedomiť, že v prípade testovania, v ktorom sa hypotéza nepotvrdí, to znamená, že alternatívne varianty dosahujú horšiu konverznú mieru. Takto stratené konverzie našou iniciatívou priamo znižujú tržby webu.

Musíme však upozorniť, že A/B testovania dopadajú vo väčšine prípadov neúspešne.

Jeden z CRO špecialistov Ali Nasser na základe rozhovorov s testovacími tímami uvádza, že miera úspechu A/B testovania sa pohybuje iba okolo 10 až 15 %. Iný CRO špecialista Benji Rabhan uvádza, že ak 4 z 10 A/B testov prinesú zlepšenie, ide o úspech.

Joris Bryon tiež upozorňuje, že je málo pravdepodobné nájsť zlepšenia o 30 a viac %. Väčšina zlepšení sa pohybuje medzi 5 až 15 %. Optimisticky ale dodáva: ak existuje spôsob, ako zvýšiť tržby každý mesiac o 5 %, znamená to po 12 mesiacoch testovania zvýšenie tržieb o 80 %.

Takže netreba byť deprimovaný z neúspechov v A/B testovaní. Nevydarený experiment je normálny jav. Dlhodobé testovanie by malo mať vo výsledku pozitívny vplyv na konverzné miery a teda biznis ako taký.

Zhrnutie

Ako sme si ukázali, A/B testovanie je objektívna metóda, pomocou ktorej sa dá kontinuálne zvyšovať konverzná miera. Nie je však vhodná pre všetky weby. Základný predpoklad je mať dostatočne vysokú návštevnosť. Na Slovensku také objemy návštev má iba zlomok webov.

Web vhodný na A/B testovanie, ktorý túto metódu nevyužíva, sa oberá o výrazný rast tržieb a ziskov.

Jednotlivé kroky A/B testovania vyzerajú nasledovne:

1. Definujeme konverznú akciu, ktorej mieru chceme zvýšiť.
2. Analyzujeme stránku, resp. typ stránky, ktorý má na danú konverziu vplyv.
3. Prichádzame s nápadmi na zlepšenia, formulujeme hypotézy.
4. Definujeme mieru štatistickej významnosti, pri ktorej budeme vyhodnocovať výsledky.
5. Nastavíme A/B testovanie.
6. Vyhodnotíme experiment.
7. Ten variant, ktorý dosiahol najlepší výkon oproti pôvodnému, zapracujeme na web.
8. Opakujeme všetko od 2. bodu.

Vyskúšať si A/B testovanie môžete aj na webe s relatívne nízkou návštevnosťou. A môžete si k tomu aj vybrať niektorý zo spomenutých nástrojov, ktorý pri nižšej návštevnosti bude zdarma. Ak navrhnete alternatívny variant, ktorý sa bude od originálu líšiť v desiatkach až stovkách percent, štatistickú významnosť viete dosiahnuť aj pri nízkej návštevnosti. Prípadne môžete na výsledky čakať dlhšie ako mesiac.

Nenechajte sa odradiť neúspešnými testami. V A/B testovaní neúspešné experimenty dominujú.

Samozrejme, A/B testovanie nie je jediná metóda, pomocou ktorej sa dá zvyšovať konverzná miera. O niektorých ďalších metódach, najmä pre weby s nižšou návštevnosťou, si môžete prečítať v mojom staršom článku 5 spôsobov, ako zlepšovať použiteľnosť webu (ich výhody a nevýhody).

Literatúra

• ALBERT, Bill – TULLIS, Tom. Measuring the User Experience: Collecting, Analyzing, and Presenting UX Metrics. 3rd ed. Chennai : Morgan Kaufman, 2023. ISBN 978-0-12-818080-8.
• ASH, Tim – PAGE, Rich – GINTY, Maura. Landing Page Optimization : The Definitive Guide to Testing and Tuning for Conversions. 2nd ed. Indianapolis : John Wiley & Sons, 2012. ISBN 978-0-470-61012-1.
• BRYON, Joris. Kill Your Conversion Killers : With The Dexter Method. Wroclaw : Amazon Fulfillment, 2018. ISBN 978-99957-1-249-5.
• NASSER, Ali. Conversion Rate Optimization : Using Neuroscience and Data to Boost Web Conversions. Wroclaw : Amazon Fulfillment, 2019. ISBN 978-1-083-08887-1.
• PANEBIANCO, Josh. How to Double Conversion Rates. Wroclaw : Amazon Fulfillment, 2019. ISBN 978-1-799-27402-5.
• RABHAN, Benji. Convert Every Click : Make More Money Online with Holistic Conversion Rate Optimization. New Jersey : John Wiley & Sons, 2013. ISBN 978-1-118-75967-7.