Jediný způsob, jak věrohodně změřit, zda nějaká změna na webu ovlivňuje obchodní výsledky, je pomocí AB testu.
AB test znamená, že části návštěvníků webu nabídneme původní a části upravenou variantu stránek. Pomocí segmentů pak sledujeme, jak se která skupina chová a zda více nakupuje nebo plní jiné cíle webu.
Výhoda AB testu je, že odstraní vliv sezóny a především všech ostatních faktorů, které mají na výsledky vliv v čase — například běžící kampaně, slevy, počasí, ekonomická situace apod. Prostě porovnáváte dvě náhodně vybrané skupiny lidí a jejich chování ve stejném časovém období.
Nevýhoda je, že abyste sebraným datům mohli věřit, musíte jich nasbírat poměrně dost. Dosáhnout tzv. statistické významnosti, kterou jistě znáte z různých volebních průzkumů apod.
V případě webů to znamená mít:
1) Dostatečně vysokou návštěvnost
2) Dostatek konverzí (objednávek nebo čehokoliv dalšího, co chcete měřit)
Nebudeme dále rozebírat teorii AB testů a zaměříme se prakticky na to, jak pomocí AB testu změřit, zda Outfindo Product Guide přináší nějaké tržby navíc.
Mám dostatečně vysokou návštěvnost, abych mohl udělat AB test?
Abychom to zjistili, potřebujeme znát tyto údaje:
1) Návštěvnost
-
Zajímá nás počet návštěvníků, kteří mohou potenciálně vidět Product Guide, tedy kteří navštívili kategorii s jízdními koly
-
Jak zjistit: vytvořte si v Google Analytics segment návštěv, které navštívily kategorii s koly
-
Zjednodušená cesta: vezměte celkovou návštěvnost a vydělte deseti. Takový je podle dat z webů našich partnerů zhruba podíl návštěv v kategoriích s koly.
2) Prodeje
-
Zajímá nás, kolik z výše uvedených návštěvníků nakonec koupilo to, co Guide nabízí, tedy jízdní kolo (nikoliv trikot, pumpičku, lyže nebo další produkty)
-
Jak zjistit:
-
Aplikujte v Google Analytics segment, který jste si vytvořili v prvním kroku
-
Podívejte se v Google Analytics na počet objednávek kol (je potřeba mít nastavení kategorie produktů a podle nich filtrovat) → tím získáte počet kol, které koupili lidé, kteří předtím navštívili kategorii s koly
-
-
Zjednodušená cesta: vezměte celkový počet kol prodaných přes web a vydělte dvěma. Opět zde pracujeme s podílem, který je obvyklý u našich dalších partnerů.
3) Konverzní poměr
-
Nyní potřebujeme získat konverzní poměr lidí, co prošli kategoriemi s koly, do prodeje kol
-
Jak zjistit: vydělte číslo z bodu 2 číslem z bodu 1 a vynásobte 100
Výpočet
-
Navštivte tuto kalkulačku: https://www.evanmiller.org/ab-testing/sample-size.html
-
Do prvního pole zadejte konverzní poměr z bodu 3
-
Ve druhém poli zvolte minimální pozorovatelný efekt (doporučujeme 10 % relativně)
-
Dole zvolte statistickou významnost (doporučujeme power alespoň 90 %)
-
Výsledek je sample size, tedy počet návštěv na jednu variantu testu
Sample size vynásobte dvěma. Pokud je výsledek nižší než měsíční počet návštěv z bodu 1, má smysl dělat AB test na Product Guide (nebo jakékoliv podobné úpravy, které byste na webu chtěli dělat).
