Kalkulačka velikosti vzorku pro A/B test
Zjistěte, kolik návštěv na variantu potřebujete a jak dlouho vám test poběží, než bude výsledek použitelný.
Zadání
Relativní zlepšení proti současnému stavu.
Potřebný vzorek na variantu
– návštěv
- Celkem pro obě varianty
- – návštěv
- Odhadovaná délka testu
- – dní
- Konverzní poměr varianty B
- – %
- Konverzí na variantu
- – ks
- Reálnost testu
- –
Vzorec vychází z porovnání dvou podílů. Výsledek je orientační: test nikdy nevyhodnocujte dřív, než uplyne alespoň jeden celý týden.
Proč se vzorek počítá předem
Když test zastavíte ve chvíli, kdy se vám na obrazovce poprvé objeví „varianta B vede“, dostanete falešně pozitivní výsledek podstatně častěji, než si myslíte. Průběžné nakukování do dat totiž hladinu významnosti fakticky rozvolňuje.
Řešení je jednoduché: spočítejte vzorek předem, spusťte test a vyhodnoťte ho až po dosažení potřebného počtu návštěv. Do té doby se na výsledek můžete dívat, ale nesmíte podle něj rozhodovat.
Co znamenají spolehlivost a síla testu
Hladina významnosti říká, jak často si dovolíte prohlásit za vítěze variantu, která ve skutečnosti lepší není. Při 95 % spolehlivosti se to stane zhruba v jednom z dvaceti testů. Síla testu naopak popisuje, jak často skutečné zlepšení odhalíte; 80 % znamená, že v jednom z pěti případů reálný rozdíl přehlédnete.
Zpřísnění obou parametrů vzorek rychle nafukuje. Pro běžné rozhodování o podobě webu je kombinace 95 % a 80 % dostatečná, na rozhodnutí s velkými náklady je namístě jít výš.
Malý web a dlouhý test
Weby s nízkou návštěvností narazí na to, že test na drobné zlepšení by běžel měsíce. Během té doby se změní sezóna, kampaně i skladba návštěvnosti, takže výsledek stejně nebude čistý.
Praktické východisko je testovat jen výrazné změny, u nichž očekáváte zlepšení v desítkách procent, nebo měřit konverzi dřív v cestě zákazníka, například přidání do košíku. Takových událostí je víc a vzorek se naplní rychleji.
Časté dotazy
Jak dlouho má test běžet minimálně?
Alespoň jeden celý týden, ideálně dva. Chování návštěvníků se liší mezi všedními dny a víkendem, takže test ukončený ve středu může být zkreslený i tehdy, když už má dost dat.
Můžu testovat víc variant najednou?
Ano, ale vzorek potřebujete pro každou variantu zvlášť a s rostoucím počtem porovnání roste i riziko falešně pozitivního výsledku. Při třech a více variantách je vhodné hladinu významnosti zpřísnit.
Co když během testu poběží velká sleva nebo kampaň?
Pokud zasáhne obě varianty stejně, výsledek to většinou nezničí, jen zvýší rozptyl. Problém nastane, když kampaň cílí jen na část návštěvníků, kteří se do variant nerozdělí rovnoměrně. V takovém případě test raději opakujte.