freetool.cz
Nástroje

Kalkulačka velikosti vzorku pro A/B test

Zjistěte, kolik návštěv na variantu potřebujete a jak dlouho vám test poběží, než bude výsledek použitelný.

Zadání

%
%

Relativní zlepšení proti současnému stavu.

ks

Potřebný vzorek na variantu

– návštěv

Celkem pro obě varianty
– návštěv
Odhadovaná délka testu
– dní
Konverzní poměr varianty B
– %
Konverzí na variantu
– ks
Reálnost testu
–

Vzorec vychází z porovnání dvou podílů. Výsledek je orientační: test nikdy nevyhodnocujte dřív, než uplyne alespoň jeden celý týden.

Proč se vzorek počítá předem

Když test zastavíte ve chvíli, kdy se vám na obrazovce poprvé objeví „varianta B vede“, dostanete falešně pozitivní výsledek podstatně častěji, než si myslíte. Průběžné nakukování do dat totiž hladinu významnosti fakticky rozvolňuje.

Řešení je jednoduché: spočítejte vzorek předem, spusťte test a vyhodnoťte ho až po dosažení potřebného počtu návštěv. Do té doby se na výsledek můžete dívat, ale nesmíte podle něj rozhodovat.

Co znamenají spolehlivost a síla testu

Hladina významnosti říká, jak často si dovolíte prohlásit za vítěze variantu, která ve skutečnosti lepší není. Při 95 % spolehlivosti se to stane zhruba v jednom z dvaceti testů. Síla testu naopak popisuje, jak často skutečné zlepšení odhalíte; 80 % znamená, že v jednom z pěti případů reálný rozdíl přehlédnete.

Zpřísnění obou parametrů vzorek rychle nafukuje. Pro běžné rozhodování o podobě webu je kombinace 95 % a 80 % dostatečná, na rozhodnutí s velkými náklady je namístě jít výš.

Malý web a dlouhý test

Weby s nízkou návštěvností narazí na to, že test na drobné zlepšení by běžel měsíce. Během té doby se změní sezóna, kampaně i skladba návštěvnosti, takže výsledek stejně nebude čistý.

Praktické východisko je testovat jen výrazné změny, u nichž očekáváte zlepšení v desítkách procent, nebo měřit konverzi dřív v cestě zákazníka, například přidání do košíku. Takových událostí je víc a vzorek se naplní rychleji.

Časté dotazy

Jak dlouho má test běžet minimálně?

Alespoň jeden celý týden, ideálně dva. Chování návštěvníků se liší mezi všedními dny a víkendem, takže test ukončený ve středu může být zkreslený i tehdy, když už má dost dat.

Můžu testovat víc variant najednou?

Ano, ale vzorek potřebujete pro každou variantu zvlášť a s rostoucím počtem porovnání roste i riziko falešně pozitivního výsledku. Při třech a více variantách je vhodné hladinu významnosti zpřísnit.

Co když během testu poběží velká sleva nebo kampaň?

Pokud zasáhne obě varianty stejně, výsledek to většinou nezničí, jen zvýší rozptyl. Problém nastane, když kampaň cílí jen na část návštěvníků, kteří se do variant nerozdělí rovnoměrně. V takovém případě test raději opakujte.

Další nástroje z kategorie finance a firmy

Zobrazit vše

Generátor Smlouvy o poskytování služeb (OSVČ)

Jste OSVČ a začínáte spolupracovat s novým klientem? Vygenerujte si profesionální B2B smlouvu o poskytování…

Kalkulačka orientační hodnoty firmy

Odhadněte hodnotu firmy násobkem EBITDA a porovnejte s čistým majetkem.

Kalkulačka zaokrouhlení na faktuře

Spočítá zaokrouhlovací rozdíl na faktuře a ukáže, jestli patří do základu DPH. Zvládne hotovost, převod i…

Generátor dodacího listu

Vyplňte dodavatele, odběratele a položky a vytiskněte dodací list k zásilce nebo předání zboží. Připraveno…

Kalkulačka pojištění schopnosti splácet

Spočítá, kolik zaplatíte za pojištění úvěru po celou dobu splácení a jak velkou částku by pojišťovna…

Generátor reklamačního listu (Uplatnění reklamace)

Rozbilo se vám zboží v záruce? Vygenerujte si profesionální reklamační list. Popište závadu, zvolte způsob…

Něco tu nesedí, nebo vám něco chybí?