freetool.cz
Nástroje

Kalkulačka statistické významnosti A/B testu

Zjistěte, jestli rozdíl mezi variantami vašeho testu skutečně něco znamená, nebo jde o běžný náhodný rozptyl.

Zadání

ks
ks
ks
ks

Výsledek testu

–

Konverzní poměr A
– %
Konverzní poměr B
– %
Relativní rozdíl B proti A
– %
p-hodnota
–
Dosažená spolehlivost
– %
Testová statistika z
–

Použit je oboustranný z-test pro porovnání dvou podílů. Statistická významnost neříká nic o tom, jestli je rozdíl obchodně zajímavý.

Co p-hodnota vlastně říká

P-hodnota odpovídá na otázku: kdyby mezi variantami nebyl žádný skutečný rozdíl, jak často by náhoda vyrobila rozdíl aspoň tak velký, jaký vidím v datech? Hodnota 0,03 znamená zhruba tři procenta případů.

Neříká tedy, s jakou pravděpodobností je varianta B lepší. To je nejčastější chyba ve výkladu testů. P-hodnota popisuje data za předpokladu, že rozdíl neexistuje, ne pravděpodobnost samotné hypotézy.

Významné ještě neznamená užitečné

Při dostatečně velkém vzorku se stane statisticky významný i rozdíl 0,05 procentního bodu, který vám v praxi nevydělá nic. Vždy si vedle p-hodnoty spočítejte, kolik peněz rozdíl znamená za rok.

Opačně platí, že nevýznamný výsledek není důkaz, že jsou varianty stejné. Znamená jen, že vaše data na rozlišení nestačí. Buď test prodlužte, nebo změnu prohlaste za nerozhodnou a věnujte se výraznějším úpravám.

Na co si dát pozor při vyhodnocení

Zkontrolujte, že se návštěvy rozdělily mezi varianty přibližně rovnoměrně. Výrazně nevyvážený poměr obvykle znamená technický problém s rozdělováním nebo s měřením, a takový test je nepoužitelný.

Vyhodnocujte jen tu jednu metriku, kvůli které jste test spustili. Pokud po neúspěchu začnete hledat, v jakém segmentu vyhrála varianta B, najdete ho skoro vždy, ale bude to nález náhody, ne zlepšení.

Časté dotazy

Kolik konverzí potřebuji, aby mělo vyhodnocení smysl?

Neexistuje pevná hranice, ale při méně než zhruba stovce konverzí na variantu je odhad velmi nejistý a p-hodnota skáče ze dne na den. Velikost vzorku je lepší si spočítat předem.

Mám použít jednostranný, nebo oboustranný test?

Tato kalkulačka počítá oboustranný test, který je konzervativnější a zachytí i zhoršení. Jednostranný test se hodí jen tehdy, když by vás opačný výsledek nezajímal a rozhodli byste se pro původní variantu tak jako tak.

Můžu test zastavit, jakmile dosáhne 95 %?

Ne. Pokud test kontrolujete denně a zastavíte ho v první chvíli, kdy překročí hranici, reálné riziko omylu je výrazně vyšší než pět procent. Stanovte si vzorek dopředu a dodržte ho.

Další nástroje z kategorie finance a firmy

Zobrazit vše

Kalkulačka rozpočtu reklamní kampaně

Z rozpočtu, ceny za proklik a konverzního poměru spočítá očekávaný počet prokliků, konverzí, tržby, ROAS a…

Kalkulačka 1 % ze služebního vozu

Spočítá, o kolik se zvýší základ daně a odvody zaměstnanci, který smí služební auto používat i soukromě…

Kalkulačka odpisů firemního automobilu

Spočítá daňové odpisy osobního auta ve firmě včetně limitu vstupní ceny a limitu odpočtu DPH. Ukáže, kolik z…

Kalkulačka daně z prodeje nemovitosti

Musíte z prodeje bytu platit daň? Ověřte časový test a spočítejte odvod.

Kalkulačka poplatků brokera

Spočítá skutečnou cenu obchodování včetně minimálního poplatku a měnové konverze a ukáže, od jakého objemu…

Kalkulačka potřebné návštěvnosti

Spočítá, kolik návštěv a objednávek potřebujete pro cílový obrat a kolik by stálo takovou návštěvnost…

Něco tu nesedí, nebo vám něco chybí?