Kalkulačka statistické významnosti A/B testu
Zjistěte, jestli rozdíl mezi variantami vašeho testu skutečně něco znamená, nebo jde o běžný náhodný rozptyl.
Zadání
Výsledek testu
–
- Konverzní poměr A
- – %
- Konverzní poměr B
- – %
- Relativní rozdíl B proti A
- – %
- p-hodnota
- –
- Dosažená spolehlivost
- – %
- Testová statistika z
- –
Použit je oboustranný z-test pro porovnání dvou podílů. Statistická významnost neříká nic o tom, jestli je rozdíl obchodně zajímavý.
Co p-hodnota vlastně říká
P-hodnota odpovídá na otázku: kdyby mezi variantami nebyl žádný skutečný rozdíl, jak často by náhoda vyrobila rozdíl aspoň tak velký, jaký vidím v datech? Hodnota 0,03 znamená zhruba tři procenta případů.
Neříká tedy, s jakou pravděpodobností je varianta B lepší. To je nejčastější chyba ve výkladu testů. P-hodnota popisuje data za předpokladu, že rozdíl neexistuje, ne pravděpodobnost samotné hypotézy.
Významné ještě neznamená užitečné
Při dostatečně velkém vzorku se stane statisticky významný i rozdíl 0,05 procentního bodu, který vám v praxi nevydělá nic. Vždy si vedle p-hodnoty spočítejte, kolik peněz rozdíl znamená za rok.
Opačně platí, že nevýznamný výsledek není důkaz, že jsou varianty stejné. Znamená jen, že vaše data na rozlišení nestačí. Buď test prodlužte, nebo změnu prohlaste za nerozhodnou a věnujte se výraznějším úpravám.
Na co si dát pozor při vyhodnocení
Zkontrolujte, že se návštěvy rozdělily mezi varianty přibližně rovnoměrně. Výrazně nevyvážený poměr obvykle znamená technický problém s rozdělováním nebo s měřením, a takový test je nepoužitelný.
Vyhodnocujte jen tu jednu metriku, kvůli které jste test spustili. Pokud po neúspěchu začnete hledat, v jakém segmentu vyhrála varianta B, najdete ho skoro vždy, ale bude to nález náhody, ne zlepšení.
Časté dotazy
Kolik konverzí potřebuji, aby mělo vyhodnocení smysl?
Neexistuje pevná hranice, ale při méně než zhruba stovce konverzí na variantu je odhad velmi nejistý a p-hodnota skáče ze dne na den. Velikost vzorku je lepší si spočítat předem.
Mám použít jednostranný, nebo oboustranný test?
Tato kalkulačka počítá oboustranný test, který je konzervativnější a zachytí i zhoršení. Jednostranný test se hodí jen tehdy, když by vás opačný výsledek nezajímal a rozhodli byste se pro původní variantu tak jako tak.
Můžu test zastavit, jakmile dosáhne 95 %?
Ne. Pokud test kontrolujete denně a zastavíte ho v první chvíli, kdy překročí hranici, reálné riziko omylu je výrazně vyšší než pět procent. Stanovte si vzorek dopředu a dodržte ho.