Istotność statystyczna
ang. Statistical significanceAnalityka marketingowa
Istotność statystyczna to umowne kryterium, według którego uznaje się, że zaobserwowana różnica, na przykład między dwiema wersjami w teście A/B, raczej nie jest dziełem przypadku. Wynik istotny nie oznacza jednak, że efekt jest duży, ważny biznesowo ani na pewno prawdziwy.
Jak to działa
Punktem wyjścia jest założenie, że zmiana nic nie daje. Następnie liczy się tzw. wartość p: prawdopodobieństwo, że przy braku jakiegokolwiek efektu różnica równie duża lub większa od zaobserwowanej pojawiłaby się przez sam przypadek. Jeśli wartość p jest mniejsza od progu ustalonego przed badaniem, najczęściej 0,05, wynik nazywa się istotnym statystycznie.
Przykład: wypożyczalnia samochodów testuje nowy opis oferty. Przy nowej wersji rezerwacją kończy się 4,4% wizyt, przy starej 4,0%, a wartość p wynosi 0,03. Oznacza to, że gdyby nowy opis nie działał wcale, tak wyraźna przewaga pojawiałaby się przypadkiem rzadko, w około 3 na 100 podobnych testów. Nie oznacza to, że nowa wersja na pewno jest lepsza ani że przewaga wyniesie dokładnie 0,4 punktu procentowego. Dlatego obok wartości p podaje się przedział ufności, czyli zakres wartości efektu zgodnych z danymi.
Częste błędy i mity
- „p = 0,03 to 97% szans, że wersja B jest lepsza.” To najczęstsze nieporozumienie. Wartość p nie mówi o prawdopodobieństwie, że hipoteza jest prawdziwa, tylko o tym, jak zaskakujące byłyby dane, gdyby efektu nie było.
- „Istotny znaczy ważny.” Przy bardzo dużych próbach istotna bywa nawet znikoma różnica, która nie pokrywa kosztu wdrożenia.
- „Brak istotności dowodzi, że zmiana nie działa.” Często oznacza tylko, że próba była za mała, by efekt wykryć.
Perspektywa klienta i prawo
Konsument spotyka ten termin głównie w reklamach: „klinicznie potwierdzona skuteczność”, „o 30% lepsze rezultaty”. Takie twierdzenia powinny mieć rzetelne oparcie w badaniach, a statystycznie istotny wynik z małej, wybiórczej próby nie wystarczy, by mówić o udowodnionym działaniu. Ustawa o przeciwdziałaniu nieuczciwym praktykom rynkowym zakazuje wprowadzania w błąd m.in. co do korzyści i właściwości produktu oraz wyników jego badań. Warto więc pytać, kto badał, na ilu osobach i w porównaniu z czym.
Pytania i odpowiedzi
Czy mogę zakończyć test, gdy tylko wynik stanie się istotny?
Nie powinno się tego robić. Jeśli sprawdza się wynik codziennie i przerywa test przy pierwszym p poniżej 0,05, fałszywe „sukcesy” zdarzają się znacznie częściej niż w 5 na 100 przypadków. Liczebność próby ustala się przed startem.
Dlaczego próg wynosi 0,05?
To umowna konwencja przyjęta w wielu dziedzinach, a nie prawo natury. Amerykańskie Towarzystwo Statystyczne przestrzega przed mechanicznym dzieleniem wyników na „istotne” i „nieistotne”.
Co to jest przedział ufności?
To zakres możliwych wartości efektu, z którymi dane są zgodne. Mówi więcej niż sama wartość p, bo pokazuje, jak duży może być efekt.
Źródła
- Wasserstein R.L., Lazar N.A., The ASA Statement on p-Values: Context, Process, and Purpose, The American Statistician (2016)
- Kohavi R., Tang D., Xu Y., Trustworthy Online Controlled Experiments (Cambridge University Press, 2020)
Treści edukacyjne, nie porada prawna. Stan prawny według wiedzy autora na 12 listopada 2026 r.
Powiązane pojęcia
Sprawdź się Mit czy fakt? Gra z grupy „Analityka marketingowa”