Test A/B
ang. A/B testAnalityka marketingowa
Test A/B to eksperyment, w którym odbiorców losowo dzieli się na dwie grupy i każdej pokazuje inną wersję strony, wiadomości lub oferty, a następnie porównuje wyniki. Losowy podział sprawia, że różnicę w wynikach można przypisać samej zmianie, a nie innym czynnikom, a rolę przypadku ocenia się statystycznie.
Jak to działa
Wersja A to zwykle stan obecny, wersja B to proponowana zmiana. System losowo przydziela każdą osobę do jednej z grup i zapisuje, co zrobiła: kliknęła, kupiła, zrezygnowała. Przykład: kino ze sprzedażą biletów online sprawdza, czy przycisk „Kup bilet” sprzedaje lepiej niż „Wybierz seans”. Po dwóch tygodniach każda wersja trafiła do 5 tys. osób; A dała 200 transakcji, B 240.
Czy te 40 transakcji to rzeczywisty efekt, czy przypadek, rozstrzyga analiza statystyczna. Liczebność grup i czas trwania testu ustala się z góry, bo wcześniejsze przerwanie testu, gdy wynik „wygląda dobrze”, mocno zwiększa ryzyko fałszywego sukcesu.
Częste błędy i mity
- „Kończymy test, jak tylko widać zwycięzcę.” Wielokrotne zaglądanie do wyników i zatrzymanie testu w korzystnym momencie prowadzi do wniosków, które się potem nie powtarzają.
- „Porównanie tego miesiąca z poprzednim to też test A/B.” Bez losowego podziału w tym samym czasie na wynik wpływają sezon, pogoda czy działania konkurencji.
- „Wygrana wersja wygra zawsze.” Wynik dotyczy konkretnej grupy, okresu i miary. Efekt nowości potrafi zniknąć po kilku tygodniach.
Perspektywa klienta i prawo
Większość klientów nie wie, że uczestniczy w teście, i zwykle nie ma w tym nic niewłaściwego: firma sprawdza po prostu, który układ strony jest czytelniejszy. Granica przebiega tam, gdzie test dotyczy ceny lub warunków umowy. Różne ceny dla losowo wybranych osób budzą wątpliwości co do przejrzystości oferty, a gdy cena jest dopasowana do konkretnej osoby na podstawie zautomatyzowanego podejmowania decyzji, przepisy wprowadzone dyrektywą Omnibus wymagają poinformowania o tym klienta. Testowanie wersji celowo utrudniających rezygnację to już ryzyko nieuczciwej praktyki rynkowej.
Jeśli test korzysta z plików cookie lub podobnych technologii, potrzebna jest uprzednia informacja i zgoda użytkownika (art. 399 Prawa komunikacji elektronicznej, PKE), z wyjątkami m.in. dla rozwiązań niezbędnych do świadczenia usługi. Przetwarzanie danych osobowych podlega RODO.
Pytania i odpowiedzi
Ile powinien trwać test A/B?
Tyle, by zebrać zaplanowaną z góry liczbę obserwacji, i zwykle co najmniej pełny tydzień, żeby objąć różnice między dniami roboczymi a weekendem.
Czy test A/B jest legalny?
Tak, porównywanie wersji strony czy wiadomości jest dozwolone. Trzeba jednak przestrzegać zasad dotyczących plików cookie, danych osobowych i uczciwego informowania o cenach.
Czym test A/B różni się od testu wielowariantowego?
Test A/B porównuje dwie wersje różniące się zwykle jedną zmianą. Test wielowariantowy sprawdza jednocześnie kilka elementów i ich kombinacje. Wpływ każdego elementu ocenia się w nim na całym ruchu, ale wykrycie interakcji między elementami lub porównanie wszystkich kombinacji jako osobnych wersji wymaga znacznie większego ruchu.
Źródła
- Kohavi R., Tang D., Xu Y., Trustworthy Online Controlled Experiments (Cambridge University Press, 2020)
- Ustawa z dnia 12 lipca 2024 r. Prawo komunikacji elektronicznej (ELI, Sejm RP)
Treści edukacyjne, nie porada prawna. Stan prawny według wiedzy autora na 16 listopada 2026 r.
Powiązane pojęcia
Sprawdź się Mit czy fakt? Gra z grupy „Analityka marketingowa”