Test wielowariantowy
ang. Multivariate testAnalityka marketingowa
Test wielowariantowy to eksperyment, w którym jednocześnie zmienia się kilka elementów, na przykład nagłówek, zdjęcie i przycisk, a odbiorcom losowo pokazuje różne ich kombinacje. Pozwala ocenić wpływ każdego elementu i ich wzajemne oddziaływanie, ale wymaga znacznie większej liczby odbiorców niż test A/B.
Jak to działa
Liczba wersji to iloczyn wariantów każdego elementu. Przykład: hotel testuje na stronie oferty weekendowej dwa nagłówki, dwa zdjęcia i dwa kolory przycisku, co daje 2 × 2 × 2 = 8 kombinacji. Każda trafia do losowej części odwiedzających, a analiza pokazuje, który element najbardziej wpływa na wynik i czy niektóre działają lepiej razem, na przykład konkretny nagłówek tylko z określonym zdjęciem. Wpływ pojedynczego elementu ocenia się, porównując wszystkie wersje z jednym nagłówkiem ze wszystkimi z drugim, czyli na całym ruchu. Dużo większej próby wymaga dopiero wykrycie interakcji albo porównywanie ośmiu kombinacji jako osobnych wariantów, bo wtedy ruch dzieli się na osiem grup zamiast dwóch.
Częste błędy i mity
- „To po prostu kilka testów A/B naraz.” Test wielowariantowy bada także interakcje elementów, czego osobne testy A/B nie pokażą.
- „Im więcej elementów, tym więcej się dowiemy.” Każdy dodatkowy element mnoży liczbę kombinacji. Przy małym ruchu żadna z nich nie zbierze dość danych, a ryzyko przypadkowego „zwycięzcy” rośnie.
Pytania i odpowiedzi
Kiedy wybrać test wielowariantowy zamiast A/B?
Gdy strona ma duży ruch i chcesz zrozumieć, jak kilka elementów współdziała. Przy mniejszym ruchu interakcji zwykle nie da się wiarygodnie wykryć, więc rozsądniej ograniczyć się do efektów głównych albo do prostszych testów.
Ile odbiorców potrzeba do testu wielowariantowego?
Zależy od celu. Jeśli wystarczy ocenić wpływ każdego elementu osobno, w dobrze zaplanowanym układzie czynnikowym każdy z nich porównuje się na całym ruchu, więc próba nie musi rosnąć z liczbą kombinacji. Wykrycie interakcji, które zwykle są słabsze od efektów głównych, albo wskazanie najlepszej z wielu kombinacji wymaga już znacznie większej liczby odbiorców.
Źródła
- Kohavi R., Longbotham R., Sommerfield D., Henne R.M., Controlled experiments on the web: survey and practical guide, Data Mining and Knowledge Discovery (2009)
- Kohavi R., Tang D., Xu Y., Trustworthy Online Controlled Experiments (Cambridge University Press, 2020)
Powiązane pojęcia
Sprawdź się Mit czy fakt? Gra z grupy „Analityka marketingowa”