Grupa kontrolna (holdout)
ang. Holdout groupAnalityka marketingowa
Grupa kontrolna (holdout) to losowo wybrana część klientów, którą celowo wyłącza się z kampanii lub programu, by porównać jej zachowanie z osobami objętymi działaniem. Różnica między obiema grupami pokazuje rzeczywisty, dodatkowy efekt marketingu, a nie sprzedaż, która wydarzyłaby się i tak.
Jak to działa
Przed kampanią z listy odbiorców losuje się niewielką część, na przykład 10%, która nie dostanie wiadomości ani kuponu. Po zakończeniu porównuje się wyniki obu grup. Przykład: sieć aptek wysyła kupon do 90 tys. klientów, a 10 tys. pozostawia bez kuponu. W grupie z kuponem kupiło 12% osób, w grupie kontrolnej 10%. Kampania dołożyła więc 2 punkty procentowe, a nie 12%, jak wynikałoby z samego raportu sprzedaży.
Bez grupy kontrolnej firma przypisuje kampanii wszystkich kupujących, także tych, którzy przyszliby bez zachęty. W programach lojalnościowych stosuje się też długotrwałe grupy kontrolne, wyłączone z całej komunikacji przez kwartał lub rok, aby sprawdzić, ile wnosi cały system wiadomości, a nie pojedyncza akcja.
Częste błędy i mity
- „Grupa kontrolna to stracona sprzedaż.” Jej koszt jest zwykle niewielki, a bez niej firma może latami finansować działania, które niczego nie zmieniają.
- „Wystarczy porównać tych, którzy otworzyli wiadomość, z tymi, którzy jej nie otworzyli.” To nie jest grupa kontrolna: osoby otwierające wiadomości i tak są bardziej zaangażowane, więc porównanie zawyża efekt.
- „Kilkadziesiąt osób w grupie kontrolnej wystarczy.” Przy małych różnicach w zachowaniu potrzebne są duże grupy, inaczej wynik może być dziełem przypadku.
Perspektywa klienta i prawo
Osoba w grupie kontrolnej zwykle nie wie, że w niej jest: po prostu nie dostaje części wiadomości czy kuponów. Samo pominięcie w kampanii jest dopuszczalne, bo firma nie ma obowiązku wysyłania każdemu tych samych promocji. Granica przebiega tam, gdzie klientowi przysługuje coś na mocy umowy. Jeśli regulamin programu lojalnościowego obiecuje uczestnikom określone nagrody lub rabaty, wyłączenie z nich części osób w ramach testu może naruszać warunki programu i prowadzić do zarzutu nieuczciwej praktyki rynkowej.
Losowanie do grup i analiza wyników opierają się na danych osobowych, więc podlegają RODO, w tym zasadzie przejrzystości.
Pytania i odpowiedzi
Czy grupa kontrolna jest potrzebna przy każdej kampanii?
Nie. Przy powtarzalnych wysyłkach wystarczy co jakiś czas sprawdzić ich efekt. Najbardziej przydaje się przy drogich kampaniach i rabatach, gdzie łatwo zapłacić za sprzedaż, która i tak by nastąpiła.
Jak duża powinna być grupa kontrolna?
Zależy od liczby klientów i spodziewanego efektu. Często to od kilku do kilkunastu procent odbiorców, ale przy małych bazach trzeba proporcjonalnie więcej.
Dlaczego nie dostaję promocji, które dostają inni?
Jednym z powodów może być udział w grupie kontrolnej, czyli losowo wybranej części klientów, której nie wysyła się danej kampanii, by zmierzyć jej skuteczność.
Źródła
- Lewis R.A., Rao J.M., The Unfavorable Economics of Measuring the Returns to Advertising, The Quarterly Journal of Economics (2015)
- Kohavi R., Tang D., Xu Y., Trustworthy Online Controlled Experiments (Cambridge University Press, 2020)
Treści edukacyjne, nie porada prawna. Stan prawny według wiedzy autora na 12 listopada 2026 r.
Powiązane pojęcia
Sprawdź się Mit czy fakt? Gra z grupy „Analityka marketingowa”