Mierzenie wpływu zmian w designie w bezpośrednim przełożeniu na upragnioną konwersję jest niewątpliwie wartościowe, łatwo dostępne, niedrogie i szeroko wykorzystywane, także przez gigantów takich jak Amazon czy Google. Po co organizować badania dla kilku osób, skoro możemy zebrać dane od tysięcy nie wstając od biurka?

Co dobrego

W testach A/B tworzymy dwie wersje wybranego elementu strony i wyświetlamy je losowo monitorując reakcje użytkowników, najczęściej posługując się miernikami ilościowymi jak np. liczba kliknięć i sprawdzamy, który wypada lepiej. Testujemy na sporych grupach użytkowników, wynikiem są proste do porównania wartości procentowe. Wymieńmy kilka zalet:

• testy A/B mierzą zachowania w naturalnych dla użytkowników warunkach;
• możemy wykryć nawet niewielkie różnice z zachowaniem statystycznej istotności;
• są tanie – wymagają bardzo niewielkiego zaangażowania, nie wymagają dodatkowego zaplecza sprzętowego.

Ma to sens, prawda? Wiemy dokładnie np. który przycisk częściej wybierają użytkownicy, z jakim nagłówkiem ten sam artykuł jest czytany częściej. Mamy na to dowody i wykresy.

A więc w czym leży problem?

A/B testy to solidne narzędzie, kiedy wykorzystywane jest we właściwy sposób. Warto jednak mieć świadomość czego testy A/B nie robią lub co robią pozornie.

• Dany wariant designu nie zawsze obrazuje koncept. Możemy odrzucić dane hasło użyte w opisie, ze względu na niższe wskaźniki, ale nie wiemy że zaważyła sama forma, nie treść. Koncept mógł być trafny, zestawienie z jakimś innym elementem na stronie już nie.
• Dany wariant może nie odnosić się do rzeczywistych przyczyn problemów. Błędne wnioski odnośnie przyczyny, mogą doprowadzić do rozwiązań nie odnoszących się do źródła problemu. Na przykład, założenie, że użytkownicy odpadają na początkowych krokach formularza w wypożyczalni aut ze względu na dużą liczbę pól, nie pozwala na zaobserwowanie, że dzieje się tak dlatego że wchodzą tam tylko po to żeby zobaczyć pełne spektrum wyboru.
• Porównujemy ze sobą warianty które uznaliśmy za warte testowania. Dlatego testy mogą powiedzieć nam więcej odnośnie naszych oczekiwań, niż oczekiwań użytkowników. Z dużym prawdopodobieństwem nie wywnioskujemy na ich podstawie wersji C, która będzie trafniej odpowiadać na potrzeby.

Spotykamy się z podejściem, że statystyki nie kłamią w przeciwieństwie do ludzi na badaniach. Spróbuj przeprowadzić test A/B w wariancie A/A – która wersja A wypadła lepiej? 

Dlaczego testy z użytkownikami to lepszy pomysł

W testach z użytkownikami nie zgadujemy, ale obserwujemy, pytamy i na tej podstawie wnioskujemy. Możliwość zadania pytania, obserwacji reakcji, mimiki, pozwala na zidentyfikowanie źródeł problemów, czy dostrzeżenie ich tam gdzie się nie spodziewaliśmy (mamy tu na myśli zarówno naszych klientów, jak i nas samych, projektantów).

Jeżeli wolisz pozostać w błogiej niewiedzy, uważasz, że wyjątkowo trafnie się domyślasz, lub gdy Twoja strona ma służyć głównie Tobie samemu – nie rób testów!

Pamiętajmy też, że testy A/B doskonale uzupełniają badania jakościowe. Gdy zaangażowanie firmy w rozwój User Experience wzrasta do poziomu kiedy regularnie prowadzi się badania użytkowników, testy A/B na pewno powinny również zagościć w zestawie wykorzystywanych narzędzi.

Więcej o samych testach z użytkownikami możesz przeczytać na naszej stronie:

Case study Wesele z klasą
Testy z użytkownikami
Test czy fokus?

Źródła:

https://www.nngroup.com/articles/ab-testing-and-ux-research/
https://www.nngroup.com/articles/putting-ab-testing-in-its-place/
https://www.webdesignerdepot.com/2015/09/lies-damned-lies-and-ab-testing/