make it fresh

Odkrywaj z nami nową rzeczywistość.

13.02.19

O błędach w badaniach UX

O błędach w badaniach UX
O tym, że wsparcie projektowania badaniami jest kluczową rzeczą dla User Experience, (mamy nadzieję) przekonywać Cię nie musimy. Natomiast sęk w tym, że oprócz dobrania odpowiednich metod badawczych, badacz musi odpowiednio „pilnować się” w trakcie ich przeprowadzania.

Jakie nieoczywiste pułapki czyhają na badaczy? Jak błędy w przygotowaniu scenariusza badań mogą zaszkodzić projektowi?

O tym właśnie w tym wpisie.



Grupa docelowa nie bazująca na zachowaniach

Jeżeli zależy nam na zbadaniu przydatności naszego produktu, a nie tylko na samej jego użyteczności, po to starannie dobieramy grupę docelową w badaniach, by mieć możliwość zestawienia pewnych rzeczywistych doświadczeń naszych użytkowników z naszą nową propozycją. Zwłaszcza, jeżeli po badaniach musimy podjąć ważne decyzje produktowe.

O błędach w badaniach UX

Przykład
: Załóżmy, że przeprowadzamy testy użyteczności aplikacji dla nauczycieli, która ma na celu pomóc im w przygotowaniu angażujących zajęć. Ułożyliśmy zadanie o treści „Proszę wyobrazić sobie, że przeprowadza Pan zajęcia z użyciem prezentacji i szuka Pan nowych inspiracji. Gdzie mógłby Pan znaleźć potrzebną funkcjonalność?”. Tymczasem badany jest nauczycielem matematyki i osobiście nie korzysta z prezentacji, ale ponieważ został o to poproszony i za udział w badaniach otrzymał wynagrodzenie, więc grzecznie wykonuje polecenie. Efekt nie upewnienia się, że badany w ogóle mógłby w rzeczywistości skorzystać w ten sposób z aplikacji? Mimo, że badany ogólnie pasuje do grupy docelowej, bo jako nauczyciel stara się korzystać z różnych pomocy, to może nie poinformować badacza, że bardziej interesują go zupełnie inne funkcjonalności, co więcej, może nawet obsłużyć ją bez najmniejszych potknięć i pochwalić za intuicyjność.

Źródłem problemu, który wystąpił, to niewystarczające kryteria rekrutacyjne, które skupiły się jedynie na demografii nie uwzględniając zachowań.

O błędach w badaniach UX

Wpływ scenariusza na badanego

Każdy badacz wie, że nieodpowiednia moderacja, brak wytłumaczenia roli testów, czy po prostu niezadbanie o odpowiednią atmosferę podczas badań przełoży się na dyskomfort badanego, w skutek czego zachowanie badanego podczas testów będzie zupełnie oderwane od tego jak w rzeczywistości mógłby posługiwać się badanym produktem. Ale oprócz wyżej wymienionych aspektów bardzo ważny jest sam scenariusz badań.

Przeanalizujmy następujący przykład zadania związanego z testami interfejsu webowego: „Proszę wybrać pizzę Vegana z lokalu PizzaStation korzystając z mapy, a następnie zamienić brokuły na truskawki i domówić dodatkowy sos czosnkowy do zamówienia.”. Co jest nie tak z tym zadaniem?

  • Po pierwsze dość dokładnie mówi ono co należy po kolei zrobić i zdradza istniejące funkcjonalności, jeszcze zanim użytkownik je odkryje (co eliminuje szansę, że użytkownik samodzielnie by do nich nie dotarł bądź nie domyślił się ich działania).
  • Po drugie, samo zadanie jest dość długie i szansa, że badany wszystko zapamięta jest niewielka, dodatkowo sama konieczność pamiętania długiego zadania może wpłynąć na obniżenie koncentracji na realizacji zadania.
  • Po trzecie, samo zadanie uwzględnia dość abstrakcyjne wybory, przez co zadanie może zostać odebrane jako żartobliwa zabawa. To z kolei przekłada się na obniżone zaangażowanie badanego w same badania.

Znacznie lepiej przeformułować zadanie: „W jaki sposób zamówiłby Pan pizzę z pizzerii, która znajduje się najbliżej Pana domu?”, „Czy ma Pan możliwość zmiany składu dania? (jeżeli tak, to proszę coś zmienić)”, „Jak Pan myśli, czy do pizzy dołączone są sosy?”, „W jaki sposób dołożyłby Pan do zamówienia dodatkowy sos?”. Kolejne pytania zadajemy tylko po wykonaniu uprzedniej części zadania. Tak sformułowane zadanie dostarcza nam nie tylko informacji o tym, czy użytkownik „wie gdzie kliknąć”, ale też jak interpretuje to, co jest wyświetlane na ekranie.

Bardzo istotną sprawą przy układaniu scenariusza jest kolejność zadań. Staramy się je układać w taki sposób, aby funkcjonalność, którą chcemy zbadać nie była użyta przez badanego podczas wcześniejszych zadań. Na przykład – układamy zadanie specjalnie pod logowanie, podczas gdy w trakcie zadania zakupu użytkownik i tak musiał się zalogować.

Czasami układając zadania scenariuszowe badacz może wykazać się brakiem empatii. Przykładem są zadania, w których zakładamy, że użytkownik zaniedbał coś co może być dla niego istotne. Na przykład: „Wyobraź sobie, że podczas zamawiania pizzy zapomniałeś, że Twoja dziewczyna ma alergię na seler. Jak mógłbyś zmienić zamówienie?”. Oczywiście nie każdy poczułby się urażony takim zadaniem, ale nie powinno nas dziwić, jeżeli badany odpowiedziałby „Na pewno bym nie zapomniał”. Na pewno nie wpłynie to pozytywnie na dalszą część badań.

O błędach w badaniach UX

Wnioski z badań, a błędy poznawcze

Nie bez powodu często mówi się o tym, aby w badania było zaangażowanych co najmniej 2 badaczy. Nie wynika to jedynie z chęci zredukowania czasu czy ilości pracy do jednej osoby. Przede wszystkim chodzi o to, aby wnioski wyciągnięte z badań były jak najbardziej obiektywne. Szczególnie wrażliwe w tej kwestii są badania jakościowe, a do nich zaliczamy klasyczne testy użyteczności czy wywiady indywidualne. Tak zwane „Widzi-mi-się”, a dokładnie składające się na nie błędy poznawcze to wróg numer 1 w analizie wyników badań, a jedna osoba ze swoim jedynym punktem widzenia jest na nie bardziej podatna. Błędów poznawczych można wymienić bardzo wiele, jednak te, które według nas mogą być najbardziej istotne to:

  • Efekt izolacji – czyli skłonność do przypisywania dużego znaczenia obserwacjom, które dość mocno wyróżniają się na tle innych. Czy sytuacja, w której np. jeden na dwudziestu użytkowników zupełnie nie poradził sobie z zadaniem, a inni z mniejszymi bądź większymi problemami poradzili sobie. Warto zastanowić się, czy aby na pewno profil tego badanego pasował do naszej grupy badawczej oraz (co może się zdarzyć) celowo nie sabotował badania. Taka sytuacja na pewno bardzo mocno zapadnie w pamięć badacza, ale nie znaczy to, że powinien o niej opowiadać w części o kluczowych wnioskach, zwłaszcza, że efekt izolacji przeniesie się wtedy na klienta.
  • Efekt potwierdzenia – czyli mocne skupienie się na obserwacjach, które potwierdzą nasze wcześniejsze przypuszczenia. Oczywiście w ramach powstawania scenariusza badawczego przeglądamy interfejs i zastanawiamy się nad miejscami, które wydają się dość skomplikowane i staramy się dowiedzieć czy faktycznie są problematyczne dla użytkowników, ale nie skupiamy się jedynie na nich, a już na pewno nie staramy się udowodnić za wszelką cenę, że nasze przypuszczenia okazały się słuszne. Nie mniej jednak takiej tendencji trudno się pozbyć. Efekt potwierdzenia może zostać wzmocniony przez efekt przekonania, czyli bazowania na naszych własnych doświadczeniach. Przykładowo: jeżeli my nie rozumiemy jakichś treści na stronie, to będziemy mieć tendencję do tego, aby wskazywać, że inni również mają ten problem.
  • Efekt wspierania decyzji – mamy z nim do czynienia w sytuacji, gdy podświadomie dążymy do opracowania takich wyników badań, które są zgodne z nadziejami bądź przypuszczeniami klienta. Załóżmy, że przed badaniami klient powiedział nam, że myśli o zmianie zdjęć na swojej witrynie, bo mu się nie podobają. W takiej sytuacji istnieje prawdopodobieństwo iż badacz skupi się na wyciągnięciu wniosków, które będą zalecały zmianę zdjęć. Nawet jeżeli podczas badania same zdjęcia powodowały niewiele problemów.

Niestety błędy poznawcze mają wpływ na naszą pracę również wtedy, gdy zdajemy sobie sprawę z ich istnienia. Samo zapoznanie się z ich listą nie wystarczy. Więcej o błędach poznawczych możecie poczytać pod linkiem http://psychologiasprzedazy.biz/psychologia-sprzedazy-uwazaj-na-bledy-poznawcze/.

Poprawne przeprowadzenie badań UX nie jest prostą sprawą. Należy dość krytycznie podejść do treści scenariusza, profilu osób, które zjawiają się na naszych badaniach jak i również „pilnować się” w trakcie analizy danych, a najlepiej nie robić tego samemu. Wtedy dużo łatwiej o obiektywne wnioski.

Źródła:
Badania jako Podstawa Projektowania User Experience, Iga Mościchowska, Barbara Rogoś-Turek (Warszawa, 2018)
http://psychologiasprzedazy.biz/psychologia-sprzedazy-uwazaj-na-bledy-poznawcze/