Читать книгу Badania jako podstawa projektowania user experience - Iga Mościchowska - Страница 17
2. PRZYGOTOWANIE DO BADAŃ Z UŻYTKOWNIKAMI
2.3. DOBÓR PRÓBY I REKRUTACJA
Оглавление2.3.1. DOBÓR PRÓBY W BADANIACH ILOŚCIOWYCH
Dobór wielkości próby jest kluczowy dla każdego badania i zależy od kilku głównych czynników:
■ wielkość populacji (N) – im większa, tym mniejszy odsetek może stanowić jej próba;
■ frakcja próby (P) – inaczej procentowy udział badanego zjawiska lub cechy w populacji całkowitej; jeśli nie jest nam znany, to przyjmujemy, iż wynosi on 50% (czyli że połowa ludzi posiada pożądaną przez nas cechę);
■ poziom ufności – jest to wskaźnik, który informuje nas, na ile możemy ufać danej wartości poznanej w badaniu na próbie badawczej przy przenoszeniu jej na całą populację, w zależności od potrzeb zakładany poziom to zwykle 0,95 lub 0,99, ale w badaniach UX często stosuje się także niższy poziom – 0,90; im wyższy przedział ufności ustalimy, tym większa musi być próba badawcza;
■ maksymalny błąd oszacowania – informuje nas o tym, jaką „poprawkę” powinniśmy przyjąć na nasze dane, czyli o ile może odbiegać od rzeczywistości wynik osiągnięty na próbie.
Jeśli w badaniu przyjęto poziom ufności 0,95 i maksymalny błąd oszacowania 3%, to można stwierdzić, że z 95-procentową pewnością populacja odbiorców posiada jakąś cechę i jej rzeczywista wartość może się różnić od uzyskanej w badaniach o 3%.
Im większa populacja generalna, tym odsetek respondentów może być mniejszy. Poniższa tabela pokazuje, jak będzie różniła się pożądana wielkość próby przy populacjach o różnych rozmiarach. Przyjmując, iż poziom ufności powinien wynieść 95%, a błąd maksymalny 3%, przy nieznanej wielkości frakcji, próby będą się kształtować następująco:
Tabela 2.1. Wielkość próby dla różnej wielkości populacji (p = 0,95)
Próbę można obliczyć samodzielnie, na podstawie wzoru statystycznego, ale o wiele wygodniej skorzystać z licznych kalkulatorów doboru próby dostępnych online – czy to na stronach poświęconych statystyce (np. naukowiec.org), czy w witrynach firm badawczych.
Jednak sama wielkość próby nie gwarantuje jeszcze, że badanie będzie reprezentatywne. Ogromne znaczenie ma również sama forma doboru próby, o czym czasem się zapomina. Badania reprezentatywne najczęściej wiążą się z dwoma sposobami doboru respondentów:
■ doborem losowym – w którym każda jednostka ma równe prawdopodobieństwo znalezienia się w próbie badawczej;
■ doborem kwotowym – odzwierciedlającym strukturę kluczowych cech istotnych w badaniu. Przy czym dobór kwotowy jest obarczony pewną dozą nieścisłości i w sensie matematycznym nie pozwala na obliczenie błędu statystycznego.
Dobór taki jest niezwykle trudny do przeprowadzenia, wymaga on bowiem dostępu do spisu ludności czy listy wszystkich członków danej populacji (np. uczniów, lekarzy czy nauczycieli). Aby zachować wymogi reprezentatywności, każdy z członków grupy musi mieć takie same szanse na wzięcie udziału w badaniach. Dotarcie do wylosowanej próbki wymaga więc rozbudowanej logistyki, a co za tym idzie sporych nakładów finansowych oraz czasowych.
Bardziej szczegółowe rozważania wykraczają poza tematykę tej książki. Należy jednak pamiętać, iż dobór reprezentatywny nie jest kluczowy w badaniach na potrzeby user experience, w których chodzi przede wszystkim o poznanie specyfiki odbiorców, zidentyfikowanie tendencji, bez konieczności określania dokładnych proporcji występowania danej cechy w populacji. Badania ilościowe (nawet te reprezentatywne) nie są też sposobem na jednoznaczne rozstrzygnięcie decyzji projektowych czy funkcjonalnych. Nie dają bowiem pewności, że deklaracje pokrywają się z rzeczywistością. W toku badań ilościowych bardzo trudno również pozyskać odpowiedź na pytanie, czy jakieś rozwiązanie jest trafione, nie mamy tutaj zwykle możliwości na pogłębienie tematyki, a jedynie pokazanie skali jakiegoś zjawiska. Najczęściej to właśnie jakościowe odpowiedzi na pytania „dlaczego?” czy „po co?” są dla projektantów ważniejsze niż dane liczbowe.
2.3.1.1. Celowy dobór próby
Najczęściej stosowanym sposobem ustalaniem próby w badaniach na potrzeby UX jest tak zwany dobór celowy. Dobór taki prowadzony jest arbitralnie przez badacza lub rekrutera, na podstawie określonych wcześniej kryteriów. Krótko mówiąc, do badań rekrutowane są osoby, które spełniają zdefiniowane wcześniej wymagania, np. w ostatnim roku zakupili mieszkanie lub są użytkownikami najnowszego modelu iPhone’a. Nie jest to dobór reprezentatywny, jednak kryteria te powinny być zbliżone do reprezentatywnych dla danej populacji.
2.3.2. REKRUTACJA UCZESTNIKÓW BADAŃ
Zrekrutowanie właściwych respondentów bywa często niełatwym zadaniem dla zespołu badawczego. Samą logistykę badania można oddelegować wyspecjalizowanej agencji badawczej, jednak w wielu przypadkach, ze względów finansowych lub merytorycznych, zespół decyduje się na samodzielną rekrutację uczestników.
Jak pozyskać kandydatów do badania
Powszechnie wykorzystywanych jest kilka sposobów rekrutowania respondentów. Najbardziej formalnym sposobem jest korzystanie z pomocy agencji badawczej, która pozyskuje osoby z grupy docelowej z odpowiednich baz respondentów. Inne sposoby rekrutacji, które można zastosować samodzielnie:
■ w mediach społecznościowych – poprzez ogłoszenia w serwisach, takich jak: Facebook czy Twitter;
■ wewnątrz organizacji – szczególnie, jeśli tworzony projekt dedykowany jest określonej grupie zawodowej czy firmie;
■ poprzez wysyłkę mailingów – np. do bazy odbiorców lub kontrahentów firmy, dla której wykonywane jest badanie;
■ na forach i w grupach tematycznych – szczególnie przydatne, jeśli rekrutowani są przedstawiciele konkretnej grupy odbiorców – np. miłośników motoryzacji czy marki;
■ zamieszczanie informacji w portalach ogłoszeniowych;
■ metodą kuli śnieżnej – zrekrutowane już osoby dostarczają namiary na kolejnych respondentów, takie polecenia bywają też przekazywane przez znajomych badacza (tzw. znajomi znajomych); w tym przypadku niezmiernie ważne jest, aby były oto osoby niepowiązane z badaczem ani projektem;
■ rekrutacja za pośrednictwem agencji pracy tymczasowej;
■ spontaniczna rekrutacja w terenie lub rekrutacja korytarzowa – zapraszanie do uczestnictwa respondentów, którzy w danej chwili przebywają w miejscu prowadzenia badań – np. odwiedzających muzeum, jeśli badane są aspekty związane ze zwiedzaniem. Należy jednak pamiętać, iż uczestnicy muszą spełniać podstawowe kryteria rekrutacyjne. Pozyskanie uczestników badań z osób, które w żaden sposób nie wpisują się w grupę docelową projektu jest bezcelowe, a wnioskowanie oparte na takiej próbie może być błędne i szkodliwe dla projektu.
Dużą zaletą rekrutacji nieformalnej, np. tej metodą kuli śniegowej, jest możliwość pozyskania osób niemotywowanych finansowo, które nie mają w zwyczaju uczestniczyć w badaniach. Z kolei rekrutacja przez agencje badawcze obarczona jest większym ryzykiem pozyskania do badań tzw. zawodowych respondentów, czyli osób, które uczestniczą w badaniach w celu czerpania korzyści materialnych, a które nie zawsze należą do grupy docelowej i udzielają odpowiedzi pasujących do projektu (niezależnie od ich zgodności z rzeczywistością). Osoby te są obeznane z metodami rekrutacji i potrafią tak odpowiadać na pytania, aby zakwalifikować się do udziału.
Jak rekrutować respondentów
W celu pozyskania odpowiednich uczestników badania powinien zostać stworzony kwestionariusz rekrutacyjny zwany też screenerem. Kwestionariusz rekrutacyjny, choć często bagatelizowany, jest jednym z najbardziej istotnych dokumentów w projekcie. Od niego w dużej mierze zależy poprawność doboru uczestników. Rekrutację i selekcję można przeprowadzić zarówno pośrednio (np. za pomocą kwestionariusza online), jak i bezpośrednio (telefonicznie lub osobiście). W praktyce najczęściej łączone są dwa sposoby, pozyskuje się bazę w sposób mniej czasochłonny – online, a końcowa selekcja przeprowadzana jest w toku rozmowy telefonicznej.
WYTYCZNE DO TWORZENIA KWESTIONARIUSZA BADAWCZEGO24
Oprócz zawodowych respondentów z próby badawczej należy również wyeliminować osoby, które mogą być nieobiektywne. Te bezpośrednio związane z projektem (np. menedżera produktu czy członków zespołu projektowego) oraz te związane z konkurencją. Drugie ograniczenie ma również podstawowe znaczenie w zachowaniu poufności projektu.
DOBRA PRAKTYKA
Aby wyeliminować zawodowych respondentów, nie ujawniaj w czasie rekrutacji, jakich osób poszukujesz. W kwestionariuszu rekrutacyjnym zamieść sporo pytań otwartych (lub z ukrytą dla respondentów listą odpowiedzi) oraz pytań filtrujących (w których trudno jest odgadnąć właściwą odpowiedź). Przykładowo zamiast pytać: „Czy w ciągu ostatnich 6 miesięcy brałeś udział w badaniach?”, zadaj pytanie „Kiedy ostatnio uczestniczyłeś w badaniach?”.
Rekrutację do badań należy rozpocząć na co najmniej tydzień przed planowanymi badaniami. Wcześniejsze umawianie daje badaczom większy komfort psychiczny, jednak bardzo często skutkuje większą liczbą odmów lub zaniechań udziału. Doświadczenie pokazuje, iż ludzie planują swoje działania mniej więcej tydzień w przód, w tym okresie są również w stanie podać rzetelnie swoją dostępność. Późniejsze umawianie może sprawić, że chętni respondenci nie będą już dostępni z powodu wcześniej zaplanowanych zajęć.
DOBRA PRAKTYKA
Przeanalizuj okres prowadzenia badania pod kątem dostępności grupy docelowej. Uwzględnij specyficzne terminy, wydarzenia, dni wolne. Przykłady:
■ przed samą maturą bardzo trudno będzie Ci zrekrutować do badań uczniów klas trzecich liceów, bo są oni wtedy skupieni na przygotowaniach do egzaminu dojrzałości;
■ zimą nie przeprowadzisz obserwacji uczestniczącej motocyklistów będących w trasie, gdyż najbardziej zintensyfikowane podróże odbywają oni od kwietnia do października.
Pomimo iż rekrutacja jest oparta na dobrowolnym zgłoszeniu uczestnika, zdarza się, iż w czasie rozmowy z kandydatem można wyczuć niechęć lub obawę przed wzięciem udziału w spotkaniu. W takiej sytuacji zadaniem osoby rekrutującej jest zmniejszenie obaw oraz zaciekawienie kandydata spotkaniem poprzez:
■ opisanie jego przebiegu – nakreślenie pokrótce tego, co będzie się działo na spotkaniu. Należy jednak pamiętać, aby nie zdradzać zbyt wielu szczegółów (np. nazwy testowanej strony), bo uczestnicy mają tendencje do przygotowywania się do badań;
■ podkreślenie wartości spotkania – informacja o tym, iż służy ono ulepszeniu projektu, oraz zapewnienie, że pomoc respondenta jest kluczowa;
■ odpowiedzenie na pytania – na część z nich grzecznie acz wymijająco, aby nie zdradzić pytań badawczych czy danych poufnych;
■ poinformowanie o wynagrodzeniu – co dodatkowo motywuje i jest podziękowaniem za poświęcony czas.
DOBRA PRAKTYKA
W czasie kontaktów z respondentami nie używaj takich słów, jak: „badanie”, „badany”, „test” czy „testowanie”. Kojarzą się one bardzo negatywnie – z wizytą u lekarza, testami laboratoryjnymi lub sprawdzianem w szkole. Tym samym mogą zwiększać obawy uczestników. O wiele lepiej sprawdzą się terminy „spotkanie” oraz „uczestnik”.
Wielkość próby badawczej różni się w zależności od zastosowanej metody. Niemniej baza potencjalnych uczestników musi być większa niż liczba osób potrzebnych do badań. W każdych badaniach zdarzają się bowiem sytuacje, kiedy respondent odwołuje swój udział lub nie pojawia się wcale. Trzeba być zatem przygotowanym na konieczność umówienia spotkań z dodatkowymi osobami. Jeśli harmonogram jest bardzo napięty, to warto zrekrutować 1–2 „zapasowych” respondentów, którzy będą na tyle dyspozycyjni, aby w zastępstwie wziąć udział w badaniach. Czasem te osoby czekają w laboratorium badawczym (jednak jest to dla nich bardzo męczące), częściej jednak są dostępne pod telefonem. W obu przypadkach za ich dyspozycyjność należy im się wynagrodzenie, niezależnie od tego, czy wezmą udział w spotkaniach.
24
E. Sobula, Podstawy rekrutacji respondentów, 26.04.2011, http://uxbite.com/2011/04/podstawy-rekrutacji-respondentow/.
