Kvantitativní a kvalitativní výzkum: co to je a jak funguje – čtěte na UPROCK

Neměli byste poskytovat statistiky a průměry, pokud jste neprováděli kvantitativní výzkum. Numerická měření by měla být podpořena statistickými informacemi, jako jsou intervaly spolehlivosti nebo statistická významnost.

Často dostávám tuto otázku s různými formulacemi:

“Je možné shromažďovat kvantitativní metriky (jako je úspěšnost úkolu a čas strávený procesem) při provádění kvalitativních studií týkajících se testování použitelnosti?”

Odpověď na tuto otázku bude ano, pokud:

• předkládat tyto číselné údaje spíše ad hoc než průběžně;
• Nezapomeňte, že tato čísla nemusí odrážet chování celé vaší uživatelské skupiny.

1. Rozdíly mezi kvantitativním a kvalitativním výzkumem

V některých případech si týmy UX kladou tuto otázku v naději, že rozostřují hranice mezi kvantitativním a kvalitativním výzkumem, aby ušetřily čas nebo zdroje. Však tyto UX výzkum sledovat různé cíle, proto měly by být jinak strukturovány.

Kvalita uživatelské testování je proces identifikace problémů uživatelské zkušenosti a hledání způsobů, jak je řešit. Tyto studie se zaměřují na sběr poznatků z analýzy a rozptýlených faktů ze studie. V důsledku toho tyto studie vyžadují pouze několik reprezentativních uživatelů. Kromě toho má organizátor studie určitou flexibilitu ohledně cílů – mohou být změněny nebo přizpůsobeny každému účastníkovi.

Kvantitativní uživatelské testování je sbírka metrik UX: číselné odhady různých aspektů uživatelské zkušenosti, jako je čas potřebný k dokončení úkolu. Konečným cílem je vypočítat skóre těchto metrik pro celou populaci uživatelů.

Aby byly odhady realistické a nebyly náhodné, je potřeba relativně velký počet účastníků (často více než 40). Všichni účastníci musí splnit stejné, jasně definované úkoly. V opačném případě budou čísla získaná ze studie bezvýznamná.

Nemělo by docházet k pokusům kombinovat kvantitativní a kvalitativní výzkum použitelnosti., protože každý typ výzkumu se provádí jinak.

2. Sběr a prezentace indikátorů v kvalitativním výzkumu

Logická otázka zní, že pokud neexistuje způsob, jak spojit kvantitativní a kvalitativní výzkum, proč byste sbírali indikátory během kvalitativní studie?

Při provádění kvalitativního testování použitelnosti může být shromažďování metrik užitečné, když sdělujete své výsledky pomocí vyprávění příběhů. Důležitý bod – měl by jsi prezentovat jednotlivé hodnoty spíše než souhrnné statistiky, zejména časové průměry nebo úspěšnost.

Předpokládejme, že jsme provedli kvalitativní uživatelské testování aplikace pro rozvoz jídel se 6 účastníky. V této studii jsme shromáždili některé kvantitativní metriky: čas dokončení úkolu a míru úspěšnosti. Tyto metriky nám mohou pomoci sdělit závažnost problému, pokud poskytneme výsledky a podložíme je jednotlivými příběhy z výzkumu.

Správně: „Jedna z účastnic se snažila najít blízkou restauraci, která by se jí líbila. Než se rozhodla zadat objednávku, strávila více než 8 minut procházením a používáním různých filtrů.“

Ve snaze zdůraznit obtížnost, kterou měl účastník při plnění úkolu, je přijatelné uvést to jako samostatnou hodnotu („více než 8 minut“). Ale protože se jednalo o kvalitativní studii, neděláme to Umět použijte tato data k výpočtu průměrných hodnot.

Špatně: „Výběr restaurace účastníkům trval v průměru 4 minuty a 23 sekund.“

V tomto případě by bylo chybné hlásit průměry, protože bychom pak očekávali, že pokud bychom otestovali všechny naše skutečné uživatele, nalezli bychom podobnou průměrnou dobu dokončení úkolu. Ale vzhledem k tomu, že jsme testovali malý počet účastníků, nemáme dostatek dat pro toto tvrzení. (Pokud bychom pro tato data měli vypočítat interval spolehlivosti, byl by poměrně velký.)

Podobně nemůžeme poskytnout míru úspěšnosti úkolu pro naše data.

Špatně: „Pouze 16,7 % účastníků dokázalo úkol úspěšně dokončit.“

Opět to znamená, že testování bylo provedeno s větším vzorkem, než tomu bylo ve skutečnosti. A z toho vyplývá, že bychom očekávali podobný podíl v naší celkové uživatelské populaci, což na základě těchto údajů nemůžeme udělat.

Můžeme však uvést počet úspěšných účastníků mezi těmi, kteří se o úkol pokusili.

Správně: “Kontaktovat zákaznickou podporu bylo pro naše účastníky studie velmi obtížné – pouze 1 ze 6 byl schopen tento úkol úspěšně dokončit.”

Tímto přístupem poskytujeme informaci, že úkol byl obtížný bez uvedení procenta, což by bylo velmi snadné špatně pochopit.