RISE: Hårdvarutestning av diskmaskinsfunktioner

Brief

Kunden är en tillverkare av hushållsapparater och hade anlitat RISE för att utföra användbarhets studier av nya funktioner i en diskmaskin, för att identifiera problem med affordans och användbarhet hos två nya funktioner.

Kärnproblem

Att skriva testscenarier som isolerar särskilda maskinfunktioner samt gradera dessa i olika grader av misslyckande/godkända är knepigt, liksom att använda ett otvetydigt språk som alla intressenter tolkar liknande - särskilt i ett internationellt team spritt över världen.

Metodik & Mitt bidrag

Fem testpersoner bjöds in till RISE UX Lab i Stockholm för att utföra scenarier under fjärrövervakning av UX-forskare och kundintressenter. Efterföljande taggning och tematisk analys sammanställs till insikter för kunden att införliva i sitt designarbete.

Varför observation över enkäter? Användare kan inte tillförlitligt artikulera vad som förvirrar dem om fysiska gränssnitt. Se kan berätta att de är frustrerade, men inte varför. Vi behövde se faktiskt beteende: var användare tittade, vad de försökte först, hur länge de letade, och vilka antaganden de gjorde. Denna observationsmetod avslöjade inte bara att funktioner var svåra att hitta, utan varför: färgblandning, oväntat placering, brist på visuell hierarki.

Jag assisterade de seniora forskarna med att skriva testscenarier och mäta nivå av misslyckande/godkänt, arbetade under användartesten och eftertest analys med kund, tematisk analys och taggning i Dovetail, korrekturläsning av den färdiga kundrapporten.

Resultat

Våra fynd identifierade kritiska affordansproblem innan den dyra tillverkningsfasen. Designteamet tog dessa insikter för att informera iterativa förbättringar inom sina strikta budgetbegränsningar.

Affärspåverkan: För hårdvarutillverkare kan designiterationer efter tillverkning kosta miljoner när de skalas över produktionsserier. Att hitta dessa problem i prototypfasen, innan man förbinder sig till formar och verktyg, gjorde det möjligt för kunden att göra informerade avvägningar mellan användbarhet, materialkostnader och instruktionslindring.

Vårt arbete förhindrade kunden att lansera funktioner som användare inte kunde upptäcka, vilket skulle ha resulterat i kundmissnöje och ökade supportkostnader.

Vinglas-hållarens affordans

Ingen av de 5 deltagarna använde vinglas-hållaren som avsett. Endast 2 av 5 hittade funktionen utan uppmaning.

Forskningsmetod: Vi använde en tre-nivå-uppmaningsstrategi för att skilja affordans ("upptäcker användare det?") från användbarhet ("kan de använda det om det visas?"):

• Nivå 1: "Placera vinglas där du tror de passar" (öppen)
• Nivå 2: "Finns det någon annanstans de kan passa?" (mjuk vägledning)
• Nivå 3: "Vad tror du funktionen där bak används till?" (direkt ledning)

Denna progressiva metod låter oss mäta både upptäckbarhet och förståelse separat.

Modulär bricka-upptäckt

Den modulära brickan visade sig också vara en utmaning att använda, och bara 3 av 5 deltagare hittade den självständigt; En eftersom de hade en liknande funktion på sin nuvarande maskin, de andra efter mer intensiv uppmaning.

Kritisk insikt: Flera användare trodde att de hade haft sönder mekanismen och kunde inte återställa den. Användarkommentarer visade att kontrollmekanismerna smälte in i maskinens färgschema, vilket gjorde det oklart "vad man skulle dra i, vad man skulle trycka på."

Detta fynd belyste inte bara ett problem med affordance, utan också feedback- och återställbarhet: Användare var rädda för att förstöra dyr utrustning.

Kunden tillhandahöll en brief med en beskrivning av de två funktioner de ville testa för användbarhet. Det var vårt jobb att översätta den något tvetydiga formuleringen till ett testprotokoll som skulle gå igenom båda funktionerna på cirka 40 minuter, med flera godkänd/underkänd-tillstånd för varje test.

Kunden levererade diskmaskinen till RISE UX Lab i Stockholm och det lokala teamet ställde upp den tillsammans med alla redskap och disk som skulle användas.

När testprotokollet var skrivet utförde vi ett förtest med en försöksperson, och baserat på resultatet och feedback från kunden reviderade vi protokollet - "lämna bricka A i upprätt läge vid start som en ledtråd" och "innan du avskriver ett test helt, lägg till en andra ledtråd", etc.

På dagen hade vi fem försökspersoner som gick igenom ett testscenario individuellt, guidade av en senior researcher på plats. Jag själv och en annan researcher tog anteckningar på distans, och stakeholders från kunden deltog också. Varje test tog cirka 40 minuter, och följdes av en halvtimmes debriefing med kunden där vi jämförde anteckningar.

Kunderna har gjort dessa tester i många år och vet att den bästa feedbacken är att se människor bli frustrerade och misslyckas - ett neutralt testprotokoll och en distanserad testadministratör är ett utmärkt sätt att få fram dessa resultat.

Även när försökspersoner misslyckades helt med en uppgift gav de ofta funktionerna fulla poäng i slutenkäten - "ja, nu när jag vet poängen med det gillar jag verkligen idén" - så om du vill förbättra en produkt är det bättre att titta på vad människor gör, snarare än vad de säger.

Människor vill inte uppfattas som varken oartiga eller dumma, så deras tendens är att se sina misslyckanden som en personlig förbiseende, inte designerns fel. Därav termen "användarfel" som dyker upp när vi försöker förklara missöden och olyckor, istället för att lägga skulden direkt på dem som inte testade sina produkter tillräckligt.

När man gör observationsstudier är det viktigt att vara medveten om ens fördomar och tendens att härleda avsikt istället för att bara gå efter observerade fakta - trots allt vill vi veta vad som hände, inte gissa vad användare tänkte - så en rigorös kodning och sammanställning av resultaten är viktig.

Analysmetodik: Efter varje testsession genomförde RISE-teamet och klientens intressenter omedelbara debriefing-sessioner för att samordna observationer. Vi kodade sedan videoinspelningar och anteckningar i Dovetail, med tematisk analys för att identifiera återkommande mönster över alla 5 deltagare. Tre primära användbarhetskluster framkom, varje dokumenterat med specifika användarcitat och beteendebevis.

När testerna var klara hade vi observationsanteckningar från tre researchers samt kommentarer från kunden, och det var dags att gruppera, tagga och sammanfatta materialet. Med hjälp av Dovetail för klustring och tematisk analys sammanfattade vi resultaten i en rapport med handlingsbara insikter och levererade dem till kunden.

Testning tar tid och kostar pengar, men kostnaden för att implementera till och med till synes enkla funktioner som visar sig vara felaktiga eller oanvändbara överväger vida alla testkostnader, och det var fascinerande att vara en del av processen med ett så erfaret team, både på RISE och kund.

Jag fick en fin utvärdering för mitt arbete!

Jag förberedde ett användbarhets-test tillsammans med Mateusz under hans tid på RISE. Tanken var att visa honom hur jag genomför användbarhetstester i UX-labbet, men det slutade med att Mateusz kunde assistera mig och hjälpa mig med alla uppgifter utmärkt. Mateusz utvecklade lämpliga uppgifter för produkt-testet, skrev manus och triggers, observerade och tog anteckningar under testsessionerna. Sedan deltog han aktivt med mig och designteamet i analysarbetet och skrev en avslutande rapport. Mateusz utförde allt detta på ett föredömligt sätt, visade sin kunskap om teorin och ställde rätt frågor för att leverera i en skarp situation med en stor kund. Jag rekommenderar varmt Mateusz till alla som överväger honom för sitt framtida team!

Johan Rindborg, Senior användbarhetstestare på RISE – på min LinkedIn-profil