Erfolgreiche Produkte und Services sind selten ein Zufall. Design Teams wenden regelmässig benutzerzentrierte Designmethoden an, um ein stimmiges Benutzererlebnis zu entwickeln und später sicherzustellen. Heutzutage gibt es eine grosse Vielfalt an verschiedenen Designprozessen und Methoden. Eine der bekanntesten und effektivsten ist moderiertes Benutzertesten (moderated User Testing).
In diesem Benutzertest-Guide zeigen wir Schritt für Schritt auf, wie mögliche Usability Schwachstellen digitaler Produkte (Webseiten, Apps etc.) mit Hilfe von moderierten Benutzertests aufgedeckt werden.
Dieser Leitfaden richtet sich an UX Professionals als Refresher sowie an Personen, die sich mit dem Thema „User Testing“ im agilen Umfeld befassen.
1. Vorbereitung eines Benutzertests
Um aus einem Benutzertest möglichst viele relevante Erkenntnisse gewinnen zu können, bedarf es einer gründlichen Vorbereitung. Es sollte zum Beispiel von Anfang an klar de niert sein, an wen sich das Endprodukt richtet. Hierzu empfehlt es sich im Vorfeld Personas und Szenarien zu erarbeiten. Diese beiden Tools unterstützen das Projektteam während der ganzen Umsetzung, ein gemeinsames Verständnis für die wesentlichen Bedürfnisse des Endnutzers zu erlangen.
1.1 Ziel definieren
In welcher Form und in welchem Umfang ein Test durchgeführt wird, ist abhängig von dem Ziel, das verfolgt wird. Das Vorgehen unterscheidet sich stark, je nachdem, ob eine bestehende Seite auf Grund eines geplanten Redesigns überprüft wird, eine neue Funktion auf ihre Benutzbarkeit getestet wird oder die Entscheidungsträger mit Hilfe eines Tests überzeugt werden müssen. Die Ausgangslage jedes Benutzertest ist daher in erster Linie das Festlegen des Ziels der Untersuchung und was genau erreicht werden soll. Darauf aufbauend werden dann die weiteren Schritte abgeleitet und Entscheidungen getroffen.
1.2 Testobjekt vorbereiten
Der Kern jedes Benutzertests ist das Testobjekt. Abhängig von dem Ziel und dem aktuellen Projektstand besteht dieses in einem dementsprechend angemessenen Fertigungsgrad.
Lo-Fidelity Prototypen
Diese kommen meistens ganz am Anfang von einem Projekt zum Einsatz. Unter „Lo-Fidelity“ versteht man Papier-, sowie erste einfache interaktive Prototypen. Diese werden vor allem verwendet, um ein erstes Konzept oder eine Idee zu validieren. Zu diesem Zweck sollte der Prototyp so einfach wie möglich gehalten werden und ohne jegliche „Hi-Fidelity Elemente“ (Visual Design, unnötige Effekte, etc.) auskommen. Nur so kann sichergestellt werden, dass die Reaktion der Testperson ausschliesslich auf grundsätzlicher Kritik basiert, und nicht von ästhetischen Dingen (z.B. mir gefällt der Button nicht) beeinflusst wurde.
Papierprototyp (Lo-Fi)
Interaktiver Prototyp Lo-Fi
Hi-Fidelity Prototypen
Darunter versteht man fertige Webseiten, Apps oder pixelgenaue Visual Designs. Je ausgereifter ein Prototyp ist, desto weniger wird er rein inhaltlich in Frage gestellt. Im Gegensatz zu „Lo-Fidelity Prototypen“ kann hier mit Hilfe eine Benutzertests auch hilfreiches Feedback zu visuellen Aspekten in Erfahrung gebracht werden.
Visual Design (Hi-Fi)
Um den Kontext für die Testperson eindeutig festzulegen, ist es in beiden Fällen wichtig, dass das Testobjekt das angestrebte Benutzererlebnis so realistisch wie möglich imitiert. Das kann zum Beispiel in Form eines illustrierten Mobiltelefons als Grundlage für den „Lo-Fidelity Prototypen“ sein, oder in dem man den „Hi-Fidelity Prototypen“ auf einem Mobiltelefon testen lässt.
1.3 Testmethode wählen
Es gibt eine Vielzahl an Testmethoden und jeder Experte hat seine persönlichen Vorlieben. Die Wahl der passenden Methode sollte in erster Linie von dem Reifegrad (Fidelity) des zu testenden Prototypen abhängig gemacht werden. Im Rahmen dieses Whitepapers wird in den folgenden Abschnitten vertiefter auf moderierte In-House Benutzertests eingegangen.
Hallway Testing – Eine einfache und informelle Art, um schnell ein erstes Feedback zu erhalten. Dabei befragt man Leute, welche einem am Arbeitsplatz oder auf der Strasse begegnen. Der Test sollte nicht länger als 5 bis 10 Minuten dauern und lediglich überprüfen, ob das Konzept grundsätzlich verstanden wird. Eine ähnliche Methode wäre Guerrilla Testing, welches normalerweise mit Café-Besuchern durchgeführt wird.
In-House User Test – Die gängigste Methode, um mögliche Usability Probleme zu erörtern. Der Moderator, die Testperson und der Beobachter befinden sich meistens im selben Raum. Metadaten wie Körperhaltung, Gestik und Mimik können auf diese Weise besser aufgenommen werden und fliessen ebenfalls in die Beurteilung mit ein.
Remote User Test – Ist eine ortsunabhängige und schnelle Art, eine Webseite oder ein Produkt zu testen. Der grosse Vorteil beim „Remote User Test“ ist, dass sich die Testperson in ihrer gewohnten Umgebung befindet und der Stressfaktor somit geringer ist. Durch das natürliche Umfeld werden auch Probleme aufgedeckt, die bei einem einwandfrei vorbereiteten Test Setup erst gar nicht aufgetreten wären. Es wird zwischen moderierten und unmoderierten „Remote Tests“ unterschieden. Der bekannteste unmoderierte Dienst ist usertesting.com.
Expert Review – Als wertvolle Ergänzung kann zum Aufdecken von möglichen Schwachstellen auch ein Experte hinzugezogen werden. Die so gewonnenen Erkenntnisse basieren auf Statistiken und Erfahrungen des jeweiligen Experten. Es kann daher nicht mit Sicherheit gesagt werden, ob die identifizierten Punkte in der Praxis auch tatsächlich zu Usability Problemen führen.
Prototype Fidelity Scale
Usability Lab – Ein „Usability Lab“ übernimmt meistens die gesamte Abwicklung des Usability Tests, von der Vorbereitung bis hin zur Durchführung und Auswertung. Vorausgesetzt die finanziellen Mittel sind vorhanden, ist eine solche Zusammenarbeit zu Beginn oder zum Abschluss eines Projekt wünschenswert. Mögliche Agenturen mit einem Labor in der Schweiz sind Soultank, Ergonomen und e&t.
Quantitative Testmethoden – Bei Webseiten, Produkten oder Diensten (z.B. NZZ, Doodle etc.), die bereits länger online sind und eine grosse Anzahl an Benutzern aufweisen, empfiehlt es sich für diverse Hypothesen auch quantitative Testmethoden anzuwenden.
Die bekannteste dieser Methoden ist A/B Testing, bei- welcher die Hälfte der Besucher auf eine Variante A, und die andere Hälfte auf eine Variante B derselben Funktionalität geleitet wird. Mittels einem Conversion-Ziel wird gemessen, welche Variante erfolgreicher zum Ziel führt. Google Analytics bietet die Infrastruktur für A/B Tests sowie weitere Funktionen zum Durchführen von quantitativen Experimenten und Analysen.
Drunk Test – Bei dieser weniger seriösen Methode wird das Thema von einer sehr unkonventionellen und humorvollen Seite angegangen. Die Probanden testen das Produkt unter Alkoholeinfluss, wodurch man unverschämt offene und authentische Reaktionen erhält. Die bekannteste Webseite, welche „Drunk Tests“ durchführt, ist threesheetsresearch.com (sehr sehenswert).
1.4 Testskript verfassen
Ein typisches Testskript besteht aus einem WarmUp, einem Hauptteil und einem CoolDown. Es beinhaltet zwischen 5 bis 10 Aufgaben und die Durchführung dauert in der Regel zwischen 30 – 60 Minuten. Um die Zeit optimal zu nutzen und vergleichbare Ergebnisse zu erhalten, ist ein gut strukturiertes Testskript vonnöten. Es dient als Leitfaden für den Moderator und wird nicht an die Testperson abgegeben. Darin werden die Aufgaben, welche die Testperson zu bewältigen hat, der Reihe nach aufgelistet und mit einer Hypothese und einem Ziel ergänzt. Die Hypothese hilft dem Moderator während des Tests nachzuvollziehen, welche Absicht die jeweilige Aufgabe verfolgt. So kann verhindert werden, dass dem Moderator während des Tests der Faden verloren geht. Das zuvor festgelegte Ziel hilft bei der späteren Analyse.
Der jeweilige Kontext des Tests wird der Testperson mit Hilfe eines Szenarios erläutert. Darunter versteht man eine Situationsbeschreibung, welche die Testperson dabei unterstützt, sich in die für den Test relevante Ausgangssituation hineinzuversetzen. Darauf aufbauend folgen die Fragen.
Aufgabenstellung – Die einzelnen Aufgaben sollten so realistisch, eindeutig und kurz wie möglich formuliert werden. Dabei muss ganz genau darauf geachtet werden, dass die Fragen nicht suggestiv gestellt werden. Damit wird verhindert, dass die Testperson auf Grund der Frage in eine vorbestimmte Richtung gelenkt wird.
Suggestiv: Auf welcher Unterseite findest Du Informationen über das Team?
Neutral: Wo findest Du mehr Informationen über die Leute hinter diesem Webdienst?
Die Aufgaben sollten einem logischen Ablauf folgen, und wenn möglich dem natürlichen Vorgehen der Benutzer entsprechen. (z.B. Einstieg über die Startseite und erst im Anschluss auf eine Unterseite fokussieren).
Warm Up – Die Einstiegsfragen sollten möglichst einfach sein, denn so kann die Testperson immer mit einem Erfolgserlebnis beginnen. Mögliche Fragen sind: „Was ist Dein erster Eindruck der Seite?“ oder „Was sticht Dir als Erstes ins Auge?“
Hauptteil – Sobald sich die Testperson aufgewärmt und an die ungewohnte Situation gewöhnt hat, folgen die relevanten Aufgaben. Es empfiehlt sich eine Kombination aus offenen und konkreten Fragen zusammenzustellen.
Offene Fragestellungen – (“Kaufe einen passenden Jogging-Schuh”) sind äusserst spannend, da man viel über das Vorgehen der Benutzer und deren Denkweise (Mentales Modell) lernt. Dabei können unerwartete Ergebnisse und wertvolle Erkenntnisse zur allgemeinen Einschätzung und Wahrnehmung gewonnen werden. Der Vergleich für die Auswertung ist allerdings erschwert, da die Resultate der einzelnen Testpersonen unterschiedlich ausfallen werden.
Konkrete Fragestellungen – (“Kaufe einen Nike Xtreme 300 Schuh”) lassen sich hingegen besser vergleichen, da meist nur ein primärer Pfad zum Ziel führt. Mit solchen konkreten Fragestellungen kann die Effizienz einer Interaktion geprüft werden.
Cooldown – Die spannendsten Erkenntnisse werden meistens im darauffolgenden Gespräch gewonnen. Daher sollte hierfür auch ausreichend Zeit eingeplant werden.
Mögliche Fragen sind:
- Was ist Dein allgemeiner Eindruck der Website/App?
- Nenne spontan 3 Schlüsselwörter, die für Dich die Webseite/App beschreiben.
- Welche 3 Dinge findest Du an dieser Webseite/ App am besten und welche am schlechtesten?
- Würdest Du diese Webseite/App in Zukunft benutzen und wenn Wieso? Oder wieso nicht?
- Würdest Du diese Webseite/App an Freunde und Arbeitskollegen weiter empfehlen?
- Hast Du noch Fragen oder Anmerkungen?
1.5 Testpersonen rekrutieren
Die richtigen Leute für den Test zu rekrutieren kann sehr zeitintensiv sein und sollte auf keinen Fall unterschätzt werden. Um die Absprungrate tief zu halten, sollte die Rekrutierung zeitnah am Testdatum vorgenommen werden (höchstens 3-4 Tage im Voraus). Ausfälle sollten von Anfang an einkalkuliert werden, was bedeutet, dass mehr als die benötigte Anzahl von Testpersonen mobilisiert werden müssen. Wer die Rekrutierung selber vornimmt, sollte ausreichend Zeit einplanen, um die Testpersonen anzuschreiben, sie mittels einer Umfrage zu screenen und vor dem Test angemessen zu briefen.
Rekrutierungsquellen
- Interne Benutzerdatenbanken
- Soziale Medien wie Facebook, Twitter und Google+
- RonOrp
- Newsletter
- Eigene Webseite
Auslagern der Rekrutierung
- testingtime.com
- Marktforschungsagenturen wie z.B. Intervista
Auswahl – Um aussagekräftige und wertvolle Ergebnisse mit einem Benutzertest zu erzielen, ist es wichtig bei der Rekrutierung der Testpersonen darauf zu achten, dass diese der eigentlichen Zielgruppe (Persona) entsprechen. Zudem sollte man unbedingt auf einen ausgewogenen Mix an Testpersonen Wert legen, um zu verhindern, dass man einseitige Resultate erhält. (z.B. nicht nur Männer oder ausschliesslich Jugendliche).
Damit Usability-Probleme auf Grund von Vorkenntnissen nicht umgangen werden, sind involvierte Teammitglieder oder Mitarbeiter, die bereits Kenntnis von dem Testobjekt haben, denkbar ungünstige Probanden. Familienangehörige und Freunde eignen sich ebenfalls nicht als Testpersonen, da sie selten der eigentlichen Persona entsprechen und voreingenommen sind. Diese Personen tendieren dazu nett zu sein, was nicht zu ehrlichen und somit verwertbaren Resultaten führt. Auch von einer Befragung mit willkürlichen Testpersonen ist in den meisten Fällen mit Nachdruck abzuraten. Die Ergebnisse eines solchen Tests wären mit enormer Vorsicht zu geniessen, da man sonst auf Grund von einem verfälschten Testergebnis eine folgenschwere Entscheidung fällen könnte. Allen Regeln zum Trotz: testen, egal mit wem, ist immer noch besser, als gar nicht zu testen.
Die richtige Anzahl – Eines der meist diskutierten Themen, wenn es um das Aufdecken von Usability Problemen geht, ist die richtige Anzahl an Testpersonen. Das Durchführen vieler einzelner Tests für ein und dieselbe Studie, bedeutet einen enormen Zusatzaufwand und erschwert die Auswertung im Anschluss unnötig. Laut einer Studie von Jakob Nielsen reichen bereits 5 Testpersonen, um die wichtigsten Schwachstellen zu identifizieren. Wer hingegen Wert auf eine statistische Relevanz legt, muss etwas mehr Zeit investieren.
Zeitplan – Es empfiehlt sich den Zeitplan für die einzelnen Benutzertests nicht zu eng aufeinander zu planen. Eine kurze Pause von ca. 30 Minuten nach jedem Durchgang lässt etwas Raum für Unvorhergesehenes und ermöglicht einen kurzen Austausch unter den Teilnehmern, um die Befunde zu besprechen.
Terminierung – Um einen reibungslosen Ablauf zu ermöglichen und zu vermeiden, dass Testpersonen auf Grund von fehlenden Informationen zu spät, am falschen Ort, oder gar nicht erscheinen, teilen Sie allen Teilnehmer frühzeitig die Adresse, einen Kontaktnamen und eine Telefonnummer für Notfälle mit. Eine kurze Erinnerung am Morgen vor dem Test verhindert, dass die Probanden ihren Termin vergessen.
Teilnahmeprämie – Werden Testpersonen eigenständig rekrutiert, empfiehlt es sich eine angemessene Entschädigung in Form von Geld (oder einem Geschenk) für die Teilnahme zu offerieren. Diese Teilnahmeprämie sollte im Anschluss an den Benutzertest übergeben werden.
1.6 Durchführungsort und Infrastruktur vorbereiten
Der Raum, den man für den Test wählt, sollte ruhig sein und eine angenehme Atmosphäre verbreiten. Die Testperson soll sich so wohl wie möglich fühlen. Falls mehrere Personen den Test verfolgen möchten, macht es Sinn, einen zweiten Raum, möglichst nicht in Hörweite, dazu zu nehmen. Das Publikum kann dann über einen Bildschirm den Verlauf des Tests mitverfolgen, ohne dass sich die Testperson gestört fühlt.
Tools – Für einen In-House Benutzertest sind grundsätzlich keine Tools notwendig. Falls jedoch externe Beobachter den Test mitverfolgen möchten, kann der Bildschirm via Skype oder www.join.me übertragen werden. Soll der Test oder einzelne Sequenzen im Nachhinein nochmals im Detail ausgewertet werden, kann der Test mit Hilfe von Tools wie Screencast-O-Matic (Plattform unabhängig), oder Silverback (nur verfügbar für MAC OSX) aufgezeichnet werden. Bei einem mobilen Prototypen, welcher zum Beispiel auf einem Smartphone getestet wird, kann mittels einer externen Kamera der Screen aufgezeichnet und auf einen separaten Computer übertragen werden.
1.7 Involvierte Personen und Rollenverteilung festlegen
Moderator – Es empfiehlt sich, für diese Rolle eine unabhängige Person zu wählen. Zu stark involvierte Personen neigen dazu, aufgedeckte Schwachstellen im Produkt zu verteidigen. Der Moderator sitzt neben der Testperson und begleitet diese durch den Test. Bei der Einführung und während des Hauptteils ist ausschliesslich er für die Kommunikation mit der Testperson zuständig, danach können sich die Beobachter ebenfalls in den Dialog miteinbringen.
Beobachter / Protokollführer – Damit möglichst viele Erkenntnisse aus einem Test gewonnen werden, erstellen ein bis zwei Leute während des Tests im Hintergrund ein Beobachtungsprotokoll. Darin halten sie die Aussagen und Beobachtungen von Metadaten wie Gestik, Mimik, Körperhaltung etc. der Testpersonen fest. So kann sich der Moderator voll und ganz auf die Moderation des Tests fokussieren, ohne selber zusätzlich Notizen machen zu müssen.
Zuschauer – Es ist hin und wieder sinnvoll, Mitglieder des involvierten Projektteams bei einem Test hinzu zu ziehen. Das können Auftraggeber, Designer, Projektleiter oder Entwickler sein, welche die Gelegenheit erhalten, den Test live mitzuverfolgen und somit auch die Probleme selber miterleben. Dies kann dazu führen, dass bei einer späteren Umsetzung weniger Überzeugungsarbeit geleistet werden muss. Diese Gruppe sollte sich, wenn möglich, nicht im selben Raum aufhalten, damit sie möglichst nicht auf das Geschehen einwirken und die Testperson beeinflussen. Emotionale Reaktionen, und sei es nur ein Seufzer, setzen die Testperson unnötig unter Druck und erhöhen den Stress.
Es ist zudem erwiesen, dass Testpersonen unter grösserem Stress leiden, wenn sie von mehreren Leuten beobachtet werden. Die Aufzeichnung auf Video wird hingegen als weniger störend empfunden.
1.8 Testlauf durchführen
Um sicherzustellen, dass während des eigentlichen Tests nichts schief läuft, sollte davor ein Testlauf mit einer unbeteiligten Person durchgeführt werden. So kann festgestellt werden, ob der geplante zeitliche Rahmen eingehalten werden kann, das technische Setup funktioniert und die Instruktionen an die Testpersonen verständlich und widerspruchsfrei sind.
2. Durchführung
Das Ausführen einer Aufgabe unter Beobachtung kann zu Stress bei der Testperson führen. Um diesen Effekt zu entschärfen, empfiehlt es sich, eine geeignete Testatmosphäre zu schaffen. Es hilft, die Testperson genau darüber zu instruieren, was in den darauffolgenden 30-60 Minuten zu erwarten ist. So können mögliche Ängste abgebaut werden.
Um Wertschätzung zum Ausdruck zu bringen und um zu verhindern, dass ein allzu steifes Testklima entsteht, wird empfohlen, den Testpersonen Getränke und Snacks anzubieten.
2.1 Einführung (WarmUp)
Zu Beginn des Tests sollte der Testperson eine kurze Einführung gegeben werden. Besonders wichtig dabei ist die Information, dass nicht die Testperson getestet wird, sondern die Webseite / App. Aber auch der Hinweis, dass ihr Feedback unmittelbar dem Projektteam hilft, das Produkt zu verbessern und sie damit einen wichtigen Beitrag bei der Optimierung des Produktes leistet.
Der Testperson sollte zugesichert werden, dass die Ergebnisse anonymisiert weiterverwendet werden. Wenn der Test in Form von Audio und Video aufgezeichnet werden soll, muss zuvor das Einverständnis der Testperson eingeholt werden. Falls notwendig, kann an dieser Stelle eine Geheimhaltungserklärung von der Testperson unterzeichnet werden, um die Weitergabe von heiklen Informationen zu verhindern.
Wichtig: Die Testperson muss gebeten werden, während des Tests laut zu denken. Dies hilft den Beteiligten nachzuvollziehen, was im Kopf (Mentales Modell) der Testperson vorgeht. Falls eine Testperson wieder verstummt, muss die Person erneut darauf hingewiesen werden, indem man sie fragt, was sie gerade denkt.
2.2 Während des Tests (Main)
Der Testleiter sollte möglichst zurückhaltend mit Anmerkungen oder Hilfestellungen sein. Die Testperson soll Schwierigkeiten möglichst selbständig überwinden. Es sollte nur eingegriffen werden, wenn die Testaufgabe sonst nicht weiter ausgeführt werden kann.
Falls der Test aufgezeichnet wird, ist es hilfreich, wenn die Beobachter sich die Zeitangabe für besonders interessante Stellen vermerken. Dies ermöglicht ein schnelleres Vorankommen bei der späteren Analyse der Tests. Es ist davon abzuraten, die Testperson nach möglichen Lösungsansätzen oder Präferenzen zu fragen. Auch sollte während des Tests niemand, abgesehen von dem Moderator, Fragen an die Testperson stellen. Beobachter werden gebeten, bis zum Abschluss zu warten. Die vereinbarte Zeit sollte eingehalten werden. Für den seltenen Fall, dass eine Testperson komische Bemerkungen, schräge Ansichten oder irritierendes Verhalten aufweist, sollte das Lachen aus Respekt auf jeden Fall unterlassen werden.
2.3 Abschluss (CoolDown)
Der Abschluss ist besonders wertvoll, denn sobald der Druck des formellen Benutzertests weg ist und sich die Testperson entspannt, erhält man oft sehr gutes Feedback zum getesteten Produkt oder der Dienstleistung. Es ist daher ratsam, die letzten 20% eines Benutzertest für diesen Teil freizuhalten. So erhält neben dem Beobachter auch die Testperson genug Zeit um Fragen zu stellen. Eine Liste von möglichen Fragen ist im Abschnitt 1.4. aufgelistet. Sobald keine weiteren Fragen mehr im Raum stehen, kann der Test mit einem Dankeschön an die Testperson für die Zeit und die gewonnenen Erkenntnisse beendet werden.
3. Auswertung und Analyse
Die Auswertung der Daten sollte möglichst zeitnah nach der Durchführung stattfinden, ansonsten läuft man Gefahr, dass wichtige Details vergessen werden. Wenn möglich, sollten alle involvierten Experten (Moderator und Beobachter) ihre erste persönliche Einschätzung individuell und unabhängig voneinander schriftlich festhalten. Werden die Einschätzungen im Anschluss verglichen, entsteht über das Ganze eine neutralere Wertung. Auch ist die Wahrscheinlichkeit so geringer, dass ein Problem übersehen wird.
Unvollständigkeiten im Prototypen oder wenig realitätsgerechte Bedingungen können Usability Probleme verursachen, die unter realen Bedingungen und mit voller Funktionalität nicht auftreten würden. Sind die Bedingungen nicht realitätsnah, muss dies in der Auswertung berücksichtigt werden. Was diese zusätzlich erschwert, da wirkliche Benutzerprobleme von Problemen auf Grund der Bedingungen unterschieden werden müssen.
Grundsätzlich gilt:
Wird das zu Beginn festgelegte Ziel des Tests von der Mehrheit der getesteten Personen nicht erreicht, ist ein eindeutiges Usability Problem vorhanden. Wenn das Problem jedoch nur bei einer einzelnen Person aufgetreten ist, sollten keine voreiligen Schlüsse bezüglich eines vorhandenen Usability Problems gezogen werden.
3.1 Aufbereitung der Daten
Aufgrund der Videos, der Beobachtung und der Notizen, die während der Tests entstanden sind, können mögliche Usability Probleme aufgedeckt werden. Damit die gesammelten Daten besser ausgewertet werden können, hilft es, wenn man bei der Analyse so strukturiert wie möglich vorgeht.
Zum Beispiel in Form einer Tabelle, in welcher pro gefundenem Problem, folgende Punkte festgehalten werden:
- Betroffene Stelle – Hier sollte die Aufgabe und die genaue Stelle an der das Problem aufgetreten ist, kurz beschrieben werden. Ein Screenshot mit der Situation verdeutlicht das Problem und liefert den Kontext für spätere Diskussionen. Aufgabe 3, Shop Detailseite, Box: Ähnliche Artikel
- Problem – Das Problem soll möglichst nachvollziehbar beschrieben werden:
War verwirrt, wusste nicht, ob die Artikel zum gleichen Angebot gehören. - Ursache – Eine erste persönliche Einschätzung der Ursache:Box scheint sich zu wenig vom eigentlichen Artikel abzugrenzen.
- Anzahl betroffener Testpersonen – Für die Auswertung ist es hilfreich zu sehen, wer genau und wieviele der Testpersonen insgesamt, von dem Problem betroffen waren. Es ist ein beachtlicher Unterschied, ob nur eine Person oder alle Teilnehmer das Problem hatten. Entscheidend bei der Gewichtung des gefundenen Problems ist auch, ob die Person der Zielgruppe entspricht oder ein Teil der Kriterien nicht vollständig von dieser abgedeckt werden.Betroffene: 4 von 7, Testpersonen: 1,3,4 und 7
- Schweregrad – Mit Hilfe dieser Fünferskala kann festgelegt werden, wie schwerwiegend ein Problem ist. Dies sollte auf jeden Fall unabhängig von dem eingeschätzten Änderungsaufwand geschehen.0 = Ist kein Usability Problem
1 = Kosmetisches Problem
2 = Geringfügiges Usability Problem
3 = Bedeutendes Usability Problem
4 = Usability Desaster.
3.2 Priorisierung
Im Anschluss werden die Beurteilungen der einzelnen Experten miteinander verglichen und diskutiert. Die Daten werden konsolidiert, um daraus eine finale Priorisierung ableiten zu können.
Die Strukturierung und Priorisierung kann mit Hilfe der folgenden Faktoren erstellt werden:
- Kosten und Aufwand: wie aufwendig ist es, das Usability Problem zu beheben?
- Verbesserungsgrad: wie stark kann damit die Usability verbessert werden?
Kombiniert man Aufwand und Verbesserungsgrad, kann die Priorisierung vorgenommen werden.
Feature Priorisierung UX
Alles das, was zu einer grösseren Verbesserung von dem Produkt beitragen kann, hat grundsätzlich Priorität. Jedoch kann im Rahmen eines Projektbudgets nicht jedes einzelne Problem umgehend angegangen werden. Zusammen mit den Stakeholdern muss nun entscheiden werden, welche Verbesserungen mit welcher Priorität wahrgenommen werden.
4. Nächste Schritte
Damit sich der Aufwand solcher Benutzertests lohnt, müssen die gewonnenen Erkenntnisse zwingend in die Weiterentwicklung einfliessen. Basierend auf den gefundenen Usability Problemen und deren Prioritäten wird somit die nächste Iteration geplant.
Um zu verhindern, dass wertvolle Design- und Entwicklungszeit auf Grund von falschen Annahmen verloren geht, machen Design Iterationen im Rahmen von 2 bis 4 Wochen Sinn. Im Allgemeinen gilt, je früher Probleme aufgedeckt und behoben werden können, desto weniger unschöne Kompromisse müssen am Ende eines Projektes eingegangen werden. Dies ist nicht nur kosteneffizient, sondern führt letztlich zu einer grösseren Kundenzufriedenheit.
5. Zusammenfassung
Vorbereitung
- Testaufgaben im Testskript mit einer Hypothese und einem Ziel ergänzen.
- Mit Hilfe eines Szenarios den Kontext des Tests für die Testperson erläutern.
- Nur Personen rekrutieren, die zum Zielpublikum des Produktes oder der Dienstleistung gehören.
- Gesunder Mix aus Alter und Geschlecht.
- 5-7 Testpersonen pro Test sind ausreichend.
- Genügend Pause zwischen den einzelnen Tests einplanen.
- Zeit, Ort und Kontaktinformationen sind den Testpersonen verständlich zu kommunizieren.
- Angenehme Testatmosphäre schaffen.
- Unvoreingenommenen Moderator wählen.
- Mindestens einen Beobachter hinzuziehen.
- Zuschauer sollten sich nicht im selben Raum befinden.
- Testlauf durchführen.
Durchführung
- Kurze Einführung zum Test geben.
- Hinweis: Der Prototyp und nicht die Testperson wird getestet.
- Einverständnis einholen und wenn nötig Geheimhaltungserklärung unterzeichnen.
- Zum lauten Denken auffordern.
- Nur eingreifen, wenn die Testaufgabe sonst nicht weiter ausgeführt werden kann.
- Keine suggestiven Fragen stellen.
- Niemals die Testperson nach Lösungen oder Präferenzen fragen.
- Die vereinbarte Zeit einhalten.
- Nicht über die Testperson lachen.
- Nur der Moderator und die Testperson sprechen während des Tests. Beobachter müssen mit Fragen bis zum Ende warten.
- Genügend Zeit für den Abschluss einplanen.
- Der Testperson und dem Beobachter genügend Zeit für Fragen geben.
- Sich bei der Testperson bedanken und gegebenenfalls die Teilnahmeprämie übergeben.
Analyse und weitere Schritte
- Nicht zu lange mit der Auswertung warten.
- Keine voreiligen Schlüsse auf Grund einer einzelnen Aussage ziehen.
- Die neu gewonnen Erkenntnisse in die Weiterentwicklung einfliessen lassen.
- Regelmässig Testen.
Falls du bevorzugst, diese Anleitung in PDF Form zu lesen oder auszudrucken, haben wir hier für dich den passenden Download:
Dieser Artikel wurde von Reto Lämmler in Kooperation mit Co-Autorin Rahel Vils geschrieben.
