Probleme bei Nutzertests sind normal. Davon solltest du dich während des Tests nicht verunsichern lassen. Je häufiger du mit solchen Probanden zu tun hast, desto einfacher wird es dir fallen mit solchen Situationen umzugehen. Für den Anfang helfen dir die 9 Grundregeln für solides User Testing. Damit du nicht alles selbst einmal erlebt haben musst, findest du im Folgenden einige Tipps dazu, was du tun kannst, um die jeweilige Situation zu retten.
Problematisch sind nicht die Menschen
Im Folgenden schreibe ich von „problematischen Probanden“. Wichtig ist mir dabei, dass dir immer klar ist, dass ich nicht den Menschen problematisch finde, der bei mir im Usability Test sitzt. Problematisch ist nur, dass diese Person jetzt hier bei mir als Proband ist und für diese Aufgabe vielleicht einfach nicht der richtige ist. Oder er hat einfach einen schlechten Tag – das kennen wir alle.
Deine erste Aufgabe als Moderator von Nutzertests besteht immer darin, das psychische und physische Wohl der Probanden sicherzustellen. Alles Weitere, deine Fragestellung, deine Auftraggeber und deine Kollegen kommen erst danach. Und das gilt selbstverständlich auch dann, wenn du dich über einen Probanden ärgerst.
Die häufigsten Typen problematischer Probanden
Folgende Typen von problematischen Probanden wirst du im Laufe der Jahre vermutlich alle einmal im Use-Lab sitzen haben:
- Probanden, die sich nicht aufzeichnen lassen wollen
- Probanden mit massiven Problemen beim Bearbeiten von Standard-Aufgaben
- Probanden, die nicht scrollen
- Probanden, die nicht laut denken
- Probanden, die ihre Meinung äußern, anstatt die Aufgabe zu bearbeiten
- Probanden, die durch die Aufgaben rasen
- Probanden, die vermeintlich offensichtliche Elemente nicht finden
Tipps zum Umgang mit schwierigen Situationen
Allgemeine Tipps für jedes Problem
Wichtig ist immer, dass du ein Pokerface bewahrst. Der Proband sollte möglichst nicht merken, dass du die Situation als schwierig empfindest. Sieh dir einmal eine Aufzeichnung an, auf der du selbst zu sehen bist. Ist deine Miene wirklich so neutral, wie du denkst?
Im Beitrag 3 Moderationstechniken für Profis findest du noch mehr Tipps, wie du deine Moderationsfähigkeiten verbessern kannst.
Mit dem folgendem bewährten Trick lässt sich die Situation ganz einfach entspannen: Mach einfach eine Pause und verlasse den Raum. So hat der Proband die Gelegenheit, sich zu entspannen. Und du hast die Gelegenheit, durchzuatmen, nachzudenken, die Situation mit den Beobachtern zu diskutieren oder sogar einen Kollegen um Rat zu fragen.
Dem Probanden brauchst du den Grund für die Pause nicht auf die Nase zu binden. Ich meine, es ist ethisch vertretbar und auch im Sinne des Probanden, zu einer Notlüge zu greifen. Es bieten sich an:
- „Meine Aufzeichnung funktioniert nicht, wie sie soll. Ich muss kurz in den Nebenraum, um nachzusehen, was das Problem ist.“
- „Ich habe vergessen, die letzte Seite meiner Fragen auszudrucken. Ich bin in 5 Minuten wieder zurück!“
Denke auch daran, dass Probanden eine Änderung in deinem Verhalten bemerken: Schreibst du z. B. nicht mit während des Tests, fängst dann aber plötzlich damit an, fällt das auf. Insbesondere, wenn der Proband gerade Probleme hat, kann ihn das irritieren. Dein Pokerface musst du also auch mit Verhalten und Körpersprache wahren.
1) Probanden, die sich nicht aufzeichnen lassen wollen
Die meisten Kollegen zeichnen ihre Nutzertests auf Video auf (zu den Vorteilen siehe Blogbeitrag „Usability-Tests aufzeichnen & auswerten“). Vielen Menschen ist es unangenehm, wenn sie auf Video aufgenommen werden. Daher ist es ganz entscheidend, dass du bereits bei der Rekrutierung darauf hinweist, dass die Probanden aufgezeichnet werden.
Und doch kann es vorkommen, dass du einem Probanden zum Start deiner Sitzung erzählst, dass er aufgenommen wird und er jetzt die Einverständniserklärung unterschreiben soll – und er dann sagt, dass er das nicht tun wird.
Passiert dir das, musst du dein psychologisches Geschick bemühen. Fast immer wird es dir gelingen, die Testperson umzustimmen, wenn du ihr erklärst, was mit ihrer Aufnahme passiert:
- dass das Video natürlich nicht bei YouTube eingestellt wird
- dass lediglich du, deine Kollegen und eventuell dein Auftraggeber es sehen werden
- dass es gelöscht wird, sobald die Studie abgeschlossen ist
- und dass dir persönlich die Aufnahme die Arbeit sehr erleichtert, weil du sie später noch einmal ansehen kannst, wenn der Proband schneller war, als du gucken konntest
Sollte das alles nichts helfen, kannst du anbieten, die Aufnahme der Webcam auszuschalten und nur ein Screen-Recording mit Audio zu machen. Lässt sich der Proband nicht einmal darauf ein, hast du nur noch die Optionen, ihn nach Hause zu schicken oder auf die Aufnahme zu verzichten.
Und du musst beim nächsten Mal beim Recruiting noch besser darauf achten, klar zu kommunizieren, dass deine Probanden aufgezeichnet werden.
2) Probanden mit massiven Problemen beim Bearbeiten von Standard-Aufgaben
Auch der nächste Punkt hängt eng mit dem Recruiting zusammen: Gelegentlich kommt es vor, dass du einen Probanden im Test sitzen hast, der sich schwer damit tut, Standard-Aufgaben zu lösen:
- auf üblichen Einkauf-Sites die Suchfunktion oder die Navigation nicht bedienen kann
- den Warenkorb nicht findet
- oder einen Standard-Checkout-Prozess nicht durchführen kann
Das solltest du dir eine Weile ansehen. Vielleicht ist der Proband ja nur nervös und kommt in den Fluss, nachdem er eine Weile gearbeitet hat.
Bleiben die Probleme bestehen, solltest du prüfen, ob das Problem vielleicht woanders begründet liegt. Vielleicht hat der Proband nur seine Brille vergessen und sieht die Elemente auf dem Bildschirm nicht gut. Oder er fühlt sich auf dem Stuhl unwohl. Oder der Tisch ist zu niedrig/zu hoch. Oder er arbeitet z. B. üblicherweise nur unter Windows und du testest auf dem Mac.
Du kannst vorsichtig nachfragen – aber möglichst so, dass der Proband nicht das Gefühl hat, dass er etwas falsch macht oder deinen Erwartungen nicht entspricht.
Du solltest auch nochmal prüfen, ob der Proband wirklich den Auswahlkriterien entspricht, die du bei der Rekrutierung angegeben hast. Ist dies der Fall, kann es sein, dass du die Expertise deiner Zielgruppe überschätzt hast.
In fast jedem Fall ist es sinnvoll, die Zeit mit dem Probanden zu nutzen, um etwas über das Nutzerverhalten zu lernen. Sprich mit dem Probanden unbeschwert darüber, wie es ihm beim Bearbeiten der Aufgaben ergeht. Gib ihm nicht das Gefühl, dass er problematisch ist. Stelle ihm zur Not leichtere Aufgaben. Und lass ihn eventuell einfach erzählen, welche Probleme er sonst mit Websites/Geräten hat.
3) Probanden, die nicht scrollen
Etwas ungewöhnlicher ist die folgende Situation, der ich neulich begegnet bin: Ich hatte eine Standard-Website im Test auf einem Desktop-Rechner geöffnet. Rekrutiert hatte ich Probanden, die der breiten Bevölkerung entsprechen sollten. Eine Probandin um die 60 klickte sich durch die Site, bediente Suche und Menü problemlos, auch wenn sie mit der Maus etwas langsam war. Erst nach etlichen Minuten, bei der dritten Aufgabe, fiel mir auf, dass sie überhaupt nicht scrollte. Nicht nur wenig, wie viele Nutzer, sondern einfach gar nicht. Ich überlegte noch eine Weile, ob ich sie darauf ansprechen sollte.
Schließlich tat ich es, als sie Probleme hatte, eine Aufgabe abzuschließen, bei der sie einen Button hätte klicken müssen, der sich außerhalb des sichtbaren Bereichs auf der Seite befand.
Es stellte sich heraus: Die Probandin war frühpensioniert und hatte seit Jahren nicht mehr am Computer gesessen. Sie machte alles nur auf dem iPad und war nur noch das Wischen gewöhnt. Als ich sie auf die Möglichkeit zum Scrollen ansprach, sagte sie: „Ach, stimmt, da war doch was, da konnte man mit der Maus die Seite nach unten schieben!“
So etwas ist eher selten, aber die Erfahrung zeigt: Du wirst immer wieder in Situationen geraten, die du nicht erwartet hast. Sieh dir die Probanden eine Weile an und sprich sie dann vorsichtig an.
4) Probanden, die nicht laut denken
Sehr häufig kommt dagegen die Situation vor, dass Probanden nicht laut denken. Dies bedeutet, dass sie nur stumm auf den Bildschirm schauen und die Aufgaben bearbeiten, ohne etwas von sich zu geben.
Natürlich erklärst du den Probanden zu Beginn des Tests, dass sie laut denken sollen, und du machst es ihnen auch selbst vor. Verstanden haben sie es also. Aber sie vergessen es immer wieder.
Erinnere sie einfach immer wieder vorsichtig daran. Je weniger Worte du dabei benutzt, desto besser. Ich verwende gern folgende Formulierungen:
- „Sie lesen gerade …“
- „Sie schauen die Seite an …“
- „Sie verschaffen sich einen Überblick …“
- „Sie suchen nach …“
Dabei stehen die drei Punkte für einen unvollendeten Satz. Das heißt, ich gehe mit der Tonalität meiner Stimme nicht hoch wie bei einer Frage. Denn ich möchte ja nicht, dass der Proband einfach nur mit „ja“ antwortet. Ich will, dass er meinen Satz vervollständigt und mir verrät, was er macht und denkt.
5) Probanden, die kommentieren, anstatt Aufgaben zu bearbeiten
Das Gegenstück zu den schweigsamen Probanden sind die redefreudigen. Das ist wunderbar, sofern sie beim Untersuchungsgegenstand und bei der aktuellen Aufgabe bleiben. Nicht aber, wenn sie entweder von anderen Websites, Tests oder Erlebnissen berichten.
Wenn die Probanden etwas sagen wie „das Hamburger-Menü ist ja aus Usability-Sicht problematisch, und die Off-Canvas-Navigation hier ist nicht erwartungskonform“, dann wird es schwierig. Du weißt dann, dass du entweder einen UX-Kollegen oder einen professionellen Tester im Use-Lab hast. Wenn diese Gruppe zu deiner Zielgruppe passt, musst du den Probanden nur darum bitten, bei der Aufgabe zu bleiben, und ihn darauf hinweisen, dass du seine hilfreichen Kommentare zu Funktionen, Farben und Usability sehr gerne nach Abschluss der Aufgaben erfasst.
Gehören Experten aber nicht zu deiner Zielgruppe, dann kannst du die Sitzung auch vorzeitig abbrechen. Mache aber am besten technische Probleme dafür verantwortlich und überdenke deine Rekrutierung, damit du in Zukunft keine unpassenden Probanden mehr ins Use-Lab einlädst.
Jetzt noch zu den Probanden, die zwar passen, aber dennoch zu viel erzählen, was nicht zu den Aufgaben gehört:
Die meisten bringst du am besten dazu, sich zu konzentrieren, indem du ihnen durch subtile Signale zu verstehen gibst, dass du gern weitermachen würdest. Du kannst direkt sagen: „Ja, wunderbar, und Sie würden nun was tun, um die Aufgabe weiter zu bearbeiten?“
Oder du nickst nur und schaust in dein Skript oder in deine Aufzeichnungen. Du kannst mit deinem Stuhl auch ein bisschen zurückrutschen und/oder dich etwas wegdrehen vom Probanden. Das interpretieren praktisch alle Menschen als Zeichen von geringerem Interesse – und machen dann hoffentlich mit ihrer Aufgabe weiter.
6) Probanden, die durch die Aufgaben rasen
Gelegentlich passiert es, dass Probanden schneller sind, als du gucken kannst. Dann ist es natürlich Gold wert, eine Aufzeichnung zu haben. Denn du solltest es möglichst vermeiden, Probanden zu bremsen.
Du verfälschst die Ergebnisse, wenn du das tust, denn dann arbeitet der Proband dir zuliebe langsamer und nicht in seiner natürlichen Geschwindigkeit. Dabei fällt ihm vielleicht etwas auf, was er im Normalfall übersehen hätte. In solch einem Fall bleiben mögliche Usability-Probleme für ihn daher eventuell unerkannt.
Nur, wenn du das Gefühl hast, dass der Proband aus Nervosität hektisch ist oder dass er dir zuliebe schnell sein möchte, solltest du eingreifen. Dann kannst du vorsichtig fragen, ob er im Normalfall genauso arbeitet wie jetzt. Sprich am besten nicht an, dass dir sein Tempo sehr schnell vorkommt, sondern stelle deine Frage so neutral wie möglich.
Um solch einen Probanden zu beruhigen, kannst du ihm auch sagen, dass ihr gut vorankommt, und z. B. am Ende der nächsten Aufgabe ein wenig mit ihm über seine Erfahrungen mit anderen Websites plaudern. So bekommt er das Gefühl, dass kein Zeitdruck herrscht.
7) Probanden, die vermeintlich offensichtliche Elemente nicht finden
Was dir sicher auch immer wieder mal unterkommt, sind Probanden, die ganz offensichtliche Elemente nicht sehen. Auch hier gilt: Lass‘ die Leute erstmal machen.
Nur wenn sich das Muster wiederholt, ist ein Eingreifen von deiner Seite nötig. Und auch da hat es sich bewährt, sehr vorsichtig zu sein.
Eine Möglichkeit besteht darin, erst nach Abschluss aller Aufgaben die Seiten nochmal zu öffnen und nachzufragen, aus welchem Grund der Proband hier das relevante Element nicht genutzt hat bzw. wieso er derart lange gezögert hat, es zu nutzen.
Du kannst dich aber auch entscheiden, schon während des Tests nachzufragen. Allerdings musst du dir der Einflussnahme bewusst sein. Und du musst sehr vorsichtig formulieren, damit du dem Probanden nicht das Gefühl gibst, dass er einen Fehler gemacht hat.
Im Zweifel also lieber erst am Ende fragen.
Fazit: Sorge für deine Probanden und nimm möglichst wenig Einfluss
Gehe immer ganz überlegt vor. Handle nie im Affekt, sondern atme gerade bei unangenehmen oder überraschenden Situationen erstmal tief durch. Zähle bis 10 und entscheide, ob du wirklich eingreifen musst.
Überlege dir, ob du nicht vielleicht gerade eine besonders wichtige Beobachtung machst und ein bisher unerwartetes Problem siehst. Und prüfe, ob du mit einem Eingriff
- die Beobachtung nicht verfälscht
- den Probanden nicht verunsicherst
- die Situation nicht zusätzlich verkomplizierst
Versetze dich in deinen Probanden hinein. Warum handelt er so, wie er es gerade tut?
Sorge immer dafür, dass du deine Probanden nicht vor den Kopf stößt, und schütze sie davor, sich vor anderen (Kollegen, Beobachtern) oder auch vor sich selbst schlecht fühlen.
Wenn du das berücksichtigst, kannst du auch aus den schwierigsten Situationen noch wertvolle Erkenntnisse ziehen. Und du hast am Ende wieder eine gute Geschichte mehr, die du mit Kollegen teilen kannst.
Möchtest du noch einige Tipps für bessere Tests erhalten? Dann empfehle ich dir die 9 Grundregeln für solides User Testing. Hast du schon etwas mehr Erfahrung, dann helfen dir die 5 goldenen Regeln für fortgeschrittenes User Testing sicher weiter.
Und wenn du wissen möchtest, wie du auch aus Standardsituationen im Use-Lab die besten Ergebnisse herausholst, dann ist der Beitrag 3 Moderationstechniken für Profis sicher etwas für dich. Wie immer gilt aber: Einfach mal ausprobieren, dann lernst du am meisten.
Du suchst Teilnehmer für deine User-Tests? Dann klicke hier.
