Inhaltsverzeichnis

1. Warum ist Motivation wichtig?
2. Welche Motivationsarten gibt es?
3. Motivationsschub vor dem Test
4. Motivationsschub während des Tests
5. Motivationsschub nach dem Test

Für uns als UX-Researcher ist es immer wieder eine Herausforderung, ausreichend geeignete Testpersonen zu akquirieren. Die Stichprobe soll meist aus Personen mit ganz bestimmten Eigenschaften bestehen, die jedoch nicht immer so leicht zu finden sind. Und nicht nur das: Die Testpersonen sollten am besten von sich aus hochmotiviert sein, teilzunehmen.

Das sichert uns einerseits die vielen Daten und Informationen, die wir so dringend benötigen. Andererseits verbessert sich auch die Datenqualität. Denn motivierte Testpersonen geben intensivere Einblicke in die Thematik, sind gewissenhaft und führen Befragungen bis zum Ende durch.

Was können wir also tun, um Testpersonen während der Durchführung bestmöglich zu motivieren? Welche Möglichkeiten haben wir, um sie überhaupt zur Teilnahme zu bewegen? Und wie schaffen wir es, dass sie auch wiederholt teilnehmen?

Diese Fragen lassen erkennen, dass ein Research-Projekt aus verschiedenen Phasen besteht: vor, während und nach dem Test. Und in jeder Phase ist es wichtig, die verschiedenen Möglichkeiten zur Motivationssteigerung auszuschöpfen.

Dabei fällt unser Blick auf die Testpersonen selbst, aber auch auf die Person, die den Versuch leitet bzw. das Interview führt und deren Verhalten. Wichtig ist ausserdem, die richtigen Methoden zu verwenden sowie den Rahmen der Test- bzw. Interviewsituation angemessen zu gestalten.

1. Warum ist Motivation wichtig?

Motivierte Testpersonen sind das A und O eines erfolgreichen Research-Projekts. Dabei ist die erste motivationale Hürde, überhaupt teilzunehmen. Und hier kann die Motivation bei verschiedenen Gruppen unterschiedlich stark ausgeprägt sein.

Als UX-Researcher sollte unser Ziel sein, potenzielle Testpersonen aller relevanten Gruppen zu motivieren, an der Studie teilzunehmen. Denn nehmen nur bestimmte Gruppen teil, erhalten wir eine Stichprobenzusammensetzung, die Probleme bei der Interpretation der Ergebnisse bereiten kann. Der Grund hierfür liegt in der Schweigeverzerrung, auch «non-response bias» oder «participation bias» genannt.

Stellen wir uns folgende Situation vor: Mit einem Fragebogen wollen wir die Arbeitsbelastung von Angestellten messen. Diejenigen Angestellten, die einer geringen Belastung ausgesetzt sind, haben genügend Zeit, um an der Umfrage teilzunehmen. Diejenigen hingegen, die unter hoher Belastung arbeiten, nicht. Die Folge: Der am Ende gemessene Arbeitsbelastungswert ist niedrig, was nicht die Realität widerspiegelt.

Genauso ist es auch mit der Motivation. Nehmen ausschliesslich Interessierte an einer Umfrage teil, fehlt es an Antworten anderer Personengruppen. Folglich können wir keine wirklich aussagekräftigen Ergebnisse erlangen.

Im Bereich des Usability-Testings zählen zu diesen Gruppen bspw. Menschen mit geringer Technikaffinität und wenig Erfahrung mit neuen technischen Produkten. Aber gerade, wenn wir die breite Masse ansprechen wollen, ist es sehr wichtig, solche User mit ins Boot zu holen.

2. Welche Motivationsarten gibt es?

Warum sich jemand dafür interessiert, an Umfragen, Interviews oder Usability-Tests teilzunehmen, kann sehr vielfältige Gründe haben. Zudem kann der Impuls zur Teilnahme vorwiegend durch intrinsische oder extrinsische Faktoren ausgelöst werden. Diese beiden Motivationsgrundlagen wollen wir nun beleuchten.

Intrinsische Motivation

«Intrinsisch» entstammt dem lateinischen intrinsecus, was «innerlich» bedeutet. Personen, die intrinsisch motiviert sind, sind also aus sich selbst heraus motiviert. Die Aufgabe selbst ist der Anreiz, sie bereitet der Person Spass und Freude. Etwa weil die Person ein besonderes Interesse am Lösen der Aufgabe hat oder weil sie das Thema persönlich betrifft. Intrinsisch motivierte Personen haben persönliche Standards und Massstäbe verinnerlicht, nach denen sie handeln. Sie verfügen über eine Idealvorstellung, die sie zum Handeln bewegt.

Extrinsische Motivation

«Extrinsisch» entstammt dem lateinischen extrinsecus, was «von aussen» bedeutet. Die extrinsische Motivation beschreibt externe Faktoren, die eine Person zu einer Handlung motivieren. Das können konkrete Vorteile oder Belohnungen sein, wie etwa Incentives. Extrinsisch motivierte Personen können aber auch nach Anerkennung von aussen streben, z.B. bezüglich ihrer Eigenschaften, Kompetenzen und Werte. Das Erfüllen bestimmter Rollenerwartungen sowie der Erhalt von Akzeptanz und Status in einer Gruppe geben dabei den Antrieb für bestimmte Handlungen.

Für uns als UX-Researcher bedeutet das, dass wir die Motivation der Testpersonen sowohl über interne als auch über externe Faktoren steigern können. Darum wollen wir jetzt verschiedene Stellschrauben betrachten, die uns in den verschiedenen Phasen eines Research-Projekts zur Verfügung stehen.

3. Motivationsschub vor dem Test

Bereits in der Vorbereitung einer Studie legen wir den Grundstein für eine hohe Motivation. Hierzu setzen wir unser Wissen über die Mechanismen zur Erhöhung von intrinsischer und extrinsischer Motivation ein.

Intrinsische Motivation stärken

Die intrinsische Motivation lässt sich über verschiedene Wege stärken. Die wichtigsten Mittel sind:

  • Transparent rekrutieren und Vertrauen schaffen

Es ist wichtig, vom ersten Moment der Rekrutierung an transparent vorzugehen. Der Aufruf sollte Auftraggeber, Ziel und Zweck der Studie nennen und den zeitlichen Ablauf grob skizzieren. Die möglichst persönliche Ansprache potenzieller Testpersonen mit korrekter Anrede ist ebenfalls unverzichtbar. Die Reputation der durchführenden Organisation sollte ggf. auch vorkommen. Zum Abschluss sollte auch eine Ansprechperson für Nachfragen angegeben werden. Fun Fact: Der sogenannte Anita-Effekt besagt, dass sich Männer eher melden, wenn es sich bei der Ansprechperson um eine Frau handelt.

  • Beitrag zu Grösserem

Testpersonen bemühen sich eher, wenn sie das Gefühl bekommen, mit ihrer Arbeit zu etwas Grösserem beizutragen. Also müssen wir den Nutzen der Studie möglichst transparent und individuell kommunizieren. Wir müssen ebenfalls klarstellen, dass es beim Testing und der Beantwortung der Fragen kein Richtig oder Falsch gibt. Es geht darum, das Produkt zu testen und zu verbessern.

  • Testing-Etikette

Alle Testpersonen verdienen es, respektvoll behandelt zu werden. Sie sind weder anonym noch austauschbar, sondern wichtige, geschätzte Gäste. Heben wir den Wert jeder einzelnen Teilnahme entsprechend hervor, spüren die Testpersonen, dass ihre Meinung einen Impact hat. Dadurch steigt die Wahrscheinlichkeit, erstens, dass sie erscheinen und zweitens, dass sie sich Mühe geben.

  • NDAs, Audio- und Videomaterial

Hier gilt: keine Überraschungen am Testtag! Stattdessen kommunizieren wir alle Anforderungen bereits im Vorfeld der Studie. Zusätzlich erhalten alle Testpersonen genügend Zeit, um sämtliche Unterlagen in Ruhe durchzulesen. Niemand sollte sich gedrängt fühlen, vorschnell zu unterschreiben. Aufgepasst: Manche Menschen fühlen sich unwohl, wenn sie wissen, dass sie gefilmt werden – wodurch auch die Motivation beeinträchtigt werden kann. Hier hilft es, zu verdeutlichen, warum und wozu NDAs und eventuelle Audio- oder Videoaufzeichnungen notwendig sind.

Extrinsische Motivatoren nutzen

Incentives wie Geld oder Gutscheine sollten den Charakter der Aufwandsentschädigung haben.

Wir können auch die extrinsische Motivation der Testpersonen stark beeinflussen. Zum einen mit der Art und Weise, wie wir sie ansprechen. Zum anderen mit einer Gegenleistung für ihre Teilnahme. Schauen wir uns diese beiden Instrumente, die uns zur Verfügung stehen, im Detail an:

  • Positive Labels vergeben

Durch die Art und Weise, wie wir unsere Testpersonen ansprechen, können wir eine bestimmte Erwartungshaltung wecken. Ein Beispiel wäre hier die Rekrutierung. Wenn wir potenzielle Testpersonen wissen lassen, dass sie zu einer besonders zuverlässigen bzw. gewissenhaften Gruppe gehören, die mit sehr hoher Wahrscheinlichkeit teilnimmt, steigert dies die Antwortquote. Denn in der Regel möchten wir Menschen das Bild, das andere von uns haben, erfüllen. Dies aufgrund der «kognitiven Dissonanz»: Es passt einfach nicht, zu dieser Gruppe zu gehören und dennoch nicht an der Studie teilzunehmen.

  • Incentives

Incentives stärken das «Reziprozitätsprinzip»: Geben wir jemandem etwas, fühlt sich diese Person dazu verpflichtet, etwas zurückzugeben.

Hier ist das richtige Mass entscheidend: Incentives in Form von Geld, Sachpreisen oder Gutscheinen sollten nicht zu hoch ausfallen. Ansonsten besteht die Gefahr, dass Testpersonen nur deswegen teilnehmen – ohne jegliches Interesse an den Studieninhalten. Sind Incentives andererseits zu niedrig angesetzt, stellen sie keine ausreichende Wertschätzung der Bemühungen dar. Damit besteht auch kein Anreiz, sich zu engagieren.

Ein Incentive sollte also den Charakter der Aufwandsentschädigung haben. Wir wollen damit die Leistung unserer Testpersonen anerkennen. Das grosse Geld können sie aber nicht verdienen.
Schliesslich können Incentives helfen, spezielle Zielgruppen zu erreichen. Die Höhe der Incentivierung sollte dabei jeweils im Verhältnis zu Studien- sowie Personeneigenschaften stehen:

  • Persönliche Interviews oder In-Home-Studien sind teurer als Remote-Studien über den Computer oder das Telefon.
  • Je höher die zeitliche Verpflichtung einer Testperson, desto höher sollte auch das Incentive ausfallen.
  • Menschen, die gut verdienen, erwarten in der Regel höhere Incentives als solche mit niedrigem Einkommen. Ganz besonders wenn ihre fachliche Expertise gefragt ist.

Fazit:

Incentives sind unverzichtbar. Allein schon um den Aufwand der Testperson abzugelten. Diese Entschädigung sollte die Eigenschaften und Interessen der Testperson berücksichtigen und eventuell auch einen intrinsischen Anreiz in sich bergen. Bspw. kann ein monetärer Ausgleich auch über eine feste Summe geschehen, die gespendet wird und so in gemeinnützige Zwecke fliesst. Incentives helfen ferner, den non-response bias zu reduzieren, indem sie weniger Motivierte zur Teilnahme bewegen. Allerdings gilt wie so oft: Geld ist nicht alles. Höflichkeit und Gastfreundschaft sind genauso wichtig für einen gelungenen Test.

Panel-Auswahl, Stichprobengenerierung, Vorbereitung und Organisation

Im Vorfeld eines Tests müssen wir Vieles organisieren. Ein klarer Ablaufplan, der Puffer für kurzfristige Änderungen enthält, hilft unter anderem dabei, den Überblick zu behalten. Einige weitere organisatorische Faktoren, die sich besonders stark auf die Motivation auswirken, sind:

  • Die richtige Unterstützung beim Rekrutieren

Bei der Zusammenarbeit mit externen Partnern sollte auf die Qualitätsstandards des jeweiligen Panel-Betreibers geachtet werden. Einige haben ein sehr rigides Qualitätsmanagement innerhalb ihres Probandenpools, was selbstverständlich mit zusätzlichen Kosten verbunden ist. Folglich ist das günstigste nicht zwingend das beste Angebot. Bspw. müssen wir uns darüber informieren, welche Anreize ein Panel-Betreiber einsetzt, um Testpersonen zu wahrheitsgemässen Angaben zu motivieren. Denn eine faire Incentivierung ist ein wichtiges Kriterium. Weitere Entscheidungskriterien finden sich im Leitfaden zur Suche und Auswahl einer Testpersonen-Rekrutierungsagentur.

  • Organisation

Die Organisation eines Research-Projekts besteht aus zig Kleinigkeiten, die in der Summe die Teilnahmebereitschaft ganz erheblich beeinflussen können. Und bei jedem Projekt wird ein anderes Detail wichtig. Deshalb haben wir hier noch einmal die wesentlichen organisatorischen Punkte für einen reibungslosen Ablauf mit entspannten Testpersonen aufgelistet:

  • Die wichtigsten Rahmenbedingungen sind der geplante Ort, das Datum und die Tageszeit. Idealerweise ist der Ort gut erreichbar, das Datum ausserhalb der Ferienzeiten und die Tageszeit ausserhalb der regulären Arbeitszeiten der Testpersonen.
  • Tägliche Slots brauchen genügend Pufferzeiten für eventuelle Verspätungen vonseiten der Testpersonen.
  • UX-Testings und -Interviews können für die Testpersonen sehr anstrengend sein. Darum müssen sie die Möglichkeit haben, bei Bedarf eine Pause einzulegen. Dies beugt Müdigkeit vor und erhält Motivation und Konzentration aufrecht. Der UX-Researcher sollte die Testpersonen vor Beginn auf diese Möglichkeit hinweisen und diesen Hinweis jeweils wiederholen, sobald die Konzentration nachzulassen scheint.
  • Es ist wichtig, zu überprüfen, ob die Testpersoneneinladung mit dem geplanten Vorgehen übereinstimmt. Wenn nicht müssen die Testpersonen über die Änderungen informiert werden. Es vermittelt Seriosität, wenn die Erwartungen der Testpersonen bedient und sie rechtzeitig informiert werden.
  • Die Versuchsumgebung ist besonders wichtig. Wir empfehlen, hierfür einen ruhigen Raum zu reservieren. Den Testpersonen sollten Getränke und, bei längeren Tests, eine Kleinigkeit zu essen zur Verfügung stehen.
  • Das notwendige Equipment muss bereitstehen. Hierzu gehören nebst den Geräten bspw. auch Desinfektionsmittel für Helmkameras und ähnliche Hilfsmittel.
  • Bei Tests im Freien müssen wir uns auf Witterungseinflüsse vorbereiten und einen Unterstand sowie ausreichend Getränke anbieten.

  • Kontakt kurz vor Studienbeginn

Die letzte Kommunikation vor Studienbeginn ist besonders wichtig. Einige Tage vor dem Test sollten die Testpersonen eine Terminerinnerung bzw. einen E-Mail-Reminder erhalten, der alle nötigen Informationen nochmals zusammenfasst:

  • Ort und Anfahrtsweg
  • Uhrzeit und Datum
  • Ziel und Zweck der Studie
  • sonstige Dinge, die Testpersonen im Vorfeld beachten und/oder mitbringen sollten

Diese Erinnerung erhöht die Teilnahmewahrscheinlichkeit deutlich.

4. Motivationsschub während des Tests

Die Fragen stehen, alle Testpersonen sind eingeladen und die Kekse liegen bereit? Dann kann die entscheidende Phase losgehen. Nun kommt es vor allem darauf an, die Testpersonen dazu zu motivieren, den Test, die Umfrage oder das Interview bis zum Ende durchzuführen. Und das gelingt über die richtige Situationsgestaltung sowie durch die Verwendung passender Methoden. Generell müssen wir Merkmale wie bspw. Aufmerksamkeitsspanne, Antworttendenzen und Stimmungen der Testpersonen berücksichtigen. Darum wollen wir diesen Eigenschaften jetzt ein besonderes Augenmerk schenken.

Eigenschaften der Testpersonen

  • Eigenschaften und demografische Merkmale

Jeder Mensch bringt diverse Eigenschaften mit, die seine Motivation auf unterschiedlichen Ebenen beeinflussen. Das hat Auswirkungen auf die Test- bzw. Interviewgestaltung für verschiedene Personengruppen. Ein Beispiel ist hier das Alter von Testpersonen: Jüngere Menschen haben weniger Berührungsängste mit Technik. Meist sind sie sehr Technikerfahren und -affin. Da die Hemmschwelle, ein Produkt selbst auszuprobieren, niedrig ist, werden sie im Test selbstbewusster wirken und auftretende Probleme eher auf eine schlechte Bedienbarkeit zurückführen. Ältere Personen wiederum brauchen eine gute Einweisung und orientieren sich oft stark am UX-Researcher, wenn sie Angst haben, etwas falsch zu machen.

  • Aufmerksamkeit

Selbstverständlich sollte die Testsituation oder das Interview so gestaltet sein, dass eine Testperson nicht von der eigentlichen Aufgabe abgelenkt wird. Auch darf die Aufmerksamkeit einer Testperson nicht überstrapaziert werden! Eine Stunde Interviewzeit ist hier ein guter Richtwert. Aber: Die Aufmerksamkeitsspanne nimmt im Alter ab.

  • Mental Workload

Nah mit der Aufmerksamkeit ist das Konzept des «Mental Workload» verbunden, unserer Kapazität an Informationsverarbeitungsprozessen. Aufgaben, die eine hohe Erinnerungs- oder Rechenleistung abverlangen, sind sehr anspruchsvoll. Dadurch kann sich die Testperson überfordert fühlen. Tritt zusätzlich Zeitdruck auf, führt dies zu Stress und sie kann sich schlecht konzentrieren. Die Folge? Fehler, die nicht auf die getestete Anwendung zurückzuführen sind. Deshalb:

  • Eins nach dem anderen. Komplexe Aufgaben, schnelle Aufgabenwechsel und das Lösen mehrerer Aufgaben gleichzeitig senken die Konzentrationsleistung.
  • Priorisieren wir Informationen und Aufgaben vorab. So können wir bei Änderungen des Zeitplans flexible Anpassungen vornehmen.
  • Achten wir auf eine ruhige Testumgebung, ohne Ablenkungen durch Störeinflüsse.

  • Vertrautheit mit der Testsituation

Erfahrene Testpersonen kennen den Ablauf von Testsituationen. Neben ihren bisherigen Erfahrungen haben auch die Erwartungen Einfluss darauf, wie sie mit einer Aufgabe umgehen: Wird die Erwartungshaltung gegenüber ihrer Leistung befriedigt, fühlen sie sich wohler und zufriedener. Und sie sind eher geneigt, ein weiteres Mal an einem Test teilzunehmen. Aber Achtung: Unterforderung ist ebenso demotivierend wie Überforderung. Treten Langeweile und Desinteresse ein, fehlt nämlich der Anreiz der Herausforderung.

  • Stimmungen

Jeder von uns hat mal einen schlechten Tag. Das gilt auch für unsere Testpersonen. Deshalb sind Stimmungsnotizen sehr wichtig. Schlechte Laune kann nämlich einen Einfluss auf die Leistung im Test haben und die Meinung zu bestimmten Fragen beeinflussen. Sollte eine Testperson allzu missgestimmt sein, kann es sogar ratsam sein, den Test freundlich abzubrechen. Alternativ können die Daten auch aus der Auswertung ausgeschlossen werden.

  • Soziale Erwünschtheit

Prinzipiell besteht bei jedem von uns der Wunsch, sich in Testsituationen und Umfragen gut darzustellen. Das heisst, wir richten unsere Antworten und unser Handeln danach aus, was in unserer Kultur als sozial erwünscht gilt. Darum fällt es vielen Menschen schwer, Kritik zu äussern. Als UX-Researcher wollen wir jedoch wissen, wo genau Schwierigkeiten bei der Lösung einer Aufgabe auftauchen. Darum müssen wir unseren Testpersonen eingehend vermitteln, dass nicht sie getestet werden, sondern das Produkt. So interessiert uns gerade ihre Meinung zu den Schwachstellen des Systems.

Einflüsse des UX-Researchers

UX-Researcher sollten stets freundlich sein und eine professionelle Distanz wahren.

Zur Interviewsituation gehören mehrere Parteien. Als UX-Researcher müssen wir uns bewusst sein, dass allein unsere Anwesenheit bereits einen Einfluss auf die Testperson darstellt. In dieser Situation treten wir der Testperson in einer bestimmten sozialen Rolle gegenüber. Das hat Einfluss auf unsere Art, Fragen zu stellen. Aber auch auf die Antworten der Testperson. Dabei spielen ganz unbeabsichtigt Erwartungen, Einstellungen und Vorerfahrungen der Testperson eine wichtige Rolle. Diese Faktoren wirken sich auf ihre Antworten und Reaktionen aus. Deshalb sind die Daten, die in dieser sozialen Situation erhoben wurden, nie völlig objektiv.

Stellen wir uns vor, eine attraktive Frau befragt einen jungen Mann zu seiner beruflichen Situation und seinen Einkommensverhältnissen. Welchen Einfluss wird die Frau unbewusst auf den Mann ausüben? Wie wird er sich ihr gegenüber verhalten? Mit grosser Sicherheit wird er seine Situation besser darstellen, als sie eigentlich ist. Im umgekehrten Fall kann ein unfreundlicher, strenger UX-Researcher eher abschreckend auf die Testperson wirken und negative Auswirkungen auf deren Motivation haben.

Was können wir als UX-Researcher dagegen tun? Wir müssen uns bewusst sein, dass wir keine 100-prozentige Objektivität erreichen können und dementsprechend kritisch mit unseren Ergebnissen umgehen. Ausserdem müssen wir versuchen, unterschiedlichen Testpersonen ähnlich gegenüberzutreten: freundlich, aber mit einer professionellen Distanz.

Je nach Interviewsituation und Fragestellung können verschiedene Motivationsgrundlagen die Oberhand gewinnen. Für sehr sensible Themen, bei denen wir grosse Verzerrungen im Antwortverhalten erwarten, lohnen sich darum unter Umständen eher anonyme Tools als Face-to-Face-Interviews.

Die Art der Erhebung

Die Interview-Fähigkeiten des UX-Researchers haben einen direkten Einfluss auf die Motivation der Testperson.

Jetzt wollen wir drei der beliebtesten Methoden im Research-Bereich noch einmal gesondert betrachten: Interviews, (Online-)Umfragen und Usability-Testings im Labor. Diese drei Methoden unterscheiden sich im Spannungsbogen und es gibt jeweils unterschiedliche Fallstricke für die Motivation der Testpersonen. Worauf müssen wir also bei der Gestaltung dieser verschiedenen Methoden achten?

1. Interviews

Interviews sind eine beliebte Methode, um qualitative Informationen zu erhalten, bspw. zu einem Produkt. Dabei wollen wir die Motivation der befragten Person wecken und aufrechterhalten. Bei der Konzeption des Gesprächsleitfadens kommt es deshalb sehr auf die Formulierung der Fragen sowie auf die Strukturierung des Ablaufs an. Wir beginnen mit einem leichten Einstieg ins Interview. Das stellt eine positive Einstellung der Testperson zum Interview her.

Interviewfragen richtig formulieren

Für Testpersonen erfordert die Interviewsituation hohe Konzentration. Damit sie sich voll und ganz auf die Inhalte ihrer Antworten fokussieren können, sollten die Fragen möglichst klar formuliert sein. Ausserdem ist wichtig, den Gesprächsfluss möglichst natürlich aufrechtzuerhalten. Hier helfen uns einige Tipps des Soziologen Jan Kruse:

  • Mehrfachfragen vermeiden
  • Alltagssprache verwenden (unser Wortschatz entspricht dem der Testperson)
  • Keine uneindeutigen oder missverständlichen Fragen
  • Möglichst wenige geschlossene bzw. «ja»/«nein»-Fragen (z.B. «War das Nutzererlebnis gut?»), die den Gesprächsfluss blockieren
  • Abwertende oder aggressiv klingende Fragen vermeiden
  • Keine Scham- und Schuldgefühle auslösen
  • Möglichst keine Erwartungen andeuten (z.B. «Sie wirkten ja sehr zufrieden, jetzt würden Sie also auch das Produkt kaufen?»)
  • Keine Deutungsangebote machen (z.B. «Wenn ich Sie richtig verstanden habe, sehen Sie das so, dass…»)
  • Nicht auf eine Klärung drängen (z.B. «Also waren sie jetzt schon von Anfang an verwirrt, oder erst später, oder wie war das jetzt?»)
  • Tabuthemen nur vorsichtig und eher am Ende des Interviews ansprechen

Etwas kompliziert wird es bei empathischen Kommentaren, wie «Das ist ja sehr interessant!» oder «Super!». Diese können zwar die Bereitschaft, das Gespräch fortzuführen, positiv beeinflussen, jedoch können sie auch die Antworten der Testperson positiv verzerren. Eine Alternative, um das Gespräch aufrechtzuerhalten, sind Affirmationen wie «mhm», ein Kopfnicken oder ein einfaches «Ja». Haben wir das Gefühl, dass eine Testperson eine Bestätigung unsererseits erwartet, können wir unser Verhalten auch kurz im Interview thematisieren: «Ich gebe Ihnen keinen Hinweis, weil uns interessiert, wie Sie mit Produkt XY bei Ihnen zu Hause umgehen würden und da sässe ich ja auch nicht daneben. Machen Sie einfach weiter das, was Sie jetzt normalerweise tun würden.»

Das Interview gut strukturieren

Die Soziologin Cornelia Helfferich schlägt ein System vor, in dem die Fragen in drei Gruppen unterteilt werden:

  • Die Leitfrage

Sie dient als Erzählaufforderung und ist sehr offen formuliert: «Erzählen Sie mir bitte doch einmal, wie Sie normalerweise Produkt XY nutzen?»

  • Die Aufrechterhaltungsfrage

Sie hält den Erzählfluss aufrecht und gibt Impulse für assoziative Gedanken: «Wie ging es weiter?», «Was fällt Ihnen sonst noch ein?», «Und sonst?», «Und weiter?», «Was bringen Sie mit X gedanklich noch in Verbindung?»

  • Die konkrete Nachfrage

Das sind Nachfragen zu inhaltlichen Aspekten, die im Gespräch noch nicht vorgekommen sind.

Reine Faktenabfragen gehören gestrichen oder hinten angestellt, bspw. als kleinen Fragebogen am Ende des Interviews. Auch sehr direkte Fragen sollten vermieden werden. Dies führt schnell dazu, dass im Gespräch kein offener Gesprächsfluss erzeugt werden kann und bereits Bekanntes abgefragt wird.

Ein gutes Interview führen

Unsere Interview-Fähigkeiten haben einen direkten Einfluss auf die Motivation und das Antwortverhalten der Testperson. Die notwendigen Qualifikationen, um gute Interviews zu führen, werden meist als selbstverständlich erachtet oder unterschätzt. Aber gerade die ungewohnte Situation und die intensive Kommunikation mit einer fremden Person rufen Unsicherheiten in uns hervor. Häufig machen wir hier die folgenden Fehler:

  • Zu häufiges Nachfragen
  • Zögerliches Nachfragen
  • Suggestivfragen, suggestive Vorgaben oder Interpretationen, z.B. «Das war sicher anstrengend für Sie.»
  • Bewertende und kommentierende Aussagen – auch wenn sie gut gemeint sind
  • Zu viele Unterbrechungen der Testperson
  • Doppelt gestellte Fragen
  • Zu starkes «Ablesen» des Gesprächsleitfadens

Ganz wichtig ist, regelmässig das eigene Verhalten zu reflektieren und ein Gefühl für das Gegenüber zu bekommen. Und natürlich kann auch die eigene Stimmung einen Einfluss auf die Gesprächsführung haben. Wir müssen jedoch versuchen, uns allen Testpersonen gegenüber möglichst ähnlich zu verhalten. Unser Auftreten sollte stets wertschätzend und höflich sein – auch wenn wir eine Testperson unterbrechen oder sie an Aufgaben erinnern.

Richtig dokumentieren

Die Dokumentation eines Interviews sollte den Redefluss der befragten Person nicht hemmen. Ton- oder Videoaufzeichnungen entlasten hier und geben Freiraum für spontane Nachfragen. Das sorgt für einen natürlicheren Gesprächsfluss. Bei Videoaufzeichnungen kann zudem die Gestik und Mimik der Testpersonen festgehalten werden.

2. Umfragen

Besonders in der Marktforschung werden Online-Umfragen gerne und viel genutzt. Häufige Probleme in diesem Bereich sind zu wenige Testpersonen sowie die Ermüdung der Testpersonen. Befragungsmüdigkeit oder «Survey Fatigue» nennt sich dieses Phänomen. Es kann auf verschiedenen Ebenen auftreten:

  • «Over-Surveying Fatigue» tritt auf, wenn wir eine Testperson zu häufig aufbieten. Deshalb müssen wir uns genau überlegen, wann wir wirklich Feedback in Form einer Umfrage brauchen. Wir wollen unsere Testpersonen schliesslich nicht übermässig ermüden.
  • «Question Fatigue» tritt auf, wenn jemand die gleichen Fragen auf verschiedene Arten beantworten muss. Also halten wir uns kurz und erfragen nur Wesentliches.
  • «Long Survey Fatigue» beschreibt die Ermüdung durch zu lange Umfragen. Die Testpersonen beantworten die Fragen zum Ende hin ungenauer und unzuverlässiger. Abhilfe schafft hier wieder eine möglichst kurze Umfrage. Ausserdem ist ein gutes Erwartungsmanagement wichtig: Die Testpersonen sollten im Vorfeld erfahren, wie lange die Umfrage in etwa dauern wird.
  • «Disingenious Survey Fatigue» tritt auf, wenn das Gefühl aufkommt, dass die Teilnahme keinen tatsächlichen Einfluss auf das Befragungsergebnis hat. Bspw. wenn bestimmte Optionen im Fragebogen-Design klar favorisiert werden. Vor allen Dingen bei Projekten, die auf Partizipation beruhen, ist dieses Phänomen gefährlich. Umfragen sollten neutral sein. Besonders wenn wir selber bestimmte favorisierte Ergebnisse haben. Idealerweise überprüft eine unbeteiligte Person die Umfrage.

Grundlagen der Umfragegestaltung

Wenn wir zusätzlich zu den oben genannten Hinweisen noch einige generelle Grundlagen bei der Gestaltung von Umfragen berücksichtigen, bleiben unsere Testpersonen viel besser bei der Sache. Wir haben darum noch einmal die wichtigsten Punkte zusammengestellt.

  • Instruktion/Befragungseinstieg

Der Befragungseinstieg ist bei einer Online-Umfrage besonders wichtig, denn die schriftliche Instruktion ersetzt den UX-Researcher. Entsprechend formulieren wir das Thema der Umfrage mit klaren, allgemein verständlichen Anweisungen in kurzen Sätzen. Und gleich zu Beginn schaffen wir Transparenz zur Datensicherheit, indem wir kurz darlegen, wie wir die gewonnenen Daten weiterverwenden.

  • Eröffnungsfragen

Die ersten Fragen sind entscheidend für die Teilnahmebereitschaft, also geben wir uns hier am Einstieg besondere Mühe. Die meisten Testpersonen, die die ersten Fragen beantwortet haben, führen die Umfrage auch zu Ende. Die Eröffnungsfragen sollten daher auf die Intention der Umfrage eingehen und einen inhaltlichen Bezug zum Thema herstellen, um das Interesse an der Teilnahme zu verstärken. Wenn möglich, sollten die Fragen eine persönliche Relevanz für die Testpersonen haben. Sie sollten leicht zu beantworten sein und eindimensional formuliert und skaliert sein.

  • In der Kürze liegt die Würze

Wir wollen den Umfang jeder Umfrage so knapp wie irgend möglich halten. Sowohl im Hinblick auf den Gesamtumfang als auch auf Variationen verschiedener Fragen. Wie oben beschrieben vermeiden wir hierdurch diverse Ermüdungseffekte.

  • Strukturierung des Fragebogens

Wir verpacken unsere Fragen in kleine Pakete und nutzen mehrere Seiten, anstatt Testpersonen scrollen zu lassen. Tools wie z.B. Typeform, die jeweils eine Frage in den Fokus setzen, sind ebenfalls empfehlenswert. Umfragen sind idealerweise thematisch strukturiert mit soziodemografischen Fragen am Ende. Eine Fortschrittsanzeige schafft Transparenz und hilft, Abbrüche zu reduzieren.

  • Formulierung der Fragen und Antwortformat

Das Antwortformat sollte möglichst beibehalten werden, damit sich die Testpersonen nicht zu viel umgewöhnen müssen. Darum empfehlen wir, häufige Änderungen zu vermeiden und gleiche Antwortformate in Themenblöcken zu gruppieren. Die Skalen sollten auch nicht ständig wechseln, z.B. zwischen fünf und sechs Stufen. Fragen mit Variationen, z.B. «Ich mag…» und «Mir gefällt nicht…», erhöhen die Aufmerksamkeit der Testpersonen und sorgen für eine höhere Reliabilität.

  • Positionierung der Fragen

Wir müssen stets diverse Positionseffekte beachten. Je nach Position der Frage und dem damit verbundenen Kontextwissen der Testpersonen können unterschiedliche Interpretationen erfolgen. Bei Fragen gegen Ende der Umfrage können ausserdem Sättigungs- und Ermüdungseffekte die Antworten beeinflussen.

  • Gestaltung/Surveytainment

Ein klares Layout erleichtert die Orientierung. Es gibt eine Vielzahl guter Tools, die bei der Umfrageerstellung helfen. Wir verwenden gern Typeform und Google Forms. Testpersonen sollten den Fragebogen jederzeit unterbrechen und zu einem späteren Zeitpunkt weiterführen können. Feedbackfragen ganz am Ende der Umfrage sind ein wertvolles Instrument, damit Testpersonen ihre Meinung äussern können. So lässt sich die User Experience für zukünftige Umfragen weiter optimieren.

3. Usability-Testing im Labor

Ein Usability-Test in einem Labor hat ein sehr spezielles Setting. Hier geht es im Hinblick auf Motivation nicht nur um die Teilnahme. Wir müssen die Testpersonen auch zu möglichst authentischem Verhalten animieren. Denn wir wollen ein unverfälschtes Bild der Person und ihrer Verhaltensweisen gewinnen. Auch wenn sie die Aufgaben an noch nicht ganz ausgereifter Software oder einem Prototyp löst.

Allerdings stellt die Laboratmosphäre bei Usability-Tests in dieser Hinsicht ein Hindernis dar. Woran denken wir beim Stichpunkt «Labor»? An Begriffe wie klinisch, kalt und steril. Nicht wirklich ideal, um natürliches Verhalten zu fördern. Deswegen ist es sehr wichtig, die Laborumgebung auf ein Minimum zu reduzieren. Der Raum sollte möglichst einladend und alltäglich wirken.

  • Authentisches Verhalten der Testperson

Wie kitzeln wir nun möglichst authentisches Verhalten aus unseren Testpersonen heraus? Schauen wir uns einmal die Meinung einer echten Koryphäe auf dem Gebiet des Usability-Testings an: Jacob Nielsen. Im Artikel Authentic Behavior in User Testing schreibt er:

It’s a basic human desire to want to perform well on a test. We can say, „we’re not testing you, we’re testing the system“ all we want. People still feel like they’re taking a test, and they want to pass. They don’t want to be defeated by a computer.

Nielsen beschreibt damit ein grundlegendes Dilemma im Usability-Testing: In der Laborumgebung möchten Testpersonen «bestehen». Hier konzentrieren sie sich stärker auf die Aufgabenerfüllung als bspw. zu Hause. Dieses Übermass an Motivation steht der Beobachtung des authentischen Verhaltens im Wege: In ihrer gewohnten Umgebung würden Testpersonen einen Vorgang meist viel früher abbrechen als während des Usability-Tests. Daher lohnt es sich, immer wieder nachzufragen, was die Testpersonen zu Hause in der Situation tun würden. Wir müssen sie auch immer wieder daran erinnern, dass wir das System testen und nicht sie. Damit können wir zwar nicht sämtliche Übermotivation restlos ausräumen. Aber wir bekommen authentischeres Feedback.

  • Willentliche Aussetzung der Ungläubigkeit

Hinter diesem etwas sperrigen Begriff verbirgt sich eine wichtige Prämisse für einen erfolgreichen Test: Die Bereitschaft der Testperson, das Test-Setting bewusst als Realität anzunehmen. Die User können sich gedanklich leicht in fiktive Szenarien hineinversetzen und sich vorstellen, die Situation sei echt – sie arbeiten dann wie im Realen mit dem Design. Selbst beim einfachen Paper-Pencil-Prototyp tritt dieses Phänomen ein, das im Englischen «suspension of disbelief» genannt wird. Die Testperson akzeptiert, dass Dinge und Sachverhalte offensichtlich nicht real dargestellt sind, um sich darauf einlassen zu können.

Ursprünglich kommt dieser Begriff aus der Dichtung und dem Theater. Er beschreibt das stille Einverständnis der LeserInnen oder ZuschauerInnen, dass die gezeigte Darbietung nicht der Realität entspricht. Um diesen Effekt bei der Testperson zu erzielen, sollten die Aufgaben so realistisch wie möglich gestaltet werden. Ausserdem ist es sehr hilfreich, Testpersonen zu akquirieren, die ähnliche Situationen auch aus ihrem Alltag kennen. Dann können sie sich diese Alltagssituationen als Hintergrundgeschichte vorstellen. Allerdings wird es immer auch solche geben, die sich nicht so leicht von einer Aufgabe fesseln lassen, die Aufgabe nicht ernst nehmen oder trotz eingehender Instruktion früh aufhören, nach alternativen Lösungen zu suchen. Jacob Nielsen hat auch hier wertvolle Hinweise parat. Wir können die Testpersonen fragen, ob sie

  • das, was sie gerade tun, auch zu Hause, im Büro, etc. tun würden.
  • genügend Informationen haben, um eine Entscheidung treffen zu können (falls sie nach der ersten gefundenen Information stoppen).
  • sicher sind, das beste Produkt ausgesucht zu haben (nachdem sie das erste Produkt gefunden haben, was passen könnte, ohne Alternativen zu berücksichtigen).

  • Testpersonen nicht ablenken

Im «unnatürlichen» Setting eines Usability-Tests ist es besonders wichtig, dass sich die Testpersonen auf die Inhalte konzentrieren können. Nur so können sie sich voll und ganz auf den Test einlassen. Falls weitere Personen zur Beobachtung sowie zum Protokollieren im Testraum zugegen sind, sollten sich diese so unauffällig wie möglich verhalten. Denn die Testpersonen sollten sich nicht beobachtet fühlen. Auch Störgeräusche durch Kameras oder Ähnliches sind zu vermeiden.

  • Instruktion

Geben Testpersonen sehr knappe Antworten, besteht die Möglichkeit, nach Bedarf die Instruktion anzupassen. Z.B.: «Stellen Sie sich vor, dass Sie nicht nur die beste Lösung für sich finden, sondern Ihre Entscheidung auch vor Ihrem Vorgesetzten rechtfertigen müssen.» Dies steigert die Motivation, sich bei der Aufgabe stärker anzustrengen und nicht nach der ersten Lösung aufzuhören. Natürlich können auch bei zu ausführlichen Antworten die Fragen flexibel angepasst werden. Auch hier kommt es auf die Sensibilität und Erfahrung des UX-Researchers an.

  • Medieneinsatz

Wechsel zwischen verschiedenen Medien, z.B. die Nutzung von Videos bei der Einleitung, können das Test-Setting auflockern. Dadurch können sich Testpersonen länger konzentrieren. Allerdings muss das Zusammenspiel der Medien passen. Ein Testlauf im Vorfeld stellt sicher, dass keine ungeplanten Pausen entstehen, wodurch sich Testpersonen langweilen könnten.

  • Strukturierung des Ablaufs

Zwischen den Sessions braucht es ausreichend Pausen. So hat der UX-Researcher genügend Zeit, um den Test kurz nachzubereiten und den Raum für die nächste Testperson vorzubereiten. Auch Zeit, um kurz durchzuatmen, sollte eingerechnet werden. Das fördert die Aufmerksamkeit des UX-Researchers und damit auch die Motivation der Testpersonen.

Die Testpersonen sollten einige Minuten vor dem geplanten Beginn der Session eintreffen. So erhöht sich die Wahrscheinlichkeit, pünktlich zu starten. Bei längeren Sessions ist natürlich auch die Planung von Pausenzeiten für Testpersonen zu berücksichtigen.

Fazit:

Ob Umfrage, Interview oder Usability-Test, es gibt viele Möglichkeiten, die Motivation der Testpersonen zu steigern und dadurch positiv auf die Arbeitsergebnisse einzuwirken. Allerdings müssen wir immer im Blick behalten, dass es auch ein «Zuviel» an Motivation geben kann. In diesem Fall müssen wir intervenieren, um authentische Ergebnisse zu erhalten.

5. Motivationsschub nach dem Test

Die Interview-, Umfrage- oder Test-Reihe ist erfolgreich abgeschlossen und wir können endlich die Früchte unserer Arbeit ernten. Nach der Auswertung können wir mit unseren Ergebnissen an beteiligte Stakeholder herantreten, gemeinsam mit den Produkt-Teams Optimierungen erarbeiten und Tests neuer Iterationen planen. Natürlich bleibt auch in dieser Phase Motivation essenziell – bei den Testpersonen, den verschiedenen Stakeholdern und auch bei uns selbst.

Im Umgang mit den Testpersonen müssen wir dafür sorgen, dass diese einen guten letzten Eindruck von uns gewinnen. Dazu danken wir ihnen zum Abschied für ihre Teilnahme und betonen noch einmal, wie nützlich das Feedback für uns war. Auch sollte die Zahlung der Incentives zügig abgewickelt werden.

Bei Längsschnittstudien – und wenn wir Testpersonen wiederholt einladen – kann es sich lohnen, nach einer gewissen Zeit eine Dankesnachricht zu versenden. Sie bietet Gelegenheit, nach Bedarf direkt zum nächsten Interview o.Ä. einzuladen.

Auswertung und Kommunikation der Research-Ergebnisse

Vor allem bei Interviews und Usability-Tests lohnt sich eine möglichst zeitnahe Auswertung.

Diese beiden Themen sind allein schon mehrere eigene Blogbeiträge wert. Eine detaillierte Schritt-für-Schritt-Anleitung bietet etwa Human Data Analytics – so geht’s. Hier wollen wir kurz darauf eingehen, welche Rolle die Motivation bei der Auswertung und Kommunikation von UX-Research-Ergebnissen spielt.

Wir empfehlen, Research-Projekte möglichst zeitnah auszuwerten, vor allem bei Interviews und Usability-Tests. So sind die Gesprächssituationen noch frisch im Kopf und es muss weniger nachgeschlagen werden. Ausserdem ist es einfach motivierender, direkt im Anschluss die Ergebnisse vor Augen zu haben und zu präsentieren.

Wenn wir mit der Auswertung fertig sind, können wir endlich unsere Ergebnisse präsentieren. Dabei kann sich die Kommunikation etwas delikat gestalten. Bspw. wenn herauskam, dass bis zur Marktreife noch eine weitere Iteration notwendig ist. In diesem Fall sollten die Notwendigkeit der zusätzlichen Iteration sowie das Entwicklungspotenzial sorgfältig begründet und aufgezeigt werden.

In dieser Phase ist es hilfreich, sehr praxisnahe Hinweise zur Umsetzung zu geben. Dies befähigt das Produkt-Team dazu, ihre Ziele zu erreichen und ihren Vorgesetzten die Projekterfolge und notwendigen Investitionen zu kommunizieren.

Falls möglich, ist es ratsam, Stakeholder sogar schon in die Auswertung mit einzubeziehen. Denn kollaborativ erarbeitete Verbesserungsvorschläge kommen allen zugute: Je besser Stakeholder durch die Ergebnisse befähigt werden, anstehende Aufgaben effizient zu lösen, umso mehr werden sie UX-Research wertschätzen und in die weitere Entwicklung miteinbeziehen.