Screening: Wie du Testpersonen für Remote-Benutzertests auswählst

Inhaltsverzeichnis

1. Warum das Screening der Testpersonen so wichtig ist
2. Aufgabe des Screeners
3. Zielgruppe definieren
4. Zielgruppe realistisch ausweiten
5. Anforderungen definieren
6. Screening-Fragebogen formulieren
7. Screening von Sorgfältigkeit & Motivation
8. Weitere Infos für die Teilnehmer
9. Plan B vorsehen
10. Fazit: Gute Screener sind gut investierte Zeit

1. Warum das Screening der Testpersonen so wichtig ist

Damit du aussagekräftige Ergebnisse bekommst bei deinen UX-/Usability-Tests, brauchst du passende Teilnehmer. Diese sollten so gut wie möglich zur Zielgruppe des Produkts passen, das du testen willst. Das klingt selbstverständlich. Und doch ist es in der Praxis gar nicht so einfach sicherzustellen. Schuld daran sind vor allem drei Dinge:

1. Du hast nicht immer Zugriff auf die passenden Teilnehmer.
2. Die Teilnehmer werden nicht korrekt ausgesucht.
3. Die Teilnehmer sagen nicht ganz die Wahrheit. Über sich oder ihre Erfahrungen bzw. Vorlieben.

1.1 Probleme bei der Übertragbarkeit und Glaubwürdigkeit

Wenn du erst nachdem der Test gelaufen ist, merkst, dass die Teilnehmer nicht gepasst haben, dann hast du zwei Probleme:

1. Die Übertragbarkeit der Ergebnisse ist nicht sichergestellt. Vielleicht werden die Nutzer aus der tatsächlichen Zielgruppe die beobachteten Probleme gar nicht haben. Oder die Nutzer aus der Zielgruppe haben ganz andere Probleme, die in deinem Test nicht aufgetaucht sind.
2. Die Glaubwürdigkeit der Ergebnisse leidet. Selbst wenn die Ergebnisse die gleichen wären: Bei Stakeholdern gibt es die Tendenz, Ergebnisse mit nicht ganz passenden Teilnehmern als nicht relevant abzutun. “Unsere Nutzer sind schlauer.” ist da manchmal zu hören. Je besser deine Teilnehmer zur Zielgruppe passen, desto leichter kannst du Stakeholder überzeugen, dass die von dir gefundenen Probleme auch bei der tatsächlichen Nutzung auftreten.

1.2 Testpersonen für unmoderierte vs. moderierte Tests

Besonders wichtig ist die Qualität der Testpersonen für remote unmodertierte Tests. Denn hier hast du keinen Moderator. Es, bekommt also während des Tests niemand mit, dass die Testpersonen vielleicht gar nicht passen. Und es kann auch niemand helfen. Etwa, indem er Hintergrundinfos gibt. Die den Teilnehmern erlaubt, z.B. eine Aufgabe doch zu lösen, die besser passende Teilnehmer auch hätten lösen können.

Außerdem zählen die Sekundärtugenden deiner Teilnehmer: Diese müssen zuverlässig sein. Bei moderierten Tests müssen sie pünktlich online gehen. Bei unmoderierten müssen sie innerhalb der vorgegebenen Zeit die Aufgaben bearbeiten. Und sie müssen die Bearbeitung sorgfältig durchführen. Auch das ist bei unmoderierten Tests besonders wichtig: Denn du kannst bei unvollständigen oder widersprüchlichen Antworten nicht nachfragen. Die Teilnehmer werden sich im Nachhinein nicht mehr korrekt erinnern. Manchmal machen die Teilnehmer Fehler beim Ausfüllen der Antworten. Oder bei der Aufzeichnung eines Screenrecordings. Das kannst du dann im Nachhinein auch kaum noch korrigieren.

2. Aufgabe des Screeners

Um auszuwählen, ob deine potenziellen Teilnehmer passen, machst du vorher einen so genannten Screener. „To screen“ bedeutet filtern, aussieben oder überprüfen. Mit dem Screener filterst du also die Teilnehmer heraus, die am besten passen. Was du normalerweise auch mit erfasst: Sind die Kandidaten motiviert, mitzumachen? Sind sie zuverlässig?

Der Screener ist eine kurze Online-Umfrage. In Spezialfällen kannst du auch persönlich mit den Kandidaten sprechen. Das ist aber aufwendig und wird daher ganz selten gemacht.

Ganz wichtig: Starte so früh wie möglich mit dem Screener. Denn nicht selten stellt es sich heraus, dass du keinen Zugriff auf genügend passend Teilnehmer hast. Dann ist oft hektische Aktivität angesagt. Dann werden alle persönlichen und beruflichen Kanäle genutzt, weitere Kandidaten zu finden. Oder es werden teure Anzeigen geschaltet, um über Suchmaschinen oder Social Media weitere Menschen zu finden. Diesen Ärger kannst du dir natürlich sparen, wenn du mit einem externen Rekrutierer wie TestingTime zusammenarbeitest. TestingTime übernimmt das Screening für dich. Und liefert dir die passenden, motivierten und zuverlässigen Teilnehmer.

3. Zielgruppe definieren

Der erste Schritt sollte nicht viel Mühe machen. Doch manchmal kommt es immer noch vor, dass die Auftraggeber bzw. Stakeholder hier keine klare Antwort haben: Wer ist die Zielgruppe des Produktes, das ihr testet? Könnt ihr diese Frage nicht beantworten, werdet ihr niemals passende Teilnehmer finden.

Bekommst du die Antwort: „Unser Produkt soll jeder nutzen!“ Dann bist du selbst gefragt. Überlege dir:

• Wer sind die wahrscheinlichsten Nutzer? Sind es eher junge Menschen? Eher technikaffine? Eher Frauen? Berufstätige? Rentner?
• Welche Eigenschaften, Interessen oder Vorerfahrungen sind wichtig? Welche spielen eine Rolle dafür, wie gut sie mit dem Produkt klarkommen? Und wie interessant sie dieses finden?

Wenn es Personas gibt, umso besser. Dann hast du damit schon eine Beschreibung der idealen Zielgruppen.

In diesem Schritt sammelst du also Voraussetzungen, die jemand erfüllen muss, um an dem Test teilzunehmen.

4. Zielgruppe realistisch ausweiten

Im nächsten Schritt überlegst du dir, welche der eben beschriebenen Kriterien du streichen kannst. Denn fast immer ist die Zielgruppenbeschreibung zu eng. Z.B. steht in der Persona, dass diese ledig ist und auf dem Land wohnt. Das sind das nur selten Kriterien, die für den Test eine Rolle spielen. Geht es etwa um einen Musikstreaming-Dienst oder um Finanzdienstleistungen, sind Familienstand und Wohnort in fast allen Fällen gleichgültig.

Denke daran: je enger du deine Zielgruppe fasst, desto schwieriger wird es, die passenden Teilnehmer zu finden.

5. Anforderungen definieren

Neben demographischen Merkmalen wie Alter, Geschlecht, Wohnort, Einkommen etc. gibt es oft weitere Anforderungen. Das sind meist Vorerfahrungen, Gewohnheiten oder Vorlieben.

Das kann z.B. sein:

• Interessen, Hobbys (Bergsteigen, Arthouse-Filme, Klassische Musik, vegane Ernährung…)
• Gewohnheiten (Theaterbesuche, Verkehrsmittel, Sport, Mediennutzung…)
• Einstellungen (Politik, Religion, Lebensweisen…)
• Nutzung/Besuch bestimmter Websites, Apps oder Dienste (Spotify, Netflix, bild.de, Freeletics…)

Manchmal musst du bestimmte Anforderungen fallen lassen, weil sie zu speziell sind. Gut ist es deshalb, wenn du diese gleich priorisierst.

Ein Beispiel:

Muss-Anforderungen

• Zwischen 18 und 45 Jahren alt
• Geht mindestens 3x pro Jahr zum Bergsteigen
• Nutzt mindestens eine beliebige Tracking- oder Sport-App

Kann-Anforderungen

• Plant, in den nächsten 6 Monaten neue Bergschuhe zu kaufen
• Nutzt die App Komoot

6. Screening-Fragebogen formulieren

Jetzt geht es an den Kernteil: Die Formulierung des Fragebogens für dein Screening. Hier gilt: Der beste Weg zum Ziel ist oft nicht der direkte. Denn einfach direkt fragen, ob die Probanden die Kriterien erfüllen, ist meist keine gute Idee. Einmal willst du die zukünftigen Teilnehmer möglichst wenig beeinflussen. Daher solltest du ihnen nicht verraten, worum es genau geht. Und zum anderen: Wissen die Kandidaten, welche Voraussetzungen sie erfüllen müssen, dann sagen sie manchmal nicht die Wahrheit, damit sie bei deinem Test mitmachen können.

6.1 Beispiel eines guten Fragebogens

In diesem Leitfaden von TestingTime findest du Best Practices an konkreten Beispielen für die Erstellung guter Screener, um die idealen Teilnehmer für deine Studie zu finden.

6.2 Die richtige Balance, um nicht zu viel zu verraten

Bei den Freizeitaktivitäten könntest du viel genauer nachfragen. Und du könntest weitere Antwortmöglichkeiten vorsehen. Aber das musst du alles gar nicht wissen. Dich interessiert ja nur: Geht der Kandidat mindestens 3x im Jahr Bergsteigen? Daher siehst du gerade so viele Antwortmöglichkeiten vor, dass der Kandidat nicht erraten kann, worauf du hinaus willst. Und du machst ihm auf der anderen Seite das Antworten so leicht wie möglich.

Bei der App-Nutzung ist es wichtig, nicht nur zu fragen, ob diese “regelmäßig” genutzt wird. Was unter regelmäßig zu verstehen ist, darüber gehen die Einschätzungen auseinander. Und eine offene Frage ist zu kompliziert. Da müssen die Nutzer zu lange darüber nachdenken.

Hast du die Antworten auf diese Screening-Fragen, dann weißt du ziemlich genau, wie gut die Probanden zu deiner Zielgruppe passen. Du nutzt dazu am besten geschlossene Fragen (also solche mit vorgegebenen Antwortmöglichkeiten). Damit ist der Aufwand für die Auswertung gering. Und die Kandidaten haben weniger Mühe bei der Bearbeitung.

7. Screening von Sorgfältigkeit & Motivation

Jetzt fehlt noch eine Frage, mit der du die Sorgfältigkeit und die Motivation testen kannst. Dazu hat sich eine offene Frage bewährt. Etwa:

Beschreibe in wenigen Worten, wie eine ideale App aussieht, die dich beim Sport unterstützt:

Das ist nicht schnell angeklickt, da müssen die Probanden darüber nachdenken. Wer hier nur 3 Wörter einträgt, der wird bei deinem Test vermutlich auch wenig detailliertes Feedback geben. Und wer etwas antwortet, was du nicht verstehst, der wird wohl auch später Probleme haben, sich klar auszudrücken.

Ganz wichtig ist aber auch beim Screener die goldene Regel für alle Fragebögen: Fasse dich kurz! Je länger dein Fragebogen, desto weniger Menschen werden ihn ausfüllen. Und desto enttäuschter sind sie, wenn sie nicht genommen werden. Das heißt, sie beantworten in Zukunft um so seltener weitere Fragebögen, die du ihnen schickst.

Eine gute Methode, dem entgegenzusteuern, sind KO-Kriterien. Das heißt, du prüfst nach jeder Frage, ob der Kandidat in Frage kommt. Gibt er z.B. an, dass er nie Bergsteigen geht, kannst du ihn diesmal nicht gebrauchen. Daher ist es unnötig, ihn die anderen Fragen beantworten zu lassen. Zeige ihm dann also gleich eine freundlich formulierte Abschluss-Seite an. Und lass ihn nicht unnötig die restlichen Fragen beantworten.

8. Weitere Infos für die Teilnehmer

Was du im Screener auch kommunizieren solltest, sind deine Erwartungen an die Teilnehmer. Sie müssen sich z.B. eine App auf ihr persönliches Smartphone installieren. Sie müssen eine Einzahlung auf einer Website/App machen. Oder sie sollen eine Videoaufzeichnung durchführen. Oder sie sollen mit einem Moderator per Zoom im Videochat arbeiten. Es gibt immer Menschen, die haben mit der ein oder anderen Anforderung ein Problem. Daher solltest du deine Erwartungen so früh wie möglich mitteilen. Das spart dir und den Kandidaten unnötige Mühe.

Außerdem musst du noch diese Infos rüberbringen:

• Wann erfahren die Kandidaten, ob sie ausgewählt wurden und sie mitmachen dürfen?
• Wann müssen sie mitmachen? (Testtermin / Zeitraum, in der Umfrage beantwortet werden muss)
• Was bekommen sie? (Vergütung / Incentive)
• An wen können sie sich bei Fragen wenden?
• Wie ist das mit dem Datenschutz?

9. Plan B vorsehen

Passt jemand nicht ganz 100-prozentig, dann sage ihm nicht sofort ab. Vielleicht bekommst du nicht genügend Teilnehmer, die genau passen. Und selbst wenn du ausreichend hast, sage nicht gleich allen anderen ab. Es kann immer sein, dass einige nicht zum vereinbarten Termin auftauchen. Oder sie die Fragen nicht rechtzeitig beantworten. Die Ausfallrate (“no show”) ist bei remote Tests fast immer höher als bei Präsenz-Tests.

10. Fazit: Gute Screener sind gut investierte Zeit

Einen guten Screener zu erstellen und die passenden Testpersonen zu finden, macht Mühe. Es lohnt sich aber definitiv, hier sorgfältig zu arbeiten. So sorgst du dafür, dass du später weniger Arbeit hast. Und dafür, dass du aussagekräftige Ergebnisse bekommst. Und letztlich auch dafür, dass deine Stakeholder diese Ergebnisse als valide und hilfreich empfinden.