Inhaltsverzeichnis
1. Professionelle Screeningfragen schreiben
1.1 Screener-Checkliste
2. Fallbeispiel Hypotheken-Kunde
3. Thema und Profil mit ChatGPT nachforschen
4. Screeningfragen mit ChatGPT schreiben
4.1 Eröffnungsfrage
4.2 Folgefrage bezüglich Hypotheken-Bank
4.3 Folgefrage bezüglich Zeitpunkt des Hypotheken-Abschlusses
4.4 Branchenausschluss
5. Fazit
6. Zusammenfassung
1. Professionelle Screeningfragen schreiben
Screeningfragen schreiben ist ein Handwerk, das gelernt werden muss. Wir haben dazu ein Screener Guideline E-Book veröffentlicht. Durch die Anwendung der darin enthaltenen Checkliste kann man bereits viel optimieren. Nichts-desto-trotz ist es viel Arbeit, gute Screeningfragen zu entwickeln.
1.1 Screener-Checkliste
Als Gedankenstütze habe ich die gesamte Checkliste unten reinkopiert:
1. Screener einrichten
✅ Mache dich mit dem Thema / den Kriterien vertraut
✅ Verstehe dein genaues Testpersonen-Profil
✅ Beginne mit allgemeinen Fragen und gehe anschließend zu spezifischen über
✅ Verwende nach Möglichkeit bereits existierende Fragen deines Teams wieder
✅ Erfrage nur eine Information auf einmal – Teile Fragen, wenn nötig, auf
✅ Schreibe nur bis zu 8 Fragen auf
✅ Wenn du nach verschiedenen Profilen suchst, dann teile den Auftrag, wenn nötig, auf in mehrere Aufträge
2. Fragetypen auswählen
✅ Du kannst zwischen Single-Select und Multiple-Select auswählen
✅ Verwende offene Fragen, um kritische Informationen zu überprüfen
3. Richtlinien für Fragen
✅ Vermeide es, nach Zustimmung zu fragen, verwende vor allem keine Ja-/NeinFragen – versuche stattdessen zwei Enden einer Skala anzugeben (frage z.B. anstatt „Wie sehr magst du (…)“ eher „Wie bewertest du (…)?“)
✅ Stell sicher, dass deine Frage kurz und leicht verständlich ist (kurze Sätze, einfache Wörter, Fachbegriffe erklären…)
✅ Auf der anderen Seite sollte deine Frage spezifisch sein und keinen Interpretationsspielraum lassen (vermeide es Begriffe näher zu beschreiben wie „aktiver Benutzer“, „regelmäßig“,…)
✅ Vermeide „Fangfragen“, die die Testperson in eine Richtung lenken
4. Richtlinien für Antworten
✅ Gestalte deine Frage optisch ansprechend (verwende durchgängig Großbuchstaben am Anfang und „ . “ )
✅ Stelle sicher, alle Gender anzusprechen Wenn du dir alternative Antworten ausdenken musst, dann stelle Nachforschungen darüber an, welche anderen Optionen relevant sind, um die Frage wiederverwenden zu können
✅ Wenn du Antwortoptionen mit Zahlen vorgibst (z.B. Frequenzen: 1-2 Mal pro Woche / 3-5 Mal pro Woche / …), dann gib ein breites Spektrum an und stelle sicher, dass keine Lücken oder Überschneidungen zwischen den Schritten entstehen
✅ Jeder muss in der Lage sein, die Frage zu beantworten – Denke darüber nach, eine zusätzliche Option „Andere“ / „Keine der oben genannten“ / „Ich bin nicht sicher“ / „Ich ziehe es vor, nicht zu antworten“ aufzunehmen
✅ Variiere die Position des benötigten Kriteriums (platziere es nicht immer oben)
2. Fallbeispiel Hypotheken-Kunde
Als Fallbeispiel möchte ich ein aktuelles Thema unserer Bankkunden aufgreifen. Dabei geht es um Personen, die kürzlich eine neue Hypothek abgeschlossen haben.
Testpersonen-Profil:
- Haben in den letzten 6 Monate eine neue Hypothek in der Schweiz für ein Eigenheim abgeschlossen
- Mix von UBS vs. Nicht-UBS-Hypotheken-Kunden
- Branchenausschluss: Bank- und Finanzwesen, UX und Design (inkl. Marketing, User Research, Marktforschung, Innovationsmanagement)
Eine solche Zielgruppe wird typischerweise mit ca. 5 Screeningfragen abgefragt. In diesem Artikel werden diese Fragen mittels ChatGPT erstellt.
3. Thema und Profil mit ChatGPT nachforschen
Um sich mit dem gewünschten Thema und Profil vertraut zu machen, kann ChatGPT hilfreich sein. Einzige Voraussetzung ist, dass sich die Frage auf Wissen bis und mit September 2021 beschränkt. Um aktuelles Wissen zu nutzen, empfiehlt es sich, auf ChatGPT Plus zu wechseln.
Als Erstes möchte ich wissen, welche Banken in der Schweiz Hypotheken anbieten.
Als weiteres möchte ich verstehen, welche typischen Bankprodukte in der Schweiz für Privatkunden angeboten werden.
Mit nur zwei einfachen Fragen konnte ich mehr über die Bankenlandschaft der Schweiz sowie deren Finanzprodukte für die Privatkunden in Erfahrung bringen. Ich bin nun bereit, die erste Screeningfrage von ChatGPT erstellen zu lassen.
4. Screeningfragen mit ChatGPT schreiben
4.1 Eröffnungsfrage
Ich möchte eine allgemeine Frage von ChatGPT generieren lassen, welche neu erworbene Finanzprodukte einer Person in Erfahrung bringt. Obwohl das Kriterium “innerhalb der letzten 6 Monaten” vorausgesetzt wird, fragen wir ganz bewusst nach 12 Monaten, um bei mangelndem Rücklauf von Kandidaten weiterhin Flexibilität in der Kandidatenliste zu haben.
Die erste generierte Version ist schon ziemlich gut, aber ich möchte gerne noch einige Optimierungen anbringen. Dabei weise ich ChatGPT an, einige Optionen anzupassen, zu entfernen oder zu ergänzen. Eine gute Screenerfrage soll auch eine Trap-Antwortoption beinhalten, um “Schnellantworter” oder “Lügner” herauszufiltern. Da ChatGPT das Konzept von sogenannten „Trap-Fragen“ nicht versteht, instruiere ich direkt “SpaceX Anleihe” als eine Fake-Option hinzuzufügen.
Die Frage erfüllt nun alle Empfehlungen aus der Checkliste. Unter der Annahme, dass die Screener-Logik nur Teilnehmende durchlässt, die mindestens die “Option D – Hypothek” ausgewählt haben, kann ich in der Folgefrage direkt auf die Hypothek selber eingehen.
4.2 Folgefrage bezüglich Hypotheken-Bank
Ich möchte nun wissen, bei welcher Bank die Hypothek abgeschlossen wurde. Ich prompte diesmal bewusst eine Einfachauswahl (auch Single-Select genannt) zu verwenden.
Da die Bankenwelt in der Schweiz reichhaltig ist, möchte ich vier zusätzliche Auswahloptionen hinzufügen. Ausserdem möchte ich auf Übersetzungen und Erklärung in den Klammern verzichten. Ich habe mich zudem dagegen entschieden eine weitere erfundene Antwortoption zu ergänzen.
Die letzte Option “Ich habe keine Hypothek abgeschlossen” empfiehlt sich auch bei Folgefragen, um mögliche Falschangaben aus vorherigen Fragen im Nachgang zu korrigieren.
4.3 Folgefrage bezüglich Zeitpunkt des Hypotheken-Abschlusses
Als letzte thematische Frage möchte ich noch eine Frage mit ChatGPT erstellen, welche den Zeitpunkt des Hypotheken Abschlusses befragt. Idealerweise suche ich Personen, die innerhalb der letzten 6 Monate eine Hypothek abgeschlossen haben. Um bei der Kandidaten-Auswahl nicht zu sehr eingeschränkt zu sein, z.B. aufgrund eines Kandidaten-Mangels, frage ich zudem auch grössere Zeithorizonte ab und entferne sämtliche Ausschlussregeln (Screen-out).
4.4 Branchenausschluss
Als letzte Fragen möchte ich nun noch Expert(inn)en und Branchenkenner:innen ausschliessen. Dies sind typische Fragen, die bereits in unserer Fragen-Bibliothek auf dem Bestellformular vorhanden sind. Nichts-desto-trotz möchte ich aufzeigen, wie schnell eine solche Frage erstellt werden kann. Um die Komplexität zu reduzieren, bietet es sich an, zuerst nach der Branche und anschliessend nach der spezifischen Rolle zu fragen.
Auch hier möchte ich das Resultat ein wenig optimieren. Ich möchte drei weitere Branchen, im Speziellen die Marktforschung, ergänzen. Dabei möchte ich vermeiden, dass “Sonstige” spezifiziert werden muss.
Als Letztes empfehle ich nach allen möglichen Ausschluss-Berufsbildern,, in einer relativ geschlossenen Form, zu selektieren.
5. Fazit
Alle Screeningfragen für dieses Fallbeispiel konnte ich mit ChatGPT generieren. Gutes „Prompting“ macht den Unterschied. Zu Beginn brauchte ich mehrere Anläufe, um das gewünschte Resultat zu erzielen. Ich habe aber schnell gelernt, wie man präziser und besser ChatGPT instruiert. Das KI Tool ist aber auch sehr gut darin, über einen gewissen Zeitraum, den Kontext und Vorlieben vom Benutzer zu lernen. Zum Beispiel merkt es sich, ohne speziellen Hinweis, kleine Dinge wie “Andere” oder “Keines der oben genannten” als Antwortoption automatisch anzufügen. ChatGPT spart wirklich viel Zeit, wenn diverse Antwortoptionen, z.B. Finanzprodukte oder Banken, aufgelistet werden müssen. Das sind typischerweise Dinge, die man mühsam von Hand recherchieren müsste.
Ich bin begeistert von ChatGPT und denke, dass dieses Tool auch optimal für die Erstellung regulärer Online-Umfragen genutzt werden könnte. Zudem sehe ich grosses Anwendungspotential in der Analyse von Research-Resultaten, besonders bei der Auswertung von Freitext-Daten.
Als Quintessenz prüfen wir die Möglichkeit, diese Art Unterstützung direkt in das TestingTime-Bestellformular im Schritt Screening einzubinden. In einer idealen Welt könnte ein Kunde sämtliche Kriterien ähnlich wie in Kapitel 2 beschreiben und mit einem einzigen Mausklick all diese Screeningfragen generieren. #neverstopdreaming 🙂
6. Zusammenfassung
ChatGPT wird dich nicht als UX Researcher ersetzen, aber es kann definitiv deine zukünftige Arbeit effizienter gestalten, egal ob du in der Planung, Durchführung oder Analyse von User Research Studien tätig bist. Insbesondere im Bereich Screeningfragen hat sich gezeigt, dass ChatGPT eine enorme Unterstützung bieten kann.
Gute Zusammenfassung? Diese wurde übrigens komplett mit ChatGPT generiert. Auch das Titelbild wurde mit DALL-E2 generiert.
