Inhaltsverzeichnis
1. Überprüfung der Telefonnummer per SMS
2. Hochmodernes Screening
3. Algorithmus zur Profil-Vorhersage
4. Algorithmus zur Qualitäts-Vorhersage
5. Erneute Bestätigung der Profil-Kriterien und der Verfügbarkeit
6. E-Mail- und SMS-Erinnerung
1. Überprüfung der Telefonnummer per SMS
Ursprünglich unterstützten wir lediglich die E-Mail-Verifizierung während der Anmeldung einer Testperson. Wir fragten nach der Mobiltelefonnummer, verifizierten aber nicht, ob die Nummer tatsächlich gültig war. Dies führte dazu, dass die SMS Terminerinnerungen an die Testpersonen nicht versendet werden konnten oder, was noch schlimmer war, die Kunden erreichten die Testpersonen nicht per Telefon. Um eine solch schlechte Kundenerfahrung zu vermeiden, haben wir den Verifizierungsprozess erweitert und eine Aktivierung der Telefonnummer mittels SMS-Code eingeführt. Ohne diese Aktivierung wird die Testperson nicht als Kandidat*in platziert. Dieser Prozess ermöglicht es uns auch, gefälschte Benutzer, Doppelprofile oder Bots auszusortieren.
2. Hochmodernes Screening
Bei jeder Testpersonen-Rekrutierung führen wird ein Screening durch, bei dem wir prüfen, ob die Testperson dem geforderten Profil entspricht oder nicht. Ein Screening besteht aus einer Sammlung von Screening-Fragen mit eingebauter Logik, um Kandidaten*innen zu filtern. Das Schreiben guter Screening-Fragen ist eine Wissenschaft für sich. Das Screening muss so kurz wie möglich sein (um eine hohe Konversionsrate zu gewährleisten), aber offen genug, um nicht zu verraten, welches Profil wir suchen. Bei TestingTime schreiben wir das Screening auf Basis der gewünschten Profil-Kriterien. Wir haben einen Katalog von Best-Practice-Screening-Fragen erstellt, von denen wir aus Erfahrung wissen, dass sie gut funktionieren. Jede beantwortete Frage ist mit einem Ablaufdatum versehen, um sicherzustellen, dass ein*e Kandidat*in nicht jedes Mal auf dieselbe Frage antworten muss, aber dennoch häufig genug, um aktuelle Profil-Informationen zu garantieren. TestingTime hat das Screening zu seiner Expertise gemacht – unser gesamtes Customer Success Team ist darauf geschult und fokussiert.
3. Algorithmus zur Profil-Vorhersage
In einer idealen Welt wüssten wir bereits, wer die Kriterien für eine bestimmte Studie erfüllt. Viele unserer Konkurrenten stellen einen endlosen Fragenkatalog, wenn sich Testpersonen anmelden. Bei TestingTime haben wir beschlossen, während des Anmeldeprozesses so wenige Fragen wie möglich zu stellen und das Testpersonen-Profil aufzubauen und ihnen nur dann zusätzliche Fragen stellen, wenn wir eine potenzielle Studie für sie haben. Unser Ziel ist es, so wenig Screening-Einladungen wie möglich zu versenden, um die notwendige Anzahl von Kandidaten*innen zu generieren.
Zu viele Einladungen zu einem Screening ohne eine Einladung zum Test führen nach einer Weile zu Frustrationen bei den Testpersonen. Aus diesem Grund beantworten einige potenzielle Testpersonen nicht mehr alle Fragen. Wir müssen deshalb eine grobe Schätzung vornehmen oder die Antworten der Kandidaten*innen voraussagen. Um dieses Problem zu lösen, haben wir einen Algorithmus entwickelt, der vorhersagen kann, ob die Person die gewünschten Kriterien erfüllt oder nicht. Auf dieser Grundlage können wir die Prioritäten festlegen, wen wir zuerst fragen sollen. Dies führt zu weniger Einladungen und erhöht die Bereitschaft der Testpersonen, an Screenings teilzunehmen.
4. Algorithmus zur Qualitäts-Vorhersage
Basierend auf Daten sagt unser Qualitäts-Algorithmus voraus, ob ein*e Kandidat*in eine gute oder schlechte Bewertung vom Kunden erhält. Diese Prüfung baut auf einem anderen Algorithmus für maschinelles Lernen auf, der mit jeder Bewertung, die wir erhalten, besser wird. Deshalb ist es sehr wichtig, dass alle Kunden ihre Teilnehmer am Ende einer Studie bewerten. Sobald genügend Kandidaten*innen für eine Studie generiert wurden, wählt unser Algorithmus die richtige Mischung aus und bestätigt ihre Teilnahme. Im Moment wird der Algorithmus nur zur Unterstützung der Auswahl verwendet. Der finale Entscheid, wer zur Studie eingeladen wird, erfolgt durch den zuständigen Customer Success Manager. Wir glauben aber, dass der komplette Auswahlprozess in naher Zukunft automatisiert werden kann.
5. Erneute Bestätigung der Profil-Kriterien und der Verfügbarkeit
Obwohl der Algorithmus für die Profil-Vorhersage und der Algorithmus für die Qualitäts-Vorhersage viele potenzielle Personen, die nicht passen, und No-Shows aussortieren, haben wir gelernt, dass menschliche Missverständnisse immer noch schwer zu erkennen sind. Diese können vorkommen, wenn eine Screeningfrage missverstanden oder versehentlich eine falsche Option ausgewählt wird. Deshalb haben wir eine zusätzliche Ebene der Verifikation in das System eingebaut. Wenn das System eine*n endgültige*n Kandidaten*in bittet, die Verfügbarkeit erneut zu bestätigen, wird die Person auch gebeten, die erforderlichen Kriterien erneut zu bestätigen. Diese letzte Massnahme filtert potentielle Fehlbesetzungen heraus.
6. E-Mail- und SMS-Erinnerung
Es kann leider immer vorkommen, dass eine Testperson den Termin vergisst oder krank wird. Wir senden jeder Testperson eine E-Mail- und SMS-Erinnerung. Bei beiden Erinnerungen machen wir es superleicht, den Termin zu stornieren. Wir sind lieber darüber informiert, wenn eine Testperson es kurzfristig nicht schaffen kann und suchen eine Ersatzperson, als nichts davon zu wissen.
Mit all diesen Massnahmen ist es uns gelungen, unsere No-Show- und Misfit-Rate auf ein Minimum zu bringen und sicherzustellen, dass bei den Tests unserer Kunden keine Studien-Junkies auftauchen. Wir hören jedoch nicht damit auf, die Qualität der TestingTime Testpersonen noch weiter zu verbessern. Wir planen zum Beispiel, die Identität der Kandidaten*innen zu prüfen. Da viele Online-Banken auf dem Vormarsch sind, gibt es mittlerweile grossartige Lösungen, um eine Identität online zu überprüfen. Wir sind überzeugt davon, dass dies noch mehr Vertrauen in die Qualität einer Testperson aufbaut.
