Bevor ich jedoch die verschiedenen Optionen diskutiere, möchte ich aufzeigen, welche Schritte nötig sind, um eine erfolgreiche Rekrutierung durchzuführen.
Die vier Bausteine für eine erfolgreiche Studienteilnehmer-Rekrutierung
Ob du einen eigenen Pool aufbauen willst oder einen externen Rekrutierungsservice als Partner an Bord holst, folgende vier Bausteine sind unabdingbar für die erfolgreiche Rekrutierung von Testpersonen.
1. Testpersonen-Pool
Das Herzstück der Rekrutierung ist der Zugang zu einer Quelle von möglichen Kandidaten. Typischerweise ist das eine bestehende Datenbank mit registrierten Personen. Oft wird aber auch direkt über öffentliche Kanäle wie Facebook, Twitter, eigene Website, etc. rekrutiert, ohne selber eine Datenbank aufzubauen. Ein eigener Pool bietet aber im Vergleich zu sozialen Kanälen mehr Planungssicherheit und Kontrolle über die Daten, weil sich die Personen im Pool spezifisch dafür angemeldet haben, um an Studien teilzunehmen.
Ein Pool wird typischerweise über verschiedene Kanäle wie Online- und Offline-Kampagnen aufgebaut, um eine gute Durchmischung an Probanden sicherzustellen. Die Grösse des Pools hängt davon ab, welche Profilanforderungen vorliegen und wie regelmässig man Studien durchführt.
Als Faustregel gilt: Bei durchschnittlichen Profilanforderungen / Inzidenzrate (Konsumentenprofil mit 3-4 Kriterien) müssen 250 Kandidaten elektronisch eingeladen werden, um eine qualitative In-house-Studie mit 5 Personen zeitnah füllen zu können. Bei TestingTime vermitteln wir aktuell (Stand Ende 2017) knapp 2’000 Studienteilnehmer pro Monat, was die aktuelle Poolgrösse von über 100’000 Testpersonen gemäss dieser Faustregel gut erklärt.
«Um eine Testperson mit einem durchschnittlichen Anforderungsprofil zeitnah rekrutieren zu können, müssen im Schnitt 50 mögliche Kandidaten zum Screening eingeladen werden.»
Die Inzidenzrate (grün) sinkt mit jedem gewünschten Kriterium.
2. Testpersonen-Screening
Eine Datenbank weiss oft nur wenig über die registrierten Studienteilnehmer. Dies gilt vor allem bei neu registrierten Personen. Um die passenden Kandidaten aus einem Pool zu selektieren, führt man daher ein Screening durch.
Jede Studie legt ein genaues Profil fest, nach welchem der Screener aufgebaut wird. Ein Screening kann elektronisch, mündlich (z. B. telefonisch) oder als Kombination von beidem durchgeführt werden. Während dem Screening stellt man möglichst offene Fragen, um die passenden Kandidaten zu identifizieren.
Bei elektronischem Screening ist es sehr wichtig, die Fragen möglichst klar und ohne Interpretationsspielraum zu formulieren. Bei zu viel Interpretationsspielraum läuft man Gefahr, unpassende Kandidaten zu wählen, was schlecht für die Studie ist.
Beispiel einer guten Frage ohne Interpretationsspielraum:
In welchem Bereich liegt dein aktuelles Bruttojahreseinkommen (dein Verdienst vor allen Abzügen), welches du aus deiner Haupttätigkeit erwirtschaftest?
Die selbe Frage mit viel Interpretationsspielraum:
In welchem Bereich liegt dein Jahreseinkommen?
Bei TestingTime führen wir eine Kombination aus elektronischem und mündlichem (einmalig) Screening durch. Das mündliche Screening dient primär zur Qualitätskontrolle. Um konsistente Profile zu pflegen, ist es wichtig, dass die Antworten des Screenings in die Datenbank und die Testpersonen-Profile zurückgespeichert werden. Dies ist notwendig, um für zukünftige Screenings die Personen zielgerichteter einladen zu können.
3. Incentivierung / Bezahlung der Testpersonen
Ein nicht vernachlässigbarer Teil der Rekrutierung ist die Bezahlung der Testpersonen im Anschluss an die Studie. Bei traditionellen Rekrutierungen wird das Geld oft in Bar vor Ort ausbezahlt.
Dies funktioniert natürlich nur bei In-house-Studien. Bei Remote-Studienformate wie Skype-Interviews oder nicht moderierten Studien muss die Incentivierung nachträglich ausbezahlt werden. Incentiviert man mit Geld, überweist man dies via IBAN oder PayPal. Incentiviert man mit Coupons, müssen diese zuerst erstellt und dann mittels E-Mail oder Post zugestellt werden.
Tipp: In unserer eigenen Praxis incentivieren wir aufgrund der Transparenz und Einfachheit nur mit Geld. Coupons haben je nach Empfänger einen unterschiedlichen Wert, Geld hat bei allen einen vergleichbar ähnlichen Gegenwert. Erfahrungsgemäss ist auch die No-Show-Rate tiefer, wenn mit Geld anstatt Coupons incentiviert wird.
4. Datenpflege
Eine gute Testpersonendatenbank benötigt Pflege. Das Spektrum reicht von Profilaktualisierung über das Tracken von Teilnahmeaktivität (um Studien-Junkies zu verhindern) bis hin zum Löschen einer Person aus der Datenbank.
Gibt eine Person heute an, dass sie ein iPhone nutzt, mag das vielleicht in einem Jahr nicht mehr wahr sein. Profilangaben müssen daher periodisch aufgefrischt werden. Wir lösen das Problem, indem wir jeder Screeningfrage ein Ablaufdatum mitgeben. Daraus resultiert, dass die Person beim nächsten Screening bestimmte Fragen erneut beantworten muss, da die Antwort abgelaufen ist. Möchte sich eine Person aus dem Pool abmelden, muss man aus Datenschutzgründen die Person korrekt löschen und nicht als Karteileiche inaktiv weitertragen.
Selber rekrutieren vs. Auslagerung an Rekrutierungsfirma
Wie wir feststellen mussten, kann der Aufbau und die Pflege einer Testpersonendatenbank schnell aufwändig und teuer werden. Daher empfehlen wir grundsätzlich nur in Ausnahmefällen, eine eigene Testpersonendatenbank aufzubauen.
Die perfekte Analogie ist der “Eigener Server vs. Cloud-Hosting”-Vergleich. Wo früher noch mühsam eigene E-Mail-Server im Unternehmen installiert und gewartet wurden, gehen heute die meisten Firmen direkt zu einem Cloud-Anbieter wie Amazon Web Services. Das ist einfacher, günstiger und sicherer. Profis betreiben Rechenzentren um ein Vielfaches besser als interne IT-Fachkräfte.
Dasselbe gilt für die Testpersonen-Rekrutierung. Es macht nämlich selten Sinn, einen eigenen Pool aufzubauen und zu pflegen. Diese Tätigkeiten zählen in den meisten Fällen weder zur Kernkompetenz deines Teams, noch tragen sie in sich zur Wertgenerierung des Unternehmens bei. Wenn du dir und deinem Team einen Stundenlohn gibst und die Arbeitsstunden zusammenrechnest, die für die interne Testpersonen-Rekrutierung aufgewendet werden müssen, wird schnell klar, dass sich eine Auslagerung in den meisten Fällen lohnt.
Nachfolgend ein paar Beispiele aus der Praxis, welche dieses Thema wunderbar illustrieren:
Wieso die soultank AG ihren eigenen Pool aufgegeben hat
Historisch bedingt besitzen die meisten Usability- und UX-Agenturen einen hauseigenen Testpersonen-Pool. Typischerweise ist dieser ca. 1’000 Personen stark und wird für eigene Usability-Projekte verwendet. So war auch die soultank AG, eine etablierte Usability-Agentur aus der Schweiz, die vergangenen 15 Jahre aufgestellt. Teilnehmer wurden typischerweise aus dem eigenen Pool rekrutiert. Bei Engpässen wurde auf den Pool von TestingTime zugegriffen. Im Jahr 2016 hat sich die soultank AG dazu entschieden, ihren eigenen Pool aufzugeben und die Rekrutierung vollumfänglich an TestingTime auszulagern.
«Dank nachhaltig guten Erfahrungen mit TestingTime haben wir die Entscheidung gefasst, die Rekrutierung komplett an sie auszulagern. Mit einem Serviceangebot wie dem von TestingTime gibt es für eine moderne Usability- und UX-Agentur keinen Grund mehr, das Rekrutierungsgeschäft selber zu betreiben. TestingTime hat sich auf das Thema spezialisiert und löst die Herausforderungen der Rekrutierung effizient und zuverlässig. Wir sind die Profis in der Durchführung von Usability-Studien und natürlich in der Beratung im UCD-Umfeld. Da liegt unser Fokus.»
– Marcel Uhr, Inhaber soultank AG, Usability-Agentur
Vorteile einer Auslagerung:
- Fokus auf die Kernkompetenzen wie Planung, Durchführung und Analyse von Usability-Studien.
- Einsparung von notwendigen Ressourcen für Poolaufbau, Pflege und Rekrutierung.
- Eine Poolgrösse von 1’000 Personen schränkt ein. Die Rekrutierung aus einem Pool von über 100‘000 ermöglicht präzisere Profile.
- Spezialisten erledigen den Rekrutierungsjob schneller, günstiger und zuverlässiger.
- Stressfreie Studien. Kurzfristige Absagen oder Änderungen von Testpersonen müssen nicht selbst gehandhabt werden.
Nachteile einer Auslagerung:
- Rekrutierung ist abhängig von TestingTime oder einem anderen Partner.
- Wegfall von Umsätzen aus einem Nebengeschäft.
Wieso das SRF die Finger vom eigenen Pool lässt
Tamara Oess ist Projektmanager beim SRF und u. a. verantwortlich für die Rekrutierung der Testpersonen für die internen Usability-Tests. Sie arbeitet regelmässig mit uns zusammen, aber aus wirtschaftlichen Gründen wird beim SRF ab und zu diskutiert, ob es langfristig spannend wäre, die Rekrutierung selber durchzuführen.
«Wir überprüfen aus wirtschaftlichen Gründen regelmässig, einen eigenen Pool aufzubauen. Denken wir aber im Detail darüber nach, wird uns immer wieder bewusst, wie aufwändig und kompliziert die Rekrutierung eigentlich ist. Der Aufbau eines Pools ist dabei nur ein kleiner Teil. Der Aufwand für das Screening, die Incentivierung, die Pflege und das No-Show-Handling haben uns jedes Mal davon abgehalten, eine Internalisierung in Betracht zu ziehen.»
– Tamara Oess, Projektmanager Schweizer Fernsehen
5 Szenarien für den Aufbau eines eigenen Testpersonen Pools
Es gibt heute kaum noch Gründe für den Aufbau eines eigenen Pools und die eigenständige Rekrutierung. Möchte man es aus wirtschaftlichen Gründen in Betracht ziehen, rate ich sehr davon ab. Die Kosten für den Pool und die eigene Rekrutierung sind um ein Vielfaches teurer im Vergleich mit einer Auslagerung. Es gibt jedoch einige Randfälle, wo sich der Aufbau eines eigenen Pools lohnen könnte.
1. Du brauchst sehr spezielle Zielgruppen
Ein häufiger Grund für einen eigenen Probanden-Pool ist der regelmässige Bedarf einer sehr speziellen Zielgruppe. Oft sind das Zielgruppen, die nur innerhalb einer Firma existieren oder einfach sehr schwer zugänglich und verfügbar sind. Angenommen, du arbeitest in einem UX-Team, welches User Interfaces für Kernkraftwerk-Steuerungen konzipiert. Eine typische Zielgruppe hier wäre der AKW Maintenance Engineer. Es gibt nicht viele auf der ganzen Welt (tiefe Inzidenzrate), und sie sind sehr schwierig über öffentliche Kanäle zu rekrutieren.
© iaea.org
2. Du brauchst sehr schwer verfügbare Zielgruppen
Zu diesen Zielgruppen gehören Ärzte, Geschäftsführer / CEOs und sehr wohlhabende Menschen. Egal wieviel an Incentivierung angeboten wird, die Zeit dieser Menschen ist das höchste Gut. Ein eigener Pool bestehend aus diesem Segment könnte das Leben eines User Researchers um einiges vereinfachen. Der Aufbau eines solchen Pools ist sehr langwierig und passiert primär über das persönliche Netzwerk. Die Incentivierung muss zudem spezieller und persönlicher sein als eine Bezahlung von 500 € für ein 1-stündiges Interview. Z. B. Zugang zu einem Netzwerk, einem Event oder eine spezielle Flasche Wein, etc.
© mskcc.org
3. Du brauchst Menschen mit Behinderungen
Leider wird diese Zielgruppe viel zu wenig angefordert. Der diesjährige World Usability Day war voll im Zeichen der Barrierefreiheit und Inklusion. Das Spektrum an Behinderungen ist riesig, daher ist es auch ein komplexes Thema im Bereich Rekrutierung. Falls du Produkte für Menschen mit speziellen Behinderungen entwickelst, lohnt es sich, einen eigenen Pool aufzubauen. Die meisten Poolanbieter sind nämlich meist nicht in der Lage, diese Zielgruppen zu rekrutieren. TestingTime möchte in diesem Bereich in Zukunft den Pool stark ausbauen, um Firmen einfachen Zugang zu Menschen mit verschiedenen Behinderungen zu verschaffen.
4. Closed Beta Gruppen
Es gibt Anwendungen, wo man regelmässig und immer mit den gleichen Personen Studien resp. Folgestudien durchführen möchte. Das können z. B. Closed Beta-Testgruppen sein, wo man im kontrollierten Umfeld ein Produkt über längere Zeit testen möchte. Im Pharmabereich sind das Probanden für Clinical Trials. Closed Groups ermöglichen es, eine gewisse Nähe und Vertrautheit zu den Probanden aufzubauen.
Im Bereich UX hat Nemanja Memarovic darüber berichtet, dass er die Durchführung von Micro User Tests (Slice Testing) mit einer eigenen und geschlossenen Testgruppe bevorzuge. Dazu hat er eine eigene E-Mail-Liste aufgebaut, die er schnell und günstig für solche kleine Experimente verwenden kann.
«Meine Micro User Tests dauern typischerweise 2-3 Minuten und bauen auf vorgängigen Erfahrungen der User auf. Dazu ist es hilfreich mit einer geschlossenen Testgruppe zu testen. Obwohl bei 95% meiner Studien die Rekrutierung über TestingTime läuft, möchte ich in diesem Bereich mein limitiertes UX Budget für Micro Tests nicht verwenden.»
– Nemanja Memarovic, Design Strategist Ringier
Im Bereich UX-Design raten wir jedoch davon ab, immer mit den gleichen Personen wiederkehrende Studien durchzuführen. Der Lerneffekt über Zeit beeinflusst das Feedback viel zu stark (biased). Wir empfehlen daher, immer möglichst unvoreingenommene Testpersonen zu verwenden. Du musst dir zudem bewusst sein, dass User, die sich für Beta-Pools anmelden, oft sehr technologieaffin sind und du somit deine Produkte anhand des Feedbacks dieser Early-Adopter-Gruppe optimierst.
5. Es besteht bereits eine Datenbank, die du verwenden muss
Die Situation ist ähnlich wie bei der soultank AG im oben genannten Beispiel. Du kannst natürlich mit deiner bestehenden Datenbank arbeiten und daraus Testpersonen rekrutieren. Ich empfehle dir jedoch, auch Rekrutierungen mit einer externen Firma zu testen.
Dann kannst du die Qualität der Testpersonen sowie den Aufwand zur Rekrutierung gegenseitig vergleichen und langfristig die bessere Option wählen. Die Gefahr bei der Rekrutierung aus dem eigenen Pool ist, dass sich gerne immer die gleichen Personen (Fanboys/-girls) für die Studien melden und sich somit deine Studienresultate verfälschen.
Zusammengefasst
Der Aufbau und die Pflege eines Testpersonen-Pools ist aufwändig und teuer. Nur in wenigen Randfällen lohnt es sich, einen eigenen Pool in Betracht zu ziehen. In den meisten Fällen empfehle ich, die Rekrutierung an Profis auszulagern.
Wird in deinem Team ein bestehender Testpersonen-Pool verwendet, empfehle ich dir, dein eigenes Rechenbeispiel zu den Kosten zu machen. Kommt dein Team dabei zur Erkenntnis, dass die Auslagerung der Rekrutierung sich enorm lohnen würde, kontaktiere mich unter reto@testingtime.com, um eine mögliche Poolübernahme zu diskutieren.
Hast du spezifische Fragen zur Auslagerung deiner Testpersonen-Rekrutierung? Unsere Kundenberater Ahmet (ahmet@testingtime.com) und Stefan (stefan@testingtime.com) helfen dir sehr gerne weiter.
