Inhaltsverzeichnis
1. Survalyzer liefert die Antworten und TestingTime die Studienteilnehmer
2. Methodische Annäherung der Marktforschung und UX Research
3. Qualität im Angebot, Qualität in der Experience
4. Kunden aus der Marktforschung, User und Customer Experience sowie Innovationsabteilungen
5. Templates für die quantitative UX Research zur Messung von UX-KPIs
6. UX Toolbox für kostenlose quantitative UX Research
1. Survalyzer liefert die Antworten und TestingTime die Studienteilnehmer
Christian Hyka ist seit bald 10 Jahren in der Rolle als Geschäftsführer bei Survalyzer. Er verantwortet die strategische Weiterentwicklung des Produkts sowie die Unternehmensstrategie, hilft aber auch im Vertrieb mit. Mit ihrer intuitiven Umfragesoftware unterstützt Survalyzer Marktforscher bei der Umfrageerstellung, beim Sampling und bei der Auswertung. Die Software hat tolle Feature-Highlights zu bieten wie Reportings als fertige Powerpoint-Präsentation auf Knopfdruck ebenso wie ein Online-Dashboard mit diversen Filtermöglichkeiten. Das Produkt deckt alle Bedürfnisse im Online-Datenerhebungsprozess, um agil und schnell die benötigten Erkenntnisse zu liefern.
Reto Lämmler, Co-Founder und CEO von TestingTime, hat das Unternehmen Anfang 2015 gemeinsam mit Oliver Ganz gegründet, der als Chief Technical Officer agiert. Die Idee hinter TestingTime ist, das Leben von UX und User Researcher zu vereinfachen. Dabei übernimmt TestingTime den kompletten Rekrutierungsaufwand der Testpersonen und verfolgt damit die Vision, eine Welt voller glücklicher Nutzer zu schaffen. Reto sorgt als CEO dafür, dass TestingTime in die richtige Richtung vorantreibt.
Das ist kurzum auch das Thema des Gesprächs zwischen den beiden Thought Leaders aus der Marktforschung und UX Branche. Wie geht es in diesen Bereichen weiter? Wie geht es mit den Unternehmen weiter? Christian und Reto sind irgendwie in zwei verschiedenen Welten zu Hause, doch sind sie extrem ähnlich. Weshalb? Weiterlesen und herausfinden.
2. Methodische Annäherung der Marktforschung und UX Research
Im Allgemeinen ist die Marktforschung darauf ausgerichtet, das Kaufverhalten und die Präferenzen in Bezug auf Produkte und Botschaften zu verstehen. Sie hat das Ziel die Faktoren, die zum Verkauf führen, zu verstehen und zu interpretieren. UX hingegen fokussiert auf die Interaktion zwischen Kunden und Produkten. Die Marktforschung deckt die Zielgruppe und Trends für ein Produkt oder eine Dienstleistung auf. Die User Experience im Gegensatz erforscht, wie man das Nutzererlebnis für die Zielgruppe begehrenswerter machen kann. Wenn man dies so liest, kommt die Frage auf, welche Potentiale bei einer Kombination beider Disziplinen entstehen könnten? Und wenn man sich die Entwicklung beider Disziplinen anschaut; ob es früher oder später sogar zu einer Verschmelzung kommt?
2.1 Quantitative oder qualitative Marktforschung
Die klassische Marktforschung ist eine traditionelle Branche, während die UX-Forschung als agil und modern gilt. In der Marktforschung gibt es bereits seit mehreren Jahrzehnten die Bereiche quantitative und qualitative Marktforschung. Und die User Experience Research, die es mittlerweile in den verschiedensten Facetten gibt, kommt historisch gesehen aus der qualitativen Marktforschung.
Die quantitative Marktforschung, in der Survalyzer unterwegs ist, belächelt traditionell die qualitative Marktforschung ein wenig gemäss Christian. Denn wenn es um harte Fakten für eine breite Masse geht, braucht es die quantitative Marktforschung mit ihren grossen Stichproben. In diesem Fall genügt eine qualitative Untersuchung mit wenigen Teilnehmern nicht mehr.
Die Digitalisierung sieht Christian als einen grossen Game Changer in Zusammenhang mit einer möglichen Vermischung beider Methoden. Die Research-Tools können dabei die Brücke schlagen, da gewisse Funktionsweisen die gleichen sind. Zum Beispiel ob jetzt einen Screener für Testpersonen oder eine Online-Survey erstellt wird, ist technisch gesehen sehr ähnlich. Christian ist sich daher sicher, dass die Grenzen zwischen der quantitativen und qualitativen Forschung verschmelzen werden. Denn die Leute arbeiten plötzlich in denselben Tools und tauschen ihre Erfahrungen aus. Zwar haben beide Domänen teilweise immer noch unterschiedliche Tools im Einsatz, aber sie werden immer mehr voneinander profitieren können.
2.2 UX Researcher oder klassische Marktforscher
Ähnlich sieht es Reto. Die Marktforscher haben früher die UX Researcher und ihre Vorgehensweise belächelt. Überspitzt gesagt wurde vor allem von quantitativen Marktforschern nicht ernst genommen, dass jemand mit lediglich fünf User Tests allen sagen kann, wie jetzt das Produkt von morgen gestaltet werden muss. Es war damals eine sehr agile Arbeitsweise, während die Marktforscher sehr auf die methodische Korrektheit nach Wasserfallprinzip behaftet waren.
Hinzu kommt, dass es die Marktforschung seit mehreren Jahren als Studiengang gibt und das Konzept ist noch dasselbe wie vor Jahren. UX-Studiengänge hingegen sind sehr neu. Reto hat selbst einen Master in Human Computer Interaction Design (HCID) absolviert, welchen es noch nicht allzu lange gibt.
Die Methoden in der UX-Welt haben sich in der Zwischenzeit verändert und verbessert. Es gibt nicht mehr nur den einfachen 5-Personen-Usability-Test, sondern verschiedene Studienmethoden. Zudem hat man hat diese durch quantitative UX-Methoden ergänzt. Qualitative Resultate werden mit quantitativer Validierung gestützt.
Reto stimmt daher zu, die Marktforschung- und UX-Research-Welt kommen sich immer näher. Man verwendet nicht nur teilweise die gleichen Tools, auch bei den Methoden gibt es Parallelen. Schlussendlich wollen beide das Gleiche: Produkte und Services anbieten oder entwickeln, die Kunden lieben und diese daher nutzen und kaufen.
3. Qualität im Angebot, Qualität in der Experience
Qualität ist bei Survalyzer und TestingTime ein zentrales Thema – einfach in einem etwas anderen Kontext. Sie ist ein Schlüsselfaktor für ein grossartiges Kundenerlebnis.
3.1 Hochqualitative Resultate bei Online-Umfragen
Bei Survalyzer geht es vor allem darum, Qualität bei der Integration ihrer Lösung sicherzustellen. Die Qualitätschecks hierzu werden hauptsächlich automatisiert und maschinell gelöst. Jedoch werden sie laufend vor Herausforderungen gestellt, wie beispielsweise bei der Ausfüllzeit einer Umfrage. Wie lange braucht jemand, um die Survey auszufüllen? Was ist hier angemessen und was könnte auf einen unpassenden Teilnehmer hindeuten? Oder ein anderes Thema sind die sogenannten “Straightliners”. Straightlining tritt auf, wenn Umfrageteilnehmer identische (oder fast identische) Antworten-Optionen auswählen. Das verringert die Datenqualität der Umfrageresultate.
Ein weiteres Thema sind die “Trap Questions”. Hier stellt Survalyzer Kunden einen Katalog an Fragen zur Verfügung, um solche Personen abzufangen. Mit Hilfe dieser werden Befragte identifiziert, die den Fragen der Umfrage keine grosse Aufmerksamkeit schenken. Das wiederum bedeutet, dass sie nicht nur die “Trap Question” selbst, sondern auch andere Fragen in der Umfrage suboptimal beantworten.
Zuletzt kommen noch die “Bad open answers”. Das ist das grösste Problem für Survalyzer und ihre Kunden. Denn die Teilnehmer schreiben teilweise irgendetwas wie “afds” in das Antwortfeld. Aber genau diese Verhaltensmuster aufzudecken und zu eliminieren, ist für Survalyzer und seine Kunden in Bezug auf Qualität sehr entscheidend.
3.2 Hochqualitatives Panel mit zuverlässigen Testpersonen
Was TestingTime von Kunden oft hört, ist, wie diese in der Vergangenheit schlechte Erfahrungen mit Panel-Anbietern für quantitative Forschung gehabt haben. Sie haben diese teilweise für eine qualitative Forschung nutzen wollen und waren enttäuscht von den Ergebnissen. Für Survalyzer sind die vorgängig genannten Probleme bereits eine grosse Herausforderung und wenn dann noch unpassende Umfrageteilnehmer hinzu kommen, wirkt es sich noch negativer auf das Resultat aus.
TestingTime hingegen kommt aus der Welt der qualitativen Forschung und wir mussten seit Beginn darauf achten, dass wir zuverlässige Teilnehmer rekrutieren. Es führte kein Weg daran vorbei, die Personen vorgängig sorgfältig zu überprüfen. Denn diese müssen zu Interviews erscheinen – ganz egal ob vor Ort beim Kunden, in einem Research Lab oder Remote. Dabei müssen die Personen genau dem Profil entsprechen, das der Kunde verlangt hat. Ausserdem müssen sie genau das sein, was sie beim Screening von sich behauptet haben.
Wir haben schon immer den Aufwand betrieben, sorgfältige Qualitäts-Checks durchzuführen. Jedoch haben wir irgendwann eine Grösse erreicht, bei der wir keine manuellen Checks mehr machen konnten. Beispielsweise die Person persönlich anrufen und überprüfen. Aus diesem Grund und um weiterhin skalieren zu können, haben wir in Machine-Learning investiert. Unser Team hat geprüft, ob man anhand vergangener Antworten und Daten der Personen aussagen kann, ob diese gut bewertet werden. Im Beitrag “Poolqualität in grossem Massstab mit Hilfe künstlicher Intelligenz” oder “Hohe Qualität und Zuverlässigkeit sind kein Zufall” erfährst du mehr über unseren Prozess.
3.3 Survalyzer und TestingTime als Power-Duo
TestingTime hat dieselben Mechanismen im Screener drin wie Survalyzers Trap-Questions, die Antwort-Geschwindigkeit etc. Aber der Algorithmus basiert auf allen Informationen, die die Testpersonen uns bis anhin angegeben haben. Er rechnet automatisch aus, ob eine Testperson zuverlässig ist und sich für die jeweilige Studie eignet.
Unser Angebot würde das Problem bei Survalyzer und dessen Kunden lösen. Wenn man nur gut bewertete und qualitativ geprüfte Personen für Studien einsetzen würde, gäbe es kein Problem mit der Qualität der Umfrageresultate und man würde keine Zeit beim Aussortieren Straightliners etc. verlieren. Der Vorteil der Nutzung von Survalyzer in Kombination mit TestingTime ist, dass Marktforscher auf ein qualitatives Panel wie das von TestingTime zugreifen und dabei eine High-End-Umfragesoftware nutzen können.
4. Kunden aus der Marktforschung, User und Customer Experience sowie Innovationsabteilungen
Survalyzer bedient Kunden aus diversen Branchen in der DACH-Region sowie in den Niederlanden. Sie haben sehr viele Kunden aus dem Bankensektor, da diese eine hohe Anforderung an Compliance-Richtlinien haben und Survalyzer sich auf diese spezialisiert hat. Zu Survalyzers Kunden gehören immer noch hauptsächlich Marktforscher, jedoch wollen sie das ändern.
TestingTime ist europaweit tätig, mit Fokus auf die DACH-Region, Frankreich sowie England. Bei TestingTime können Kunden in drei verschiedene Bereiche unterteilt werden: die klassische Marktforschung, in der sich Survalyzer hauptsächlich bewegt, die User und Customer Experience sowie die Innovationsabteilungen.
Vor sechs Jahren gab es einfach nur den UX Designer. Später hat man dann die Abspaltung zu den UX Researchers gemacht. Der UX Designer kreiert das Erlebnis und der UX Researcher prüft das Erlebnis. Oder sogar noch bevor der UX Designer das Erlebnis kreiert, prüft der UX Researcher, wie das Erlebnis sein muss. Daher kam es auch bei TestingTime zu einem Wechsel und der Fokus liegt hauptsächlich auf den UX Researchern, aber auch Produktmanagern. Diese beschäftigen sich oft mit dem Product-Market-Fit.
Es zählen jedoch auch immer mehr Innovation-Spezialisten und Marktforscher zu TestingTimes Kunden. Die UX und die Innovationsleute machen kleine und regelmässige Projekte mit uns. Marktforscher hingegen kommen mit ganz grossen Projekte, dafür nicht so häufig. Die Agilität war bei UX Fachleuten schon immer in der DNA und bei Marktforschern kommt die Agilität immer mehr auf. Aus diesem Grund kommen sie auch zu TestingTime, da wir die agile Vorgehensweise mit unserem Angebot unterstützen.
Alle drei Bereiche sind auf der Suche nach etwas anderen Antworten. Für TestingTime sind sie alle sehr spannend. Nichtsdestotrotz haben sie eines gemeinsam: sie sind auf der Suche nach Personen zur Validierung ihrer Idee, Produkte oder Services. Und alle benötigen anschliessend ein Survey-Tool, um Antworten zu finden.
5. Templates für die quantitative UX Research zur Messung von UX-KPIs
Survalyzer hat mit ihrer Technologieplattform die Möglichkeit Templates bereitzustellen, die dann durch die Anwender einfach zu nutzen sind. Dieser Template-Ansatz braucht Anwendungszwecke. Letzten Sommer kam bei Christian und Reto die Idee auf, standardisierte Templates für den UX-Bereich zu erstellen.
5.1 System Usability Scale (SUS)
Bei der Evaluation der wichtigsten KPIs, die in der UX-Welt verbreitet sind, kamen sie schnell auf die System Usability Scale (SUS). Diese bietet ein schnelles und zuverlässiges Verfahren zur Beurteilung der Gebrauchstauglichkeit von Designlösungen. Nach einem Deep Dive hat Christian realisiert, dass dies sehr gut zum Ansatz von Survalyzer passt. Er hat unter anderem unsere verschiedenen Blogposts gelesen, wie man UX messen kann (siehe hier: UX messbar machen & die UX-Kultur im Unternehmen stärken).
5.2 Single Ease Question (SEQ)
Nach weiterem Brainstorming haben Christian und Reto gemeinsam entschieden, eine UX Toolbox zu bauen mit verschiedenen Messinstrumenten. Zur SUS kam dann noch die Single Ease Question (SEQ) dazu, die prüft wie einfach ein Instrument zu bedienen bzw. eine Aufgabe zu erledigen ist. Die SEQ konzentriert sich, wie der Name schon sagt, nur auf eine einzige Frage.
5.3 Net Promoter Score (NPS)
Schlussendlich haben sich die beiden noch für den Net Promoter Score (NPS) entschieden. Der Net Promoter Score ermittelt mithilfe einer standardisierten Umfrage, die Kundenzufriedenheit eines Unternehmens. Er kommt ursprünglich aus der Marketingwelt, wird aber überraschend oft in der UX-Welt angewendet. Der SUS ist dem NPS zwecks UX-Forschung überlegen, jedoch ist der NPS ein Industriestandard geworden, weil man über diesen besser mit den Stakeholdern ausserhalb der UX-Welt kommunizieren kann.
6. UX Toolbox für kostenlose quantitative UX Research
Mit den genannten drei Instrumenten hat Survalyzer gemeinsam mit TestingTime die UX Toolbox gestartet. Mit dieser UX Toolbox wollen wir die Brücke zwischen der Marktforschung und UX Research schlagen. Hierdurch wollen wir unseren Kunden einen Vorteil bieten, indem sie Survalyzer und TestingTime in Kombination nutzen und das Beste für ihre Studien herausholen können.
UX ist in den letzten Jahren methodisch extrem gereift und die Messbarkeit der UX ist ein immer mehr zentrales Thema. Die Toolbox unterstützt seine Nutzer darin, UX zu messen und Vorgesetzten sowie anderen Stakeholdern aufzuzeigen, dass der Fortschritt sowie die Investition in UX wichtig ist.
Die UX Toolbox mit ihrem Auswertungs-Convenience-Feature kann ab sofort kostenlos genutzt werden.
