Über alle Hierarchien und Berufssparten hinweg hat sich die Erkenntnis durchgesetzt, dass eine gute User Experience die Basis für erfolgreiche Produkte ist. Gleichzeitig werden Websites, Apps und andere interaktive Anwendungen immer komplexer und daher müssen wir immer strukturierter vorgehen, um deren UX zu sichern.
Wir werden also immer professioneller und unsere Rolle im Unternehmen wird immer bedeutsamer. Die User Experience wird vom Randthema zur strategischen Business-Disziplin. Damit gehen aber auch Ansprüche einher – eben auch der, messbare Ergebnisse zu liefern.
Von der qualitativen Arbeit über UX-Metriken zum ROI
Wenn du dich mit Usability und der ganzen User Experience beschäftigst, dann beschäftigst du dich in der Praxis vor allem mit qualitativen Aspekten. Dich interessiert, wie die Nutzer die Anwendung problemlos und mit Gewinn verwenden können. Du findest z.B. bei einem Usability-Test heraus, dass Nutzer den Einkauf nicht abschließen können, weil sie nicht verstehen, was sie in welche Felder eintragen sollen. Dann spielt es eine untergeordnete Rolle, ob dieses Problem fünf Nutzer hatte oder fünfzehn.
Und der Hauptfokus unserer Arbeit als UX-Experten wird auch bei den qualitativen Aspekten bleiben. Doch quantitative Aspekte spielen auch immer mehr eine wichtige Rolle. Willst du etwa priorisieren, welche Usability-Probleme zuerst behoben werden, dann siehst du dir auch an, wie häufig die Probanden mit den Problemen zu kämpfen hatten bzw. wie viele von ihnen dieses Problem hatten.
Zahlen machen vergleichbar
Und in den letzten Jahren wurden Zahlen in Unternehmen generell immer wichtiger. Messen und Auswerten gehört zu den Kerntätigkeiten jeder Optimierung. Spätestens seit dem Hype um Big Data vor ein paar Jahren hat die Konzentration auf Zahlen noch weiter zugenommen.
Und in größeren Unternehmen sind Kennzahlen oft sogar Teil der Firmenkultur. Als KPIs (key performance indicators, Schlüsselwerte für die Leistungsmessung) sind sie ein Werkzeug, den Erfolg des Unternehmens, einzelner Produkte oder Abteilungen zu messen. Bei manchen sind KPIs sogar Grundlage für die Beurteilung hochrangiger Mitarbeiter – oder es bemisst sich sogar die Höhe des Jahresbonus nach bestimmten KPIs.
Das ist nicht unproblematisch und hat durchaus seine Kritiker – aber Fakt ist: Wenn wir wollen, dass die UX Grundlage der Produktentwicklung, ja besser noch der Markenbildung oder gleich des ganzen Unternehmens wird, dann müssen wir nach den Regeln spielen, die ganz oben in der Hierarchie gelten. Und dazu gehört, dass wir den Wert unserer Arbeit messen lassen müssen.
Zwei Arten von UX-Metriken
Dabei spielen zwei unterschiedliche Arten von Metriken eine Rolle:
- Nutzerzentrierte Metriken wie NPS, SUS, Fehlerrate, Task Completion Time (zu denen gleich mehr)
- Business-Metriken, allen voran der ROI
Sehen wir uns die beiden also einmal näher an und beginnen wir mit dem letzteren:
Der heilige Gral der Business-Metriken: ROI
Der ROI (return on investment) lässt sich als „Anlagerendite“ übersetzen. Letztlich gibt er aber einfach nur Antwort auf die Frage:
Lohnt sich der Aufwand?
Sprich: Wenn du 10.000 Euro für eine UX-Studie ausgibst, wie viel davon bekommst du wieder herein? Es gibt unglaublich viele Möglichkeiten, Geld auszugeben, aber leider nur sehr wenige, es wieder hereinzubekommen. Bei den meisten Produkten geht es also um die einfache Frage: Bekommst du durch deine Maßnahme eine Umsatzsteigerung, die so groß ist, dass sie die Ausgaben übersteigt? Dann hast du einen positiven ROI und somit glückliche Chefs.
Aber ein positiver ROI heißt leider immer noch nicht automatisch, dass deine Maßnahme eine gute Idee ist. Vielleicht gibt es eine andere Maßnahme als deine UX-Studie, die bei gleichem Aufwand eine größere Umsatzsteigerung bringt.
Viele Wirtschaftler lieben den ROI. Denn er ist einfach. Ich sehe an einer einzelnen Zahl, welche Investition was bringt und muss nur noch prüfen, bei welcher Entscheidung die höchste Zahl herauskommt.
Der Haken speziell bei der Anwendung in unserem Bereich der UX ist: Diese Zahl lässt sich gar nicht so einfach herausbekommen. Bei klassischen Usability-Problemen ist es noch einigermaßen leicht: Beim Beispiel, das ich vorher genannt hatte, hattest du herausgefunden, dass die Nutzer den Einkauf nicht abschließen konnten, weil das Formular nicht gut war. Behebst du dieses Problem, dann schließen mehr Nutzer ihren Einkauf erfolgreich ab und euer Umsatz steigt. Diesen Nachweis zu führen, ist in der Praxis nicht ganz trivial, das bekommst du aber noch irgendwie hin.
Verbesserst du aber die Zufriedenheit der Nutzer, wird es schwieriger mit dem Nachweis des ROI. Wenn du etwa das Formular übersichtlicher gestaltest und ihm einen modernen Look verpasst und du vielleicht sogar schicke Micro-Animationen einbaust, dann erfreut das die Nutzer. Aber geht diese Freude so weit, dass sie beim nächsten Besuch deiner Site mehr bestellen? Vielleicht kommen sie häufiger wieder. Oder sie empfehlen deine Seite an Freunde weiter. All das ist dann schon gar nicht mehr so leicht zu messen.
Nutzerzentrierte UX-Metriken
Wie du siehst, sind die Business-Metriken, vor allem der ROI, nicht ohne. Daher mein Tipp: Konzentriere dich zunächst auf die nutzerzentrierten UX-Metriken. Die sind viel leichter zu fassen und du kannst sie unabhängig von anderen Abteilungen selbst aufstellen.
Was sind diese nutzerzentrierten Metriken? Das sind solche, bei denen erstmal nicht der Nachweis im Mittelpunkt steht, dass sich der Aufwand finanziell lohnt. Vielmehr fassen UX-Metriken die User Experience in Zahlen. Sie messen also z.B. wie lange Probanden beim Nutzertest brauchen, um die Testaufgaben abzuschließen. Oder wie viele Fehler sie machen. Oder wie sie das Testobjekt bewerten.
Solche Zahlen helfen dir, bessere Ergebnisse zu erreichen und dich auch methodisch weiterzuentwickeln.
Vor allem bekommst du mit Hilfe von UX-Metriken Vergleichbarkeit. Du kannst z.B. bewerten:
- Wie schwerwiegend gefundene UX-Probleme sind.
- Wie dein Produkt im Vergleich mit der Konkurrenz dasteht.
- Wie sich die UX des Produkts im Lauf der Zeit verändert.
- Welchen Effekt einzelne Änderungen/neue Funktionen etc. haben.
Das Stichwort Vergleichbarkeit ist aus meiner Sicht ganz entscheidend. Denn die meisten Metriken, die uns als UXler zur Verfügung stehen, sind ziemlich sensible Geschöpfe. Je nachdem, wie wir sie anfassen, liefern sie verschiedene Ergebnisse. Wenn du die gleiche Metrik erhebst wie ich, dann kann es sein, dass wir auf ganz ähnliche Werte kommen. Aber das heißt leider nicht, dass unser Produkt wirklich ähnlich gut oder schlecht ist.
Das hat vor allem zwei Gründe:
- Die Metriken lassen sich unterschiedlich erheben und es ist kaum möglich, alle Rahmenbedingungen für alle Projekte zu definieren – zu komplex und vielfältig sind die Anwendungen, die wir untersuchen.
- Wir messen letztlich immer das Verhalten von Menschen. Und die sind trotz aller Gemeinsamkeiten sehr verschieden und reagieren je nach Situation unterschiedlich.
Jeder misst anders – oder etwas anderes
Nehmen wir zum Beispiel die Task Completion Time (TCT) bei einem Usability-Test. Also die Zeit, die ein Proband braucht, um eine Aufgabe abzuschließen. Bei deinem Test des Checkouts auf einer Website kommst du zum Beispiel auf den Durchschnittswert von 1,2 Minuten für alle 15 Probanden. Ich komme bei einem vergleichbaren Test auf den Wert von 2,4 Minuten. Heißt das, meine Website ist nur halb so gut wie deine?
Vermutlich nicht. Denn der Grund kann sein, dass ich die Teilnehmer 5 Produkte habe bestellen lassen und du nur eines. Und sie sollten bei mir auch noch eine abweichende Lieferanschrift angeben.
Oder du hast mit dem Desktop-PC testen lassen und ich mit dem Smartphone.
Oder ich habe speziell mit Senioren getestet.
Oder zufälligerweise waren meine Probanden sehr gesprächig und haben mir während des Tests die ganze Zeit erzählt, wie ihnen die Gestaltung der einzelnen Seiten gefällt und wie sie die Produkte jeweils bewerten. All das führt zu längerer Task Completion Time, ohne dass die Usability tatsächlich schlechter ist.
Empfehlung: immer schön vergleichen
All das schreibe ich nicht, um dir vom Messen abzuraten, im Gegenteil. Mir ist nur wichtig, dass du immer kritisch mitdenkst, was deine Metriken aussagen und was nicht. Am besten ist es immer, wenn du deine Metriken so erhebst, dass du Vergleichsmöglichkeiten hast.
Miss also z.B. nicht nur die Task Completion Time von deinem aktuellen Testobjekt. Sondern miss die z.B. auch mit einer früheren Version. Oder mit einer Konkurrenz-Anwendung. Je öfter du misst, desto mehr Daten sammelst du und desto mehr Vergleichsmöglichkeiten hast du im Lauf der Zeit.
Vorsicht bei der Weitergabe
Auch kritisch abwägen solltest du, welche Zahlen du herausgibst. Das hat vor allem zwei Aspekte:
- Verstehen deine Kollegen bzw. Chefs auch, was die Zahlen aussagen?
- Ziehen sie vielleicht Schlüsse aus den Zahlen, die ungünstig für dich sind?
Generell müssen wir aufpassen, dass wir keine Zahlenfixierung bei den Kollegen fördern. Gerade weil Zahlen so schön klar und vergleichbar sind, bergen sie auch eine Gefahr: Man sieht nur noch auf die Zahlen und meint damit, alles Wesentliche erfasst zu haben. Aber die meisten unserer Ergebnisse sind und bleiben qualitativ. Wir wollen, dass die UX insgesamt betrachtet und verbessert wird. Und das ist nur möglich, wenn man auch die Ergebnisse ansieht, die wir inhaltlich gefunden haben und nicht nur auf die Zahlen schaut.
Du musst also sehen, dass du die richtige Balance zwischen Anekdotischem/Qualitativen und Quantitativem/Metriken findest.
Welche UX-Metriken eignen sich am besten?
Diese Frage ist so klar und naheliegend wie sie schwer zu beantworten ist. Ich will dich jetzt nicht mit dem Beraterspruch: „Kommt drauf an“ abspeisen, daher nenne ich ein paar Beispiele. Aber natürlich kommt es trotzdem darauf an, was du genau messen willst und wer mit den Metriken später arbeiten soll.
Es gibt unüberschaubar viele Metriken. Für welche du dich entscheidest, ist weniger wichtig, als einmal zu starten mit dem Messen.
Am leichtesten tust du dir, wenn du mit bewährten Metriken anfängst. Damit vermeidest du über statistische oder psychosoziale Fallstricke zu stolpern. Denn das Gemeine ist: Beim Messen kann man einiges falsch machen, ohne es zu merken. Fragebögen zu entwickeln etwa ist eine Kunst. Etwas Empathie und Erfahrung reichen nicht aus, um einen wissenschaftlich sauberen Fragebogen zu erstellen.
Entscheidest du dich für etablierte Metriken, hast du außerdem den Vorteil, dass du deine Ergebnisse mit anderen vergleichen kannst.
Aus meiner Sicht eignen sich vor allem die folgenden:
- SEQ (Single Ease Question)
- SUS (System Usability Scale)
- NPS (Net Promoter Score)
Der SEQ besteht lediglich aus der Frage: „Wie leicht war diese Aufgabe?“. Der SUS hat 10 Fragen und ist speziell für den Testabschluss geeignet. Der NPS wiederum besteht nur aus einer einzigen Frage: „Wie wahrscheinlich ist es, dass du dieses Produkt an Freunde oder Kollegen weiterempfiehlst?“
Ich hatte dir vorher diese Messgrößen als nutzerzentrierte Metriken vorgestellt.Daneben gibt es noch die Business-Metriken, also den Versuch, den ROI zu messen. Das ist dann für Fortgeschrittene. Hier kommen Werte wie diese ins Spiel:
- Abbruchquote
- Konversionsrate
- Einkaufswert
- Wiederkehrfrequenz
Wie du diese erhebst, das würde den Rahmen dieses Beitrags sprengen. Aber wie gesagt, konzentrier dich am Anfang zunächst auf die UX-Metriken.
Fazit: Fang am besten gleich an mit Messen
Wenn wir die UX in unseren Unternehmen weiter voranbringen wollen, dann sollten wir stärker auf die Messbarkeit unserer Arbeit setzen.
Wir haben etwas anzubieten (UX) und müssen unserer Zielgruppe (den internen Stakeholdern) vermitteln, warum diese das „kaufen“ sollten. Dazu versetzen wir uns am besten in unsere Stakeholder hinein und finden die Metriken, welche diese überzeugen.
Wenn du das schaffst, stärkst du die Rolle der UX weiter, du und deine Kollegen werden früher eingebunden, ihr werdet ernst genommen und bekommt mehr Budget & Mitarbeiter. Metriken sind dabei ein gutes Argument für eure Überzeugungsarbeit.
Daher mein Tipp: Plane am besten gleich heute, welche Metrik(en) du bei deinem nächsten Test bzw. Projekt erheben willst. Schreibe diese doch einfach gleich in die Kommentare – und wir freuen uns auch, wenn du deine Erfahrungen mit den vorgestellten oder anderen Metriken dort teilst!
??? E-Book: UX messbar machen
Jens Jacobsen, der Autor des deutschen Bestsellers „Praxisbuch UX & Usability“, hat in Zusammenarbeit mit TestingTime ein umfassendes, 35-Seitiges E-Book zum Thema „Messen der User Experience“ verfasst. Für alle Leser dieses Blogs, stellen wir dieses kostenlos zum Download zur Verfügung.
