Inahltsverzeichnis
1. You are not the user
2. ROI der UX: Mehr als nur Zahlen
3. Usability-Test vs. Expert Reviews
4. Erkenntnisse der Studie
5. Tipps, die dich beim Evaluationsprozess unterstützen
6. Fazit
1. Your are not the user
In hitzigen Debatten um Fristen und Budgets werden UX-Aktivitäten wie z.B. Usability-Tests oft als erstes über Bord geworfen. «Das machen wir später!» oder «Wir kennen unsere Kundschaft und wissen, was sie will.» sind typische Argumente. Doch mit dieser Perspektive tappt man in die bekannte Denkfalle: «You are not the user!».
Quelle: jonaskamber.com
Wenn man UX vernachlässigt, verpasst man möglicherweise Veränderungen bei den Kundenbedürfnissen, was wiederum zu Umsatzeinbussen oder schlussendlich sogar zum Scheitern der Unternehmung führen kann. Netflix und HBO sind heute noch erfolgreich, während ihre ehemaligen Konkurrenten, etwa Blockbuster oder Hollywood Video niemand mehr kennt.
Ich versuche immer wieder, Menschen die Bedeutung und den Wert von UX zu erklären, oft auch mit Argumenten, die scheinbar zu schwach oder nicht überzeugend genug waren. So plapperte ich auch bekannte Aussagen wie «Jeder in UX investierte Dollar bringt 100 $ Gewinn». Trotz der Stichhaltigkeit dieser Kosten-Nutzen-Argumente stossen sie bei einigen auf taube Ohren, da für sie der Nutzen offensichtlich zu gering erscheint. Diese zweifelnden Personen blieben unbeeindruckt, unabhängig davon, wie überzeugend die vorgebrachten Argumente auch sein mögen. Es ist ironisch: Die UX-Branche hat selbst eine schlechte UX.
Ein anderer Ansatz, den Nutzen von UX zu erklären, ist der von Aly und Sturm (2019) vorgeschlagene Weg, die Risiken des Nichtstuns in Sachen UX stärker hervorzuheben. Stelle dir vor, was du alles verpasst, wenn du nicht in UX investierst. Willst du das nächste Hollywood Video sein? Diese Methode betont die potenziellen Verluste und negativen Konsequenzen, die Unternehmen erleiden könnten, wenn sie die Bedeutung von UX ignorieren. Dies unterstreicht die Notwendigkeit, informierte Entscheidungen zu treffen und die offensichtlichen sowie versteckten Kosten des Nichtstuns zu verstehen.
2. ROI der UX: Mehr als nur Zahlen
Die Diskussion zeigt, dass das Ignorieren der User Experience riskant ist, doch wie lässt sich der tatsächliche Wert von UX-Massnahmen messen? Die Kosten zu berechnen ist schwierig – der Nutzen noch viel schwieriger. Daher ist auch eine Aussage über den Return on Investment (ROI), also inwiefern sich investierte Kosten im Vergleich zum daraus resultierenden Gewinn lohnen, fast nicht möglich.
Es gibt unzählige Artikel und Bücher zum Thema, sogar ein eigens gewidmetes Buch mit dem Titel «Cost-Justifying Usability – An Update for the Internet Age». Aber es stammt aus dem Jahr 2005 und erhielt ironischerweise seither keine Aktualisierungen mehr.
Doch was kostet es nun, die UX zu prüfen? Aus meiner Erfahrung lassen sich Expert Reviews gut in ein bis drei Tagen durchführen, für professionelle User-Tests sind aber schnell fünf – zehn Tage notwendig. Für sauber durchgeführte qualitative Interviewstudien noch mehr. Aber es geht nicht nur um Kosten. Nicht alles, was in der User Experience zählt, lässt sich in Zahlen ausdrücken.
Den Nutzen zu berechnen ist, wie gesagt, noch komplizierter. Zwar kannst du klare Kennwerte (engl. Key Performance Indicators, KPI), wie Zeitersparnisse durch UX-Optimierungen einfach berechnen und dann den Gewinn in Franken ausdrücken. Zum Beispiel: Dank einem Usability-Test wurde eine Applikation optimiert und dies spart nun bei zwei Mitarbeitenden täglich je 15 Minuten Zeit, was im Monat etwa 10 Stunden ausmacht. Also eine Ersparnis von 700 CHF / Monat. So kann man den Aufwand gegen den Ertrag abwägen.
Aber dies lässt sich nicht immer genau vorhersagen und Usability-Tests sind nicht gleich Usability-Tests. So beeinflussen unter anderem die ausgewählten Testpersonen, die Anzahl der Aufgabenstellungen, die Moderation oder der Prototyp selbst und vieles mehr, was beim Test herausgefunden wird.
Ganz schön viel! Sollen wir einfach UX-Fachpersonen fragen?
3. Usability-Test vs. Expert Reviews
Usability-Tests sind zweifellos ein grosser Aufwand – sowohl zeitlich als auch finanziell. Daher denken viele, es sei viel günstiger, Personen mit einer UX-Expertise zu fragen, die einem dann sagen, was man am Produkt, an der Website etc. anpassen soll.
In meiner Masterarbeit habe ich drei UX-Evaluationsmethoden miteinander verglichen, um die Frage zu beantworten, wie es um deren Kosten und Nutzen steht. Dabei habe ich folgende Methoden ausgewählt:
– Moderierter Usability-Test mit 22 Personen (Rekrutiert mit TestingTime)
– Automatisierter Usability-Test (Tool: Solid) mit 22 Testpersonen
– Expert Review (Heuristische Evaluation) mit fünf erfahrenen UX-Fachleuten
Mit allen drei Methoden wurde dann der gleiche Prototyp einer Online-Bewerbungsplattform evaluiert.
Du fragst dich vielleicht, warum ich 22 Personen für den moderierten Usability-Test ausgewählt habe. Es geht dabei darum, die branchenübliche Regel “Magic Number 5” (“5 Personen finden 80% der Probleme”) zu hinterfragen und eine klaren Vergleich zwischen der moderierten und automatisierten Methode zu ermöglichen.
4. Erkenntnisse der Studie
Während meiner Untersuchung verschiedener Usability-Evaluationsmethoden habe ich Erkenntnisse gewonnen, die ich im Folgenden detailliert präsentieren werde.
4.1 Die meisten Probleme werden mit einem moderierten Usability-Test gefunden
Mit dem moderierten Usability-Test konnten die meisten Probleme gefunden werden. Dies war zu erwarten, da z.B. Nachfragen möglich ist und so auch zusätzliche Einblicke gewonnen werden können (probing).
Klar könnte man sagen, dass 22 Personen mehr Probleme finden als fünf Fachleute, einfach weil sie mehr sind. Aber meine Untersuchung hat gezeigt, dass im Durchschnitt fünf User zusammen mehr Probleme entdecken konnten als fünf Fachleute.
4.2 Gutes Preis-Leistungsverhältnis bei automatisiertem Usability-Tests
Setzt man jedoch die Gesamtkosten für die Durchführung des Tests (Arbeitsstunden, Lizenzkosten für Tools etc.) ins Verhältnis zur Anzahl der identifizierten Probleme, zeigt sich, dass die Kosten pro gefundenes Problem bei der automatisierten Methode am niedrigsten sind. Dies stellt das beste Preis-Leistungs-Verhältnis dar.
4.3 Meinungen von UX-Fachpersonen gehen auseinander
Beim Expert Review wurde deutlich, dass die Meinungen der Fachleute weit auseinander gingen und unterschiedliche Probleme gefunden wurden. Dies ist für die Praxis insofern problematisch, dass die gefundenen Probleme somit weitgehend von jener Person abhängig sind, welche die Evaluation durchführt. Und es kommt noch schlimmer: Im Alltag werden solche Expert Review selten mit mehr als einer Fachperson durchgeführt.
4.4 Häufige Fehler mit UX-Fachleuten
Hinzu kommt, dass auch UX-Fachpersonen Fehler machen, indem sie entweder tatsächliche Probleme verpassen (miss) oder Probleme vorhersagen, die sich nicht bestätigen oder nur selten auftreten (false alarm). In den Expert Reviews der Studie wurden nur etwa ein Drittel der Probleme gefunden, die in den Usability-Tests bei den Testpersonen tatsächlich auftraten und rund die Hälfte der Probleme wurde gänzlich übersehen.
Das zeigt: Wenn Unternehmen nur auf Expert Reviews setzen, riskieren sie Ressourcenverschwendung und möglicherweise auch die Schaffung von neuen Problemen, die eigentlich gar keine sind. Ein Hoffnungsschimmer? UX-Fachleute schnitten besser ab, wenn es um schwerwiegende Probleme ging.
Insgesamt ist es immer entscheidend, die richtige Methode abhängig von der Fragestellung auszuwählen und dabei den Fokus auf tatsächliche Probleme der User zu legen. Es lohnt sich, Zeit in die Ausarbeitung einer glasklaren Fragestellung zu investieren, denn: Je unklarer die Fragestellung ist, desto schwammiger werden die Ergebnisse.
5. Tipps, die dich beim Evaluationsprozess unterstützen
Aufgrund der Daten und Erkenntnisse aus meiner Studie folgen vier konkrete Ratschläge, um dich bei Evaluationsprozessen zu unterstützen:
Tipp 1: Setze auf Usability-Tests
Aus meiner Erfahrung und Untersuchung sind moderierte Usability-Tests ein wirksames Mittel, um Probleme zu identifizieren. Wenn das Budget knapp ist, ist ein automatistierter Usability-Test eine preiswerte und dennoch effektive Alternative. Bei begrenzten finanziellen Ressourcen kann der Einsatz eines Expert Review in Erwägung gezogen werden, jedoch sollte dabei auch das Risiko von verpassten Problemen und falschen Alarmen im Hinterkopf behalten werden.
Tipp 2: Hinterfrage die «Magic Number 5»
Folge nicht blind der Faustregel «Fünf Testpersonen finden 80% der Probleme» («Magic Number 5»). Diese stimmt nämlich so nicht ganz.
Frage dich besser:
1. Auswirkung: Möchte ich jene Usability-Probleme entdecken, von denen viele meiner User*innen betroffen oder jene, die seltener sind?
2. Sicherheit: Wie fest möchte ich die Resultate dem Zufall überlassen? Die 80-20-Regel (Pareto-Prinzip) bietet eine gute Orientierung, d.h. 80%. Man kann sich das wie beim Hütchen-Spiel vorstellen, wo man raten muss, unter welchem Hütchen die Kugel versteckt ist. Bei höherer Sicherheit hat man mehr Chancen, das richtige Hütchen zu wählen und nicht dem Zufall zu erliegen.
Folgende Tabelle hilft dir bei der Auswahl der Anzahl Testpersonen. Und so gehts: Wenn du Usability-Probleme finden willst, von denen 1 von 10 deiner Testpersonen betroffen sind (also 10%) und dabei 80% sicher sein möchtest, wirklich all diese Probleme zu finden, dann wählst du 16 Personen für deinen Usability-Test aus.
Anzahl Testpersonen nach Auswirkung und Sicherheit (Sauro & Lewis, 2016)
Tipp 3: Nutze das Mehraugenprinzip
Um sicherzustellen, dass Usability-Tests aussagekräftig sind und eine optimale Kosten-Nutzen-Bilanz bieten, empfehle ich, die Auswertungen von mehreren Personen durchführen zu lassen. Denn eine schnelle und oberflächliche Auswertung kann das Risiko erhöhen, wichtige Fehler zu übersehen und somit die Aussagekraft der Tests zu beeinträchtigen. Dies gilt auch bei den Expert Reviews.
Tipp 4: Konzentriere dich auf die gravierendsten Probleme
Ich empfehle dir, dich bei Expert Reviews vor allem auf die gravierendsten Probleme zu konzentrieren. So erhöhst du die Wahrscheinlichkeit, jene Probleme zu erkennen, die auch tatsächlich für die User relevant sind, und vermeidest unnötige Fehlalarme (false alarms).
6. Fazit
Zeit und Budget können begrenzen, ob und wie viele Leute du in einem Usability-Test einbeziehst. Aber denke daran, wenn du zu wenige oder keine Personen einbindest, riskierst du Fehlentscheidungen. Es ist viel einfacher und billiger, Probleme früh zu erkennen und zu beheben, als sie später zu korrigieren.
Entscheidungen unter unsicheren Gegebenheiten sind im Unternehmensalltag normal. Achte darauf, Ressourcen nicht aufgrund falscher Annahmen zu verschwenden. Und wenn du die Kosten von Usability-Tests hinterfragst, könnte das Zweifel an ihrem Nutzen zeigen. Lass dich richtig beraten und nutze Tests nicht nur zur Bewertung, sondern auch zum Lernen und Vertrauensaufbau mit Stakeholdern.
Denke daran: Jeder Schritt zur Verbesserung der User Experience ist es wert. Es ist besser, aktiv zu werden als nichts zu tun. Und wie Jakob Nielsen sagte: «Just do it. The true choice is not between discount and deluxe usability engineering. If that were the choice, I would agree that the deluxe approach would bring better results. The true choice, however, is between doing something and doing nothing. Perfection is not an option. My choice is to do something!».
Oder wie es Popstar Niki Minaj sagt: «Do your f*** research».
