Hypothesenbildung – mit den richtigen Fragen in den Test

Als UX-Experten arbeiten wir alle ganz klar in der Praxis. Und dennoch kann ein bisschen Theorie aus der Wissenschaft helfen, noch bessere Usability-Tests durchzuführen. Kennst du dich mit Hypothesenbildung aus? Probiere es mal aus. Du wirst sehen: Dadurch schärft sich dein Fokus. Allen Beteiligten ist von Anfang an klar, was untersucht wird, und viele Diskussionen erübrigen sich. Vor allem bekommst du mit dieser Methode viel bessere, praktisch verwertbare Ergebnisse aus deinen Usability-Tests.

Eine Wissenschaft genauso wie die Chemie: Usability Research.

Usability Research ist Wissenschaft. Du ersetzt Bauchgefühl durch Fakten. Statt „Ich glaube, die Nutzer mögen unsere Site nicht“ kommst du zu Aussagen wie „Die Nutzer verlassen die Website gleich wieder, nachdem sie eine einzige Seite angesehen haben, weil sie die Navigationsleiste nicht finden“.

Wie jede Wissenschaft profitiert Usability von methodisch korrektem Vorgehen. Und dazu gehört, vor Testbeginn ordentliche Hypothesen zu formulieren.

Doch was sind Hypothesen überhaupt? Und wie können sie dir helfen, bessere Ergebnisse aus deinen Tests zu ziehen?

Warum du mit Hypothesen zu besseren Testergebnissen kommst

Wissenschaftler suchen Wissen. Und ein entscheidendes Werkzeug, das ihnen bei dieser Suche hilft, sind Hypothesen. Also Annahmen, die sie aufstellen. Und das können wir als UX-Experten genauso machen – denn Hypothesen sind ein höchst nützliches Werkzeug. Sie helfen uns, die richtigen Fragen zu stellen. Damit bekommst du Ergebnisse, die konkret und vor allem in der Praxis verwertbar sind. So entsteht am Ende ein besseres Produkt.

Der Klassiker: Einfach mal drauflos testen

Viele, die zum ersten Mal Usability-Tests machen, sind sofort begeistert: Hier haben sie eine Möglichkeit, zu sehen, was wirklich funktioniert und was nicht. Diese Begeisterung führt am Anfang oft dazu, dass einfach wild drauflos alles Mögliche getestet wird.

Das ist schön, weil Begeisterung für Usability immer begrüßenswert ist. Und die Anwendung verbessert man damit auch noch. Aber auf Dauer sollte man zu einem professionelleren Ansatz kommen.

Warum? Weil man mit Einfach-mal-ausprobieren Zeit und Chancen verschenkt. Ein Usability-Test ist aufwendig und kostet neben Zeit oft auch echtes Geld. Übrigens gilt das genauso für andere Tests, etwa A/B-Tests – auch die musst du aufsetzen und auswerten.

Warum wildes Ausprobieren ungünstig ist, wird vielleicht am Beispiel A/B-Testing am deutlichsten. Wahrscheinlich kennst du solche Aussagen:

Der Newsletter wird zu wenig abonniert! Probieren wir einfach mal, ob der Button zum Abonnieren des Newsletters besser funktioniert, wenn er rot ist.

Dann wird schnell ein Design erstellt und der rote Button tritt im A/B-Test gegen den bestehenden Button an.

Probieren wir einfach mal, ob ein roter Button besser funktioniert.

Klingt nicht schlecht, meinst du? Vielleicht, aber die Probleme dabei sind:

• Je kleiner der beobachtete Unterschied, desto wahrscheinlicher ist, dass dieser Unterschied nur Zufall ist und gar nichts mit deiner Veränderung zu tun hat.
• Wenn eine Variante besser ist, weißt du nicht, warum.
• Du gewinnst keine Erkenntnisse aus dem Test.
• Womöglich zieht sogar jemand die falschen Schlüsse („Machen wir alle Buttons rot, die funktionieren besser!“).

Hypothesen helfen, die richtigen Fragen zu stellen

Ob du einen A/B-Test, einen Usability-Test oder noch einen anderen Test planst: Bevor du anfängst zu testen, ist es immer besser, eine saubere Hypothese zu formulieren. Eine Hypothese ist eine unbewiesene Vermutung. Dabei ist eine Hypothese mehr als eine reine Annahme:

Eine Annahme ist lediglich etwas, von dem wir mehr oder weniger bewusst ausgehen. Ist es Dezember, nehme ich an, dass es draußen kalt ist. Das tue ich, auch wenn ich das gar nicht so formuliere – ich nehme einfach eine Jacke mit, wenn ich aus dem Haus gehe. Eine Hypothese ist komplexer und kann mehrere Annahmen enthalten.  

In unserem Newsletter-Beispiel wäre eine mögliche Hypothese etwa:

Die meisten Besucher wissen nicht, dass wir einen Newsletter haben. Wenn wir den Button auffälliger machen, werden mehr Leute unseren Newsletter bestellen, weil sie den Button wahrnehmen.

Das ist eine klare Hypothese. Positiv ist, dass sie die getestete Lösung noch nicht enthält. Es ist nur allgemein von einem „auffälligeren“ Button die Rede, nicht von einem roten Button.

Aber ist die Hypothese gut? Lohnt es sich, diese zu testen?

Auf den ersten Blick werden die meisten „ja“ sagen. Und doch ist diese Hypothese zu klein. Ist es wirklich das Problem des unauffälligen Buttons, dass die Leute unseren Newsletter nicht abonnieren? Und ist der auffälligere Button wirklich der Hebel, den wir ansetzen können?

Das heißt, als Werkzeug zum Nachdenken und Diskutieren im Team ist diese Hypothese gut geeignet. Denn die Hypothese führt uns vor Augen, dass wir das eigentliche Problem noch gar nicht angegangen sind:

Es geht darum, den Besucher der Site, ja vielleicht generell unserer Zielgruppe (auch außerhalb der Site) klarzumachen, dass wir einen hervorragenden Newsletter haben. Mit dem Button hat das erst mal überhaupt nichts zu tun.

Stimmt meine Hypothese überhaupt?

Hast du deine Hypothese (Vermutung) so formuliert, wird dir eines klar: Eigentlich solltest du diese Hypothese erst mal prüfen, bevor du anfängst, die Gestaltung zu ändern. Denn du weißt nicht sicher, dass deine Hypothese stimmt. Vielleicht wissen die Besucher durchaus, was ihnen der Newsletter bringt. Sie haben aber andere Hinderungsgründe, ihn zu abonnieren. Vielleicht wissen sie es aber wirklich nicht. Um deine neue Hypothese zu prüfen, kannst du dir z. B. folgende Tests ausdenken:

• Der Klassiker beim Newsletter wäre dann der A/B-Test. Du baust also beide Varianten, zeigst einem Teil der Besucher die eine Variante, einem anderen Teil die zweite und beobachtest, welche besser funktioniert. Der Haken an der Methode ist aber: Hier siehst du nur, was passiert. Aber du lernst nicht, warum das so ist.
• Du kannst also eine Nutzerbefragung zum Newsletter machen. Entweder auf der Site oder z. B. bei bestehenden Kunden.
• Oder du kannst Usability-Tests durchführen und dabei beobachten, wie die Nutzer mit Elementen umgehen, die mit dem Newsletter zu tun haben. Nutzen sie diese? Informieren sie sich darüber? Welche Gründe stecken dahinter, wenn sie nicht abonnieren?
• Schließlich gäbe es noch die Möglichkeit, einen Blickverfolgungstest zu machen (Eyetracking). Das ist aber recht aufwendig und wird daher nicht so oft gemacht. Dafür siehst du dann aber auch, wo die Leute tatsächlich hinsehen.

Du siehst: Es ist sinnvoll, erstmal den Ursachen auf den Grund zu gehen, bevor man an den letzten kleinen Schräubchen dreht. Haben wir es grundsätzlich geschafft, auf der Site vom Wert unseres Newsletters zu überzeugen, dann können wir uns darum kümmern, die Bestellmöglichkeit zu verbessern.

Was sind gute Hypothesen?

Es geht also darum, gute Hypothesen zu entwickeln. Als User Researcher kannst du dich dafür in der Wissenschaftstheorie bedienen. Denn Wissenschaftstheoretiker haben sich eine Menge Gedanken darüber gemacht, wie man gute Hypothesen aufstellt. Und diese Gedanken bleiben keineswegs theoretisch, sie sind vielmehr für unsere tägliche Praxis super nützlich.

Gute Hypothesen sind vor allem eines: überprüfbar. Das sollten auch alle Aussagen sein, die wir zur Usability von einem Produkt machen. Je konkreter, desto besser.

Also nicht: „Die Nutzer werden das mögen.“

Sondern eher: „Die Nutzer sehen auf der Landingpage, welchen Nutzen ihnen die App bringt und werden sie daher im App-Store kaufen.“

Ein bedeutender Wissenschaftsphilosoph war Karl Popper. Er war unzufrieden unter anderem mit den Theorien von Sigmund Freud: Popper meinte, der Begründer der Psychoanalyse bringe immer nur Einzelbeispiele, die er als Beweise für seine Theorien anführte. Daher fordert Popper:

Eine Hypothese muss falsifizierbar (also widerlegbar) sein.

Von Popper kommt das schöne Beispiel mit dem schwarzen Schwan:

Die Hypothese „Alle Schwäne sind weiß“ ist nicht zu beweisen. Denn dazu müssten wir alle Schwäne auftreiben und sehen, ob sie weiß sind.

Leichter, als zu versuchen, diese Aussage zu beweisen, ist, sie zu widerlegen. Finde ich nur einen einzigen schwarzen Schwan, ist meine Hypothese widerlegt.

Auch wenn du noch so viele weiße Schwäne auftreibst – auch Millionen von ihnen beweisen nicht die Aussage, dass alle Schwäne weiß sind.

Beispiel Usability

Übertragen wir das Beispiel jetzt auf die Usability. Nehmen wir die Hypothese:

Die Besucher finden mit der Suchfunktion den Artikel, den sie lesen möchten.

Das kannst du kaum beweisen. Da müsstest du alle Besucher testen. Jeder Besucher, der tatsächlich das findet, was er lesen will, stützt deine Hypothese. Aber beweisen lässt sich die Aussage nicht, weil du nie im Leben mit allen Besuchern testen kannst.

Also arbeitest du besser mit einer Hypothese, die du widerlegen kannst:

Die Besucher finden mit der Suchfunktion die Artikel nicht, welche sie lesen wollen.

Das lässt sich widerlegen, indem nur ein Besucher mit der Suchfunktion zum Ziel kommt. Aber das ist eigentlich gar nicht der Witz, wir wollen ja, dass alle Besucher finden, was sie suchen. Der Grund, warum wir die Hypothese umformulieren, ist, dass wir so nach Problemen suchen. Und das ist es, worin wir UX-Experten gut sind, wofür wir bezahlt werden. Wir sind interessiert an den Schwachstellen. Und die finden wir am besten, wenn wir die Hypothesen auch so formulieren.

Weshalb dieses Vorgehen mit den widerlegbaren Hypothesen auch so genial ist: Es zwingt dich, wirklich darüber nachzudenken, was du untersuchen willst. Und es lenkt deine Aufmerksamkeit auf die möglichen Probleme. Alleine dadurch wirst du viel bessere Ergebnisse bekommen.

Was ist eine Nullhypothese?

Wenn du dich ein bisschen mit Hypothesen befasst, dann stolperst du früher oder später über den Begriff der Nullhypothese. Es gibt ein paar Kollegen, die diese sehr wichtig finden. Vor allem, um quantitative Auswertungen mit Statistik zu machen.

Aber was ist die Nullhypothese eigentlich? Die Nullhypothese ist sozusagen die Behauptung, dass etwas keinen Effekt hat (daher null). Zu jeder Hypothese gibt es eine Nullhypothese. Nehmen wir noch mal die Hypothese von eben, dass die rote Einfärbung des Bestellbuttons uns mehr Newsletter-Abonnenten verschafft. Die Nullhypothese dazu ist, dass die Einfärbung keinen Einfluss hat.

Statistiker gehen normalerweise so vor, dass sie die Nullhypothese untersuchen und versuchen, diese zu widerlegen. In der Praxis hat die Nullhypothese im Bereich der UX nicht so viel Relevanz. Aber sie kann dir helfen zu prüfen, ob du eine echte widerlegbare Hypothese aufgestellt hast. Ist das nicht der Fall, dann kannst du wahrscheinlich auch keine Nullhypothese formulieren.

Vor der Hypothesenformulierung

Wenn du also deine Nutzertests vorbereitest, stellst du dir bzw. deinem Team diese Fragen:

1. Was wollen wir überhaupt testen? Einfach nur testen, „ob die Anwendung funktioniert“, ist verschenkte Zeit.
2. Welche Probleme kennen wir?
3. An welchen Stellen wären Probleme so gravierend, dass sie den Erfolg des Produkts gefährden?

Wenn du noch gar keine Vorstellung davon hast, wo es Probleme geben könnte, dann helfen dir:

• ein Usability Review/Walkthrough der Anwendung
• Ergebnisse aus vorhergehenden Nutzertests
• Beschwerden von Nutzern, Berichte vom Support
• Analytics (an welchen Stellen verlassen Nutzer die Site, welche Screens werden selten geöffnet usw.)

Davon ausgehend formulierst du deine Hypothesen. Eine gute Hypothese ist:

• falsifizierbar (widerlegbar)
• begründbar (warum ist das so?)
• taugt als Beispiel/Learning
• kann Konsequenzen haben (ich kann daraus Änderungen ableiten)

Hier noch ein paar Praxistipps:

Hypothesenbildung in der qualitativen Forschung – so stellst du gute Hypothesen auf

Wie kommst du am besten zu guten Hypothesen für deine Tests? Normalerweise beginnst du dazu mit Fragen. Fragen, welche die Stakeholder haben – also die Entwickler, die Gestalter, die Produktverantwortlichen oder du selbst. Fragen wie: „Verstehen die Nutzer, wie sie die Ergebnisse sortieren?“, „Finden die Besucher alle Infos, die sie brauchen?“ oder „Kann die Site von den Vorteilen unserer Leistungen überzeugen?“

Das Vorgehen bei der Hypothesenbildung für Usability-Tests

Das sind sehr allgemeine Fragen. Sie helfen dir, die Ziele der Site herauszuarbeiten. Und vor allem helfen sie dir herauszubekommen, wo die Beteiligten mögliche Probleme sehen.

Zusammen mit deinem Expertenblick auf die Anwendung kannst du dann Hypothesen entwickeln:

Fazit

Wie du siehst, sind es nur ganz kleine Änderungen, mit denen du von So-lala-Fragen zu hervorragenden Fragen kommst. Hier ist es aber so wie bei der Usability von Anwendungen auch: Kleine Änderungen können eine extrem große Wirkung haben. Ein anders platzierter und besser beschrifteter Button zum Beispiel kann eine miese Landingpage zu einer hervorragenden machen.

Genauso kannst du den Wert deiner Usability-Tests extrem steigern, wenn du ganz am Anfang ein bisschen mehr Mühe aufwendest. Hinterfrage einfach in Zukunft deine Fragen, die du mit den Tests herausbekommen willst, und formuliere gute Hypothesen. Und dann arbeite daran, diese in den Tests zu widerlegen, statt sie zu beweisen.

Du wirst sehen, damit machst du einen großen Schritt nach vorn. Deine Erkenntnisse werden besser, du findest mehr heraus und andere lassen sich noch leichter vom Wert deiner Arbeit überzeugen.

Wenn du noch mehr zu Karl Popper und zur wissenschaftlichen Methode wissen willst, dann ist dieser Beitrag mit ein paar netten Videos ein guter Startpunkt: User research is not pseudoscience.