Mit diesem Ziel wurden wir zu zweit von einer grossen Schweizer Telekommunikationsfirma hierher geschickt. Auf dem Laptop ist der neueste Prototyp geladen, und Silverback (ein Tool, das speziell für das Recording von moderierten User Tests entwickelt wurde) ist bereit, neue Eindrücke von Testpersonen zu sammeln.
Wir werfen die Münze, um zu entscheiden, wer heute die Kandidaten aussucht und wer die Tests durchführt. Die Durchführung des Tests war bisher immer ganz klar meine bevorzugte Rolle. Das Finden von Testpersonen ist hingegen eine perfekte Übung, um sich einmal wieder aus der Komfortzone zu begeben. Diesmal traf es mich. Wie ein Jäger sass ich da und beobachtete die Menschen im Restaurant. «Da drüben. Der ist alleine und könnte passen.» Ich fasse all meinen Mut zusammen und gehe zielstrebig auf die betreffende Person zu. «Hallo, hätten Sie vielleicht Zeit …– Äh sorry, nein, ich habe keine Zeit … Schade.» Sobald sich jemand bereit erklärte, mitzumachen, setzten wir uns zu der betreffenden Person an den Tisch und legten mit dem Test los. Dieses Vorgehen wiederholten wir solange, bis wir 5 gute Sessions im Kasten hatten. Danach gingen wir zurück ins Büro, um die Ergebnisse zu analysieren und Änderungen am Prototypen für die nächste Guerrilla-Testrunde vorzunehmen.
Vor wenigen Jahren war ich als Freelancer Teil eines UX Teams, das genau diese Art von Guerrilla-Tests durchführte. In meiner gesamten Laufbahn war dies mit Abstand die umfassendste und nachhaltigste Erfahrung bei der Anwendung dieser Methodik. Über einen Zeitraum von 4 Wochen waren wir damals etwa zehn Mal im Migros Restaurant, um Guerrilla-Tests durchzuführen.
In diesem Beitrag möchte ich mehr über Guerrilla Testing allgemein und meine persönlichen Erfahrungen aus diesem Projekt im Speziellen berichten.
Was ist Guerrilla Testing?
Guerrilla Testing ist eine schnelle, kostengünstige Methode zur Erfassung von Benutzer-Feedback. Diese Research-Methode wird meist mit Low-Fidelity-Prototypen mit niedrigem Detaillierungsgrad verwendet, um erstes Feedback über eine Idee / ein Konzept einzuholen. Im Unterschied zu den herkömmlichen Usability Tests werden bei Guerrilla-Tests keine Testpersonen nach vorgeschriebenen Kriterien rekrutiert, sondern diese zufällig und an einem öffentlich zugänglichen Ort (z. B. in einem Café), befragt. Eine Session dauert meist nur wenige Minuten, und die Teilnehmer erhalten dafür entweder ein Gratisgetränk oder auch einfach nur ein liebes Dankeschön. Da keine Rekrutierung und auch kein teures Incentive bezahlt werden muss, gilt Guerrilla Testing als eine sehr günstige Research-Methode.
Wie wir eine Guerrilla-Testrunde planten
Konkret ging es bei diesem Projekt um das Redesign eines Website Onboarding-Prozesses. Auf der Grundlage interner Stakeholder-Interviews und Benutzerdaten aus der Support-Abteilung, haben wir zunächst verschiedene Design-Hypothesen aufgestellt. Diese dienten uns als Basis für die interaktiven Prototypen, die wir anschliessend mit Axure entwickelten. Dabei wurde für jede Hypothese nur ein Prototyp erstellt und dieser auch möglichst minimal gehalten. Wichtig war, dass der Prototyp in 5 Minuten getestet werden kann, denn ein Guerrilla-Test sollte diese Dauer im Normalfall nicht übersteigen.
Trotz der spontanen Natur dieses Testformats ist es wichtig, ein solides Testskript zu erstellen. Denn die wenigen Minuten, die man mit einer Testperson verbringen kann, sollte man möglichst effizient nutzen. Da ist es nicht besonders sinnvoll, wenn man sich spontan Testszenarien ausdenken muss.
Sobald der Prototyp stand, haben wir ihn untereinander mit dem Testskript getestet (dry-run). Erst wenn du das Gefühl hast, dass diese beiden Elemente harmonieren, bist du bereit für den Guerrilla-Test. Falls du eine Vorlage für das Erstellen eines Testskripts benötigst, empfehle ich dir, unsere Templates herunterzuladen. Sie enthalten alle Vorlagen, die du benötigst, um sofort loszulegen.
Die Durchführung eines Guerrilla-Tests
Das Migros Selbstbedienungsrestaurant in Zürich lag ganz in der Nähe des Büros und bot eine gute Atmosphäre, um Guerrilla-Tests durchzuführen. Die Grösse des Restaurants war ideal, um unauffällig Tests durchzuführen, ohne dabei vom Personal entdeckt zu werden. In dieser Art von Restaurant findet man ausserdem meist eine grosse Auswahl an Menschen aus den unterschiedlichsten Zielgruppen. Besonders gute Kandidaten waren immer die Restaurantbesucher, die alleine kamen und nur etwas trinken wollten. Gäste, die zum Essen hergekommen waren, liessen sich nur ungern stören. Auch Gäste, die in Gruppen ins Restaurant kamen, liessen sich schlecht von den anderen trennen.
Da wir den gleichen Ort mehrmals besucht haben, sind uns auch bestimmte Muster aufgefallen. Da waren z. B. zahlreiche Rentner, die praktisch jeden Tag ins Restaurant kamen und sich immer riesig über unseren Besuch freuten. Natürlich konnten wir den Test jeweils nur einmal pro Person durchführen, was häufig zu Enttäuschung führte. Neben den Rentnern war das Publikum sehr gemischt, und wir hatten kein Problem damit, innerhalb von zwei Stunden 5 geeignete Kandidaten zu finden und den Test mit ihnen durchzuführen.
Wie wurden die Ergebnisse analysiert?
Zwischen den einzelnen Sessions wurde jeweils ein kurzes Debriefing abgehalten, bei dem die wichtigsten Erkenntnisse festgehalten wurden. Da jede Session mit Silverback aufgenommen wurde, konnten wir später im Büro noch einmal ganz in Ruhe alle Videos durchgehen. Ein Usability-Labor bietet jedoch ein deutlich besseres Umfeld, um fundierte Debriefings durchzuführen. Beim Guerilla Testing ist man primär darauf fokussiert, geeignete Teilnehmer zu finden und die Tests durchzuführen. Zurück im Büro, ging man dann durch die Recordings und dokumentierte in Form einer Excel-Tabelle genau, welche Art von Problemen aufgetreten waren. Es war wichtig, die Analyse noch am gleichen Tag durchzuführen und auch gleich die weiteren Schritte gemeinsam mit dem Team zu besprechen. Am darauffolgenden Tag wurde dann der Prototyp bereits an die neuen Erkenntnisse angepasst. Um die User-Tests strukturiert zu analysieren, haben wir eine Usertest-Analysevorlage in Google Spreadsheet erstellt, die du dir hier anschauen und herauskopieren kannst.
Meine persönlichen Highlights und Negativerfahrungen
Das grösste Highlight war für mich die Möglichkeit, User Research im Feld zu betreiben. Es war immer wieder beeindruckend, wie die Hypothesen aus dem Büro innerhalb weniger Minuten in der realen Welt widerlegt werden konnten.
Eine der negativen Erfahrungen war sicherlich der grosse Streuverlust an ungeeigneten Kandidaten. Ein Guerilla-Test dauert nur wenige Minuten, das heisst, man verliert nur wenig Zeit mit einem ungeeigneten Kandidaten. Trotzdem ist fast jede 2. Person in irgendeiner Form nicht für den Test geeignet. Da spürt man schnell, welche Vorteile eine zielgerecht vorrekrutierte Gruppe an Probanden hat. Zudem benötigt Guerrilla Testing eine grosse Portion Mut, und man muss lernen, aus seiner eigenen Komfortzone herauszutreten. Die regelmässige Ablehnung, die man hierbei erfährt, ist nicht für jeden gemacht. Wenn man eine fremde Person anspricht, wird man häufig als Verkäufer wahrgenommen und aus Angst abgelehnt. In diesen Situationen war es oft schwierig zu erklären, dass es hier nicht um ein Verkaufsgespräch, sondern um einen Benutzertest geht.
Wie sah das Learning beim Kunden aus?
Die Guerrilla-Tests waren Teil einer grösseren Initiative, eine UX Kultur im Unternehmen zu etablieren. Hierfür wurde ein Team aus Consultants und Mitarbeitern aus verschiedenen Abteilungen zusammengestellt. Alle, unabhängig von ihrer Rolle, mussten mindestens einmal ins Migros gehen, um das Guerrilla Testing persönlich zu erleben. Ich persönlich fand diese Initiative enorm spannend und sinnvoll, um einen realen Bezug zu den Usern herzustellen. Ich und viele andere Teammitglieder wurden jedoch als Consultants hinzugezogen. Alle Consultants waren enorm motiviert, diese UX Kultur zu schaffen. Die Mitarbeiter waren jedoch leider zu sehr mit dem Tagesgeschäft beschäftigt. Daher entwickelte sich leider nie das notwendige Momentum, um die UX Kultur nachhaltig im Unternehmen zu etablieren.
Eine UX Kultur entsteht letztlich nur dann, wenn interne Mitarbeiter intrinsisch motiviert sind, diese UX Kultur aufzubauen. Consultants können nur eine beratende Funktion erfüllen, nicht jedoch alleine eine nachhaltige Unternehmenskultur aufbauen. Das ganze Projekt wurde schliesslich nach einigen Monaten vom Kunden gestoppt. Das Redesign wurde dann wie üblich an eine externe Designagentur ausgelagert.
In unserem Artikel zum Aufbau einer florierenden UX Kultur findest du wertvolle Tipps dazu, wie du derartige Szenarien in deinem Unternehmen verhindern kannst.
Wann ich von Guerrilla Testing abrate
Guerrilla Testing funktioniert grundsätzlich nur, wenn das Testobjekt für den B2C-Bereich ausgelegt ist. Sehr spezielle Zielgruppen sind selten in einem Café anzutreffen. Möchte man eine Standortbestimmung mit einer bestehenden Website oder App durchführen, empfehle ich, einen formellen Usability Test in einem Labor durchzuführen. Die Ergebnisse dieser Tests werden häufig eingesetzt, um wichtige und teure Entscheidung zu fällen und hierfür sind Guerrilla-Tests oft nicht fundiert genug. Wenn folglich ausreichend Budget und personelle Ressourcen zur Verfügung stehen, würde ich nach wie vor dazu raten, einen geplanten Usertest inhouse oder extern durchzuführen. Dann muss man sich nicht darum kümmern, Testpersonen zu finden, denn diese wurden im Voraus bereits zielgenau rekrutiert. Als User Researcher möchte man seine Zeit damit verbringen, Erkenntnisse auszuwerten und nicht damit, passende Personen für die Studien zu suchen.
Wann ich Guerrilla Testing empfehlen kann
Um Konzepte zu validieren oder frühe Prototypen zu testen, ist Guerrilla Testing ein ideales Format. Speziell bei engen Budgets kann ein gut geplanter Guerrilla-Test eine gute Alternative zu herkömmlichen Usability Tests sein.
