Usability-Lab für jedermann – vom Basic- bis zum Profi-Setup

Ein dediziertes Usability-Lab fördert die Testkultur

An sich kannst du überall testen. Gemäß der Maxime, dass jeder Test besser ist als gar kein Test, leg einfach los mit dem, was du hast. Und doch hat ein Usability-Labor (auch Uselab genannt) natürlich Vorteile.

Ein ganz entscheidender Vorteil: Du musst nichts aufbauen, um zu testen. Das spart dir Zeit, aber auch Nerven. Denn es ist praktisch immer so: Je mehr du Geräte oder Räume auch zu anderen Zwecken verwendest, desto wahrscheinlicher ist es, dass es beim Usability-Test Probleme gibt. Der Raum ist doppelt gebucht. Ein entscheidendes Kabel fehlt. Auf der Festplatte ist nicht genügend Speicherplatz etc.

Ein dediziertes Uselab unterstützt vor allem auch die Testkultur in deinem Unternehmen. Es zeigt, dass ihr User Experience ernst nehmt, dass hier ernsthaft gearbeitet wird und dass mehr dazu gehört, als einfach nur ein bisschen mit Nutzern zu plaudern.

Und der stets vorhandene Raum verlangt danach, genutzt zu werden. Genau das ist es auch, was du erreichen möchtest, entsprechend dem leicht abgewandelten Entwickler-Mantra:

Test early, test often, test with all target user groups.

Der Raum – fast jeder ist geeignet für Usability Testing

An den Raum zum Testen gibt es nur geringe Ansprüche. Ruhig muss er sein und angenehm, ansonsten geht jeder Raum. Schon zehn Quadratmeter sind genug, solange man sich darin nicht beengt fühlt. Gut ist, wenn man das Licht regulieren kann (Dimmer oder mehrere getrennt schaltbare Leuchten) und wenn kein direktes Sonnenlicht auf den Arbeitsplatz fällt bzw. wenn man das mit Jalousien o. Ä. verhindern kann.

Ein Schreibtisch und zwei Stühle reichen (bzw. drei, wenn zum Moderator noch ein Beobachter kommt).

Für Usability-Tests brauchst du erstmal wenig außer einem Probanden, einem Testrechner und einem ruhigen Raum.

Der Testrechner – nichts Spezielles, aber eigen

Wenn du Websites testest, dann braucht dein Testrechner keine speziellen Eigenschaften. Ein gewöhnlicher Büro-PC oder Laptop reicht, solange er nicht eine ganz geringe Leistung hat. Denn im Wesentlichen hat dieser Rechner nur zwei Aufgaben:

1. Dem Benutzer erlauben, auf die Website zuzugreifen.
2. Dessen Aktionen aufzeichnen.

Damit es bei der Aufzeichnung keine Aussetzer gibt und die Bedienung dadurch nicht beeinträchtigt wird, braucht der PC ein paar Leistungsreserven. Aber die bringt jeder bessere Standard-Windows-PC oder Mac heute mit.

Gut ist es aber, wenn du einen eigenen Rechner nur zum Testen hast. Denn ist der Testrechner auch im Alltagseinsatz, dann besteht die Gefahr, dass beim Test irgendetwas nicht funktioniert. Mir ist es z. B. einmal so gegangen, dass mitten im laufenden Test die Festplatte voll war, weil ich am Tag zuvor einige Trainingsvideos heruntergeladen hatte.

Am besten ist es, wenn du den Testrechner sogar am Anfang jedes Tests neu aufsetzen kannst bzw. wenn du alle Nutzerdaten löschen kannst und einen neuen Benutzer anlegst.

Der Beobachtungsraum – nicht nötig, aber hilfreich

Je öfter du Entwickler, Produktverantwortliche, Entscheider und Kollegen dazu bringst, Usability-Tests zu beobachten, desto besser. Denn kaum etwas überzeugt so vom Nutzen deiner Arbeit, als wenn deine Kollegen ihre User selbst live mit dem Produkt kämpfen sehen.

Deshalb hilft es, wenn du einen eigenen Beobachtungsraum hast. Das kann ein Konferenzraum sein, den du einfach für die Beobachter nutzt. Bequemer ist es natürlich auch hier, wenn du ein Zimmer hast, welches nur dafür gedacht ist.

Achten musst du vor allem auf die Schallisolierung. Die Beobachter dürfen auch bei hitzigen Diskussionen oder Gelächter nicht im Testraum zu hören sein.

Im Beobachtungsraum sollten so viele Personen Platz finden, wie realistischerweise von einem Team gleichzeitig beim Test zusehen wollen. Nach meiner Erfahrung sind zehn Sitzplätze ausreichend, zwei Tische sind üblicherweise genug.

Gut sind Whiteboard und Flipchart und eine große Pinnwand. Oder einfach eine Wand, auf die man Haftnotizen aufkleben kann (für das Sammeln der Ergebnisse und die Auswertung danach).

Ideal ist es, wenn es getrennte Zugangswege gibt und die Probanden beim Betreten und Verlassen des Testraums den Beobachtern nicht in die Arme laufen. Manchmal kennen die Probanden die Beobachter und sie fühlen sich dann stärker gehemmt, wenn sie die Aufgaben im Test abarbeiten.

Usability-Labor mit Beobachtungsraum, zwischen beiden der Einwegspiegel

Einwegspiegel oder Videostream?

In vielen professionellen Uselabs gibt es Einwegspiegel. Das sind große, verspiegelte Fenster zwischen Beobachtungsraum und Testraum, die den Beobachtern einen Blick auf Proband und Moderator erlauben. Proband und Moderator dagegen sehen von ihrer Seite aus nur die spiegelnde Oberfläche und können nicht in den Beobachtungsraum sehen.

Als Videotechnik noch etwas sehr Teures war, war diese Ausstattung Standard. Ich habe aber die Erfahrung gemacht, dass manche Nutzer sich von dem Spiegel dauerhaft irritieren lassen. Die riesige Fläche erinnert sie laufend daran, dass sie beobachtet werden.

Daher bevorzuge ich die Übertragung in den Beobachtungsraum mittels Kamera – Kameras sind ohnehin nötig, um die Sitzungen aufzuzeichnen. Das Bild der Kameras kannst du dann per Kabel in den Beobachtungsraum übertragen. Idealerweise mit HDMI-Videokabel, das ist unkompliziert und unabhängig vom Netzwerk. Wenn die beiden Räume weiter voneinander entfernt sind, ist auch eine Übertragung via Netzwerk möglich. Dementsprechend sollten beide Räume idealerweise über Bodentanks o. Ä. direkt miteinander verbunden werden können. Ansonsten muss ein gut funktionierendes internes Netzwerk sichergestellt sein.

Schließlich brauchst du noch zwei Monitore für den Beobachtungsraum: einen für das Videobild von Proband und Moderator und einen für die Bildschirmaufzeichnung bzw. das Videobild des Mobilgerätes.

Ein weiterer Vorteil der Videolösung: Der Beobachtungsraum kann auch in einem anderen Gebäudeteil oder sogar an einem anderen Ort sein. Wobei es schön ist, wenn der Moderator nach den Tests zu den Beobachtern kommen kann, um mit ihnen die Ergebnisse durchzusprechen.

Usability Lab mit Videostream

Der Vorraum – gern vergessen

Was man gern vergisst: Wo warten die Probanden, die früher kommen? Wer betreut diese?

Es kommt immer wieder vor, dass Probanden zehn Minuten oder sogar mal eine halbe Stunde vor dem Termin erscheinen. Sitzt du dann selbst als Moderator noch im Test, hast du ein Problem. Im Idealfall kümmert sich ein Kollege um die Probanden, versorgt sie mit einem Getränk und führt sie an einen Platz, wo sie gemütlich warten können, bis sie dran sind.

Geht das bei dir nicht, dann plane genug Abstand zwischen den Terminen. Mit 45 Minuten Abstand zwischen dem Ende eines Tests und dem Beginn des nächsten bist du in fast jedem Fall auf der sicheren Seite.

Auch gut ist es, wenn eine Toilette in der Nähe des Testraums ist – sehr häufig fragen Probanden vor oder nach ihrer Testsitzung danach.

Kommunikation zwischen den Räumen

Manche Kollegen nutzen noch ein Audiosystem, das den Beobachtungsraum mit dem Moderator verbindet. So können die Beobachter am Ende der Tests ihre Fragen weitergeben, ohne dass jemand zwischen den Räumen hin- und herlaufen muss. Dabei sollte der Moderator einen Ohrhörer verwenden, damit der Proband nicht mithören kann.

Einfacher und normalerweise ausreichend ist es, wenn eine Person im Beobachtungsraum dem Moderator per Chat, Kurznachricht oder auch per Mail ihre Wünsche mitteilt.

Nutzt du Video zur Übertragung in den Beobachtungsraum, dann muss dieser nicht unbedingt direkt neben dem Testraum liegen.

Die Aufzeichnung – niemals ohne

Ich finde, ohne zumindest die Aufzeichnung des Bildschirms geht es nicht. Du nimmst also auf, was der Nutzer gesehen hat, demnach also die Website bzw. den Bildschirm des Mobilgeräts, mit welchem der Proband getestet hat.

Nur so hast du die Möglichkeit, später nachzusehen, wenn du etwas verpasst hast, was der Proband gemacht hat. Oder wenn du und dein Protokollant oder die Beobachter sich nicht einig sind, was an einer bestimmten Stelle im Test passiert ist.

Zusätzlich zeichne ich immer noch Audio auf, damit ich höre, was der Proband gesagt hat und was ich als Moderator zu ihm gesagt habe.

Schön ist es, auch das Gesicht des Probanden zu sehen. Mit einer Webcam nimmst du also das Gesicht auf, das dann normalerweise als Bild-im-Bild (Picture-in-Picture, PIP) über die Bildschirmaufzeichnung (Screenrecording) eingeblendet wird.

Sitzen deine Probanden nicht an einem PC, sondern z. B. an einem Mobilgerät, dann ist es technisch etwas schwieriger, den Bildschirm direkt auf dem Gerät aufzuzeichnen. Insbesondere, wenn die Probanden mit ihren eigenen Geräten testen, die sie mitgebracht haben. Dann müssen sie erstmal Zusatzsoftware installieren, was Zeit kostet und ablenkt.

Deshalb bist du meist besser bedient, wenn du bei Mobilgeräten mit einer Kamera arbeitest, mit der du das Gerät abfilmst. Ein weiterer großer Vorteil dabei: Du siehst, wo der Nutzer hintippt. Und du siehst auch, wenn er z. B. seinen Finger längere Zeit über einen Button hält, während er darüber nachdenkt, ob dies der richtige ist.

Hilfsmittel für die Aufzeichnung – Hardware

Wenn du nur Websites testest, reicht im Normalfall die in den Testrechner integrierte Webcam. Hat dieser keine, tut es ein Standardmodell für unter 100 Euro. Die Webcam sollte ein ordentliches Bild liefern, eine Auflösung von Full HD haben (1920 × 1080 Pixel) und ein Weitwinkel-Objektiv. So bekommst du sowohl den Probanden wie auch den Moderator gemeinsam ins Bild.

Wichtig ist auch, dass entweder die Webcam oder der Testrechner ein Mikrofon haben.

Willst du Mobilgeräte aufnehmen, hast du zwei Möglichkeiten:

1. Eine fest installierte Kamera, die auf den Tisch zeigt.
2. Eine Kamera, die über eine Halterung mit dem Mobilgerät verbunden ist.

Die am Gerät befestigte Kamera hat den großen Vorteil, dass der Proband das Gerät hin und her bewegen kann, wie er möchte. Das Bild ist immer perfekt zentriert und scharf.

Der Nachteil ist, dass man eine solche Halterung braucht, die wiederum die Haltung je nach Bauart mehr oder weniger unbequem machen kann.

Es gibt Anbieter wie www.mrtappy.com, bei denen du fertige Kamera-Halterungs-Sets fürs mobile Testen bestellen kannst.

Eine solche Lösung kann man sich aber auch selbst zusammenbauen. Für um die 20 Euro bekommt man einen Schwanenhals mit Klemme – die befestigst du an einem Brett, worauf du wiederum das Test-Smartphone befestigst. Am anderen Ende des Schwanenhalses sitzt dann die Webcam.

Flexibler und einfacher ist die Lösung, die ich oben als erste genannt habe: Du montierst die Kamera auf einem Stativ. In dem Fall hat es sich bewährt, mit Klebestreifen den Bereich auf dem Schreibtisch zu markieren, den die Kamera erfasst. Bewegt der Proband das Mobilgerät hinaus, kannst du ihn bitten, innerhalb des gefilmten Bereichs zu bleiben.

Als Kamera für diesen Zweck kannst du eine Videokamera verwenden oder einfach auch eine Webcam. Probiere, ob du bessere Ergebnisse bekommst, wenn du den Autofokus deaktivierst und auf ein paar Zentimeter oberhalb der Tischplatte scharfstellst. Damit umgehst du das Problem, dass die Webcam immer wieder auf die Finger scharfstellt, wenn der Proband auf etwas tippt, und dann der Bildschirm unscharf ist.

Manche arbeiten auch mit einer Dokumentenkamera – das ist letztlich im Wesentlichen nichts anderes als eine Webcam, die bereits an ein Stativ montiert ist.

Hilfsmittel für die Aufzeichnung – Software

Zum Aufzeichnen brauchst du noch eine Screenrecording-Software. Hier genügen aus meiner Sicht einfache Lösungen. Für Mac und Windows gibt es z. B. Snagit, kostet ca. 50 US-Dollar.

Mein Favorit für Mac ist ScreenFlow, was 130 US-Dollar kostet, dafür aber noch bequeme Editier- und Exportmöglichkeiten mitbringt. Auch Bild-in-Bild ist hier ganz einfach.

Wenn du mit Windows-PCs arbeitest, dann bietet sich die Software Morae an, die pro Lizenz um die 2.000 Euro kostet. Damit kannst du die Testsessions aufzeichnen und bearbeiten und das Videobild im Netzwerk übertragen. Die Software unterstützt dich bei der Planung und Organisation deiner Usability-Tests, erlaubt es, die Videos zu sichten und zu kommentieren, und vieles mehr. Ich persönlich finde die Usability des Programmes nicht besonders gut und mir ist zu viel dabei, was ich lieber auf anderem Weg erledige. Aber viele Kollegen schwören auf das Programm. Sieh es dir auf jeden Fall mal an.

Außerdem gibt es natürlich noch viele weitere Tools, die zum Aufzeichnen in Frage kommen – die nehmen wir uns in einem späteren Beitrag einmal vor.

Abschließend noch ein Tipp für Software, mit der du mehrere Webcams gleichzeitig aufzeichnen kannst und mit der du Video z. B. an den Beobachtungsraum übertragen kannst:

OBS – Open Broadcaster Software. Das ist eine Open-Source-Lösung, die nicht besonders hübsch aussieht. Sie ist aber kostenfrei und sehr mächtig. Damit kannst du aus dem Bild mehrerer Webcams und dem Screenrecording ein Bild beliebig zusammenbasteln und aufnehmen – und eben via Internet übertragen. Profi-Tipp: Wähle als Einstellung für die Aufzeichnung das Format .mov, nicht .mp4. Dann ist die Videodatei auch lesbar, wenn das Programm während der Session abstürzt.

Mit OBS kannst du verschiedene Voreinstellungen definieren für alle möglichen Setups, die mehrere Kameras enthalten können.

Blickverfolgung/Eyetracking – nur für Spezialfälle

Mit Blickverfolgung (Eyetracking) kannst du nicht nur aufzeichnen, was ein Proband tut, sondern auch, wohin er wie lange sieht. Wenn er einen Button z. B. nicht findet, dann siehst du an der Auswertung des Eyetrackings, ob er z. B. gar nicht auf diese Stelle gesehen hat oder ob er z. B. den Button durchaus angesehen und die Beschriftung gelesen hat – aber dann offenbar dachte, das sei nicht der richtige.

Die Bilder des Blickverlaufs auf Websites sind immer eindrucksvoll, genauso wie die Heatmaps mit den Bereichen, die umso roter eingefärbt sind, je länger sie Nutzer angesehen haben. Solche Bilder können helfen, Werbung für UX-Methoden bei Stakeholdern zu machen.

Eine typische Heatmap, die zeigt, wie lange die Nutzer wohin gesehen haben. Je wärmer die Farbe, desto länger wurde ein Bereich betrachtet.

Der Haken bei alledem: In der Praxis rechtfertigen die Ergebnisse aus Blickverfolgungsstudien selten den Mehraufwand.

Denn zum einen brauche ich fürs Eyetracking spezielle Hard- und Software. Diese beginnt bei 5.000 Euro, die meisten Experten raten aber zu einem professionellen System, was mindestens das Doppelte kostet. Es gibt ein paar Anbieter, die noch günstiger sind, diese sind aber höchstens zum Experimentieren geeignet, nicht für ernsthafte Arbeit.

Zwar sind moderne Eyetracker unauffällig und niemand muss mehr einen Helm mit Spiegeln und Linsen tragen, um seine Blicke verfolgen zu lassen. Aber noch immer funktionieren Eyetracker nicht bei jedem Probanden. Kontaktlinsen oder auch nur lange Wimpern können Probleme machen. Und eine Anpassung der Einstellungen ist für jeden Probanden vor dem Test nötig.

Vor allem aber ist der Aufwand sehr hoch, wenn du die Ergebnisse auswertest. Die Software liefert zwar schöne Bilder, aber diese sinnvoll zu deuten, dafür braucht es Erfahrung und vor allem Zeit.

Fazit: Eyetracking ist eine faszinierende Technik, mit der sich wertvolle Ergebnisse gewinnen lassen. In den meisten Fällen sind Zeit und Geld aber besser investiert, wenn man ein paar Probanden mehr testen lässt oder, noch besser, ein paar Testrunden mehr einlegt.

Hautwiderstand & EEG-Geräte

Neben Eyetracking gibt es noch weitere Techniken, um wissenschaftliche Daten aus Nutzertests zu gewinnen. Dazu zählen die Messung des Hautwiderstands als Maß für die Aufmerksamkeit bzw. den Erregungszustand des Probanden. Oder das EEG (Elektroenzephalogramm), bei dem ich die elektrische Tätigkeit des Gehirns mit Hilfe von außen auf dem Kopf aufgesetzten Elektroden messe.

Immer wieder einmal finden sich Anbieter, die solche Methoden für Nutzertests verkaufen wollen – doch für solche Geräte gilt noch mehr als für Eyetracking: Sie sind teuer, aufwendig im Einsatz und noch aufwendiger in der Auswertung der Daten. Daher kommen sie praktisch ausschließlich in der Wissenschaft zum Einsatz.

Usability-Tests unterwegs – das mobile Lab

Es gibt einige Fälle, in denen es nötig ist, dass du nicht in deinem Labor testest. Zum Beispiel, wenn du sehen willst, wie die Probanden das Testobjekt an ihrem Arbeitsplatz einsetzen. Oder wenn du mit viel beschäftigten Experten testen musst, die nicht die Zeit haben, zu dir ins Labor zu kommen.

In so einem Fall brauchst du ein mobiles Uselab. Das besteht zumindest aus Folgendem:

• Testrechner/Laptop mit Webcam
• externe Maus
• evtl. externe Tastatur und externer Bildschirm

Wenn du einen großen Laptop verwendest, dann kannst du auf externe Tastatur und externen Monitor verzichten.

Wenn du bei einer mobilen Studie Beobachter hast, dann ist es am sichersten, das Video einfach per HDMI-Kabel vom Testrechner in den Beobachtungsraum zu übertragen. Das geht natürlich nur, wenn die beiden Räume direkt nebeneinander sind. Andernfalls brauchst du:

• Übertragungssoftware auf dem Testrechner
• Laptop für den Beobachtungsraum mit großem Bildschirm oder bei mehreren Beobachtern Projektor

Wenn du einen Konferenzraum oder einen angemieteten Besprechungsraum im Hotel oder Office-Center nutzt, dann kannst du hier oft auf deren Ausstattung zurückgreifen.

Zentral ist in dem Fall aber, dass du dich auf die Übertragung per Internet verlassen kannst – was manchmal riskant sein kann. Da kannst du aber nicht viel machen, außer frühzeitig anreisen und testen.

Übersicht – was brauche ich wann?

Diese Tabelle gibt dir einen Überblick über die Dinge, die du für ein professionelles Usability-Labor brauchst (● = unverzichtbar, ○ = wäre schön):

Wenn du wenig Zeit hast oder dich nicht mit der Technik befassen willst, gibt es Dienstleister, die richten dir ein Usability-Labor fix und fertig ein. Alternativ gibt es noch das Lab in a Box, eine robuste Kiste, in der sich die ganze Technik zum Aufzeichnen und Übertragen von Nutzertests befindet. Die Ausstattung klingt gut und sinnvoll, wobei ich die Wunderkiste selbst nicht getestet habe.

Ein Uselab im transportablen Format: Lab in a Box

Drei Beispiel-Setups

Zum Abschluss noch drei typische Setups, mit denen du je nach Anspruch gut zurechtkommen solltest:

1) Grundausstattung

Wenn du startest, reichen dir zunächst:

• ein ruhiger Büroraum mit Standardausstattung
• dein Standard-PC oder Mac (mit Webcam)
• Screenrecording-Software wie Snagit

Alles Weitere sind Dinge, die du nur organisieren musst. Etwa die Begrüßung der Probanden, die zu früh kommen, während du im Test bist, oder dass du wirklich ungestört bist.

2) Fürs fortgeschrittene Testen

Testest du regelmäßig, empfehle ich dir Folgendes:

• einen ruhiger Raum, der nur für Usability-Tests und Interviews genutzt wird
• einen Schreibtisch, drei Stühle
• einen Test-PC, den du nur fürs Testen einsetzt
• Webcam auf einem Stativ, mit der du Moderator und Proband aufs Bild bringst
• Screenrecording-/Testing-Software mit mehr Funktionen wie ScreenFlow (Mac) oder Morae (Windows)
• Übertragungs-Software wie OBS
• einen Konferenzraum, den du als Beobachtungsraum nutzen kannst
• dort zwei Monitore (einen für die Bildschirmübertragung, einen für die Webcam aus dem Testraum)

3) Für Profi-Tester

Nimmst du es richtig ernst, dann brauchst du alles von Ausstattungsvariante 2 und zusätzlich noch:

• Empfangsbereich für wartende Probanden
• Beobachtungsraum, der nur zu diesem Zweck genutzt wird
• Audio-Kommunikationssystem zwischen Testraum und Beobachtungsraum
• Eyetracking-System (optional)

Ein paar Tipps zum Schluss

Generell gilt: Je mehr Technik du hast, desto mehr Schwachstellen gibt es. Kabel können kaputtgehen. Software veraltet und funktioniert am Tag des Tests plötzlich nicht mehr. Systeme sind aufs Internet und/oder lokale Netzwerk angewiesen und laufen nicht, wenn es hier Störungen gibt. Plane dann ausreichend Zeit vor jedem Testtag ein, um alles nochmal durchzuchecken.

Außerdem brauchst du immer jemanden, der sich mit der Ausrüstung auskennt. Kaufe also nie etwas, was nicht mindestens eine Person in deinem Team bedienen kann.

Bleibe pragmatisch. Fange lieber klein an und rüste dann nach und nach auf. Wichtiger als alle Technik ist, die Testkultur in deinem Unternehmen zu etablieren. Wer versucht, so oft wie möglich zu testen, möglichst gut zur Zielgruppe passende Probanden zu finden und seine eigenen Moderationsfähigkeiten zu verbessern, der bekommt sofort bessere Ergebnisse aus seinen Usability-Tests. Die Technik kann dabei nur unterstützen.