Inhaltsverzeichnis

  1. Was bringt die Teilnehmende Beobachtung?
  2. Mit den Nutzern feiern gehen? – Definition der Teilnehmenden Beobachtung
  3. Wann ist Teilnehmende Beobachtung sinnvoll?
  4. Vorteile der Teilnehmenden Beobachtung gegenüber Usability-Test und Interview
  5. Wen beobachten? Wie rekrutieren? Wie incentivieren?
  6. Wie hoch ist der Aufwand für Teilnehmende Beobachtung?
  7. Probanden informieren/vorbereiten
  8. Leitfaden schreiben
  9. Beobachtung durchführen
    1. Meister-Schüler-Prinzip
    2. Richtig protokollieren und dokumentieren
    3. Umgang mit unerwarteten und schwierigen Situationen
  10. Ergebnisse auswerten und präsentieren
  11. Fazit

Neben Usability-Tests gibt es eine weitere höchst effektive Methode, Nutzer und ihre Interaktion mit Anwendungen direkt zu beobachten: die Teilnehmende Beobachtung, oft Contextual Inquiry oder manchmal auch Vor-Ort-Studie genannt. Hierbei stellst du den Menschen keine Aufgaben wie beim Usability-Test. Sondern du besuchst sie zu Hause bzw. an ihrem Arbeitsplatz und unterhältst dich mit ihnen.

Was bringt die Teilnehmende Beobachtung?

Die Grundidee ist beim Usability-Test und bei der Teilnehmenden Beobachtung die gleiche: Du schaust echten Nutzern dabei zu, was sie wirklich tun. Das heißt, die Teilnehmende Beobachtung ist kein reines Interview. Kernstück ist vielmehr das Beobachten – du siehst Nutzern dabei zu, wie sie alltägliche Aufgaben erledigen.
Die Vorteile der teilnehmenden Beobachtung sind:

  • Du beobachtest die tatsächliche Nutzung.
  • Du kannst die gesamte Nutzungssituation und den Kontext der Anwendung sehen.
  • Du verstehst das genaue Vorgehen der Nutzer.
  • Du lernst die zusätzlich genutzten Hilfsmittel/Anwendungen kennen.
  • Du findest heraus, welche anderen Nutzer eventuell einbezogen werden, wann das passiert und warum.
  • Du brauchst kein Testobjekt (also keinen Prototypen, keine Anwendung) – auch wenn du natürlich eine bestehende Anwendung untersuchen kannst.

Anders als beim Tiefeninterview lässt du dir bei der Teilnehmenden Beobachtung/Contextual Inquiry unmittelbar zeigen, was der Nutzer macht. Dadurch ist diese Form des User Research einfacher für die Befragten wie auch für dich als Researcher. Natürlich interviewst du den Nutzer auch bei der Teilnehmenden Beobachtung. Aber das ist eben nur Drumherum – das Entscheidende ist die tatsächliche Arbeit des Nutzers. Daher mögen UX-Experten diese Methode so gern: Wir sehen dabei, was die Menschen wirklich tun. Und sind nicht darauf angewiesen, dass sich die Menschen daran erinnern und uns korrekt berichten, was sie getan haben.

contextual inquiry contextual enquiry teilnehmende beobachtung 1

Bei der Teilnehmenden Beobachtung lässt du dir von Probanden genau erklären, wie sie vorgehen.

Mit den Nutzern feiern gehen? – Definition der Teilnehmenden Beobachtung

Die Methode der Teilnehmenden Beobachtung kommt aus der Ethnologie. Dabei haben Forscher ursprünglich z.B. in einem Stamm von Eingeborenen gelebt und an deren alltäglichen Aktivitäten teilgenommen. Ende des 19. Jahrhunderts haben Ethnologen zum Beispiel mit Indianern Pfeile und Bögen hergestellt, gemeinsam gejagt und Feste gefeiert. Zum Feiern gehen wir als UX-Experten selten mit, meist geht es ja um Arbeitskontexte. Aber denkbar ist es schon – vielleicht wenn du eine App entwickeln willst, die Nutzer verwenden sollen, um Fotos, Videos, Bewertungen etc. von Partys, Konzerten und Ähnlichem zu erstellen.

Mit den Begriffen geht es oft ein bisschen durcheinander – wenn du mit Kollegen oder Auftraggebern sprichst, lohnt es sich immer, klarzustellen, was man mit dem jeweiligen Wort meint.

Ethnographische Studie oder Feldbeobachtung

Ethnographische Studie oder Feldbeobachtung sind eigentlich Überbegriffe für solche Methoden, die aus der Ethnographie kommen (manchmal auch – um es noch komplizierter zu machen – aus der Anthropologie, die ist noch etwas weiter gefasst als die Ethnographie oder Ethnologie). Aber wie gesagt, so richtig sauber unterscheidet bei den UXlern hier niemand, daher ersparen wir uns auch die Fleißarbeit der haarkleinen Definition.

Teilnehmende Beobachtung, Contextual Inquiry, und Vor-Ort-Studie bzw. Vor-Ort-Beobachtung

Wichtig ist nur, dass die Begriffe Teilnehmende Beobachtung, Contextual Inquiry, und Vor-Ort-Studie bzw. Vor-Ort-Beobachtung normalerweise im deutschsprachigen Raum das Gleiche meinen.

Shadowing

Manche Kollegen unterscheiden davon noch das Shadowing. Beim Shadowing bin ich als User Researcher der Schatten des Nutzers. Ich sehe ihm also, wie bei der Teilnehmenden Beobachtung, bei seinen Alltagsaufgaben zu. Allerdings ist beim Shadowing im strengen Sinn keine Interaktion mit dem Nutzer gewünscht. Das heißt, wir UXler beobachten in dem Fall nur und stellen währenddessen keine Fragen.

Tagebuchstudie

Vergleichbare Aufgabenstellungen bearbeitest du auch mit der Tagebuchstudie: Hierbei lässt du die Nutzer selbstständig in einem Tagebuch festhalten, wie sie bei der alltäglichen Arbeit vorgehen. Das bedeutet, du musst hier niemanden begleiten – dafür hast du mehr Arbeit bei der Vor- und Nachbereitung solcher Tagebuch-Studien. Mehr zu dieser Methode siehe Tagebuchstudien: ein Leitfaden für die Praxis.

Wann ist Teilnehmende Beobachtung sinnvoll?

Immer dann, wenn du noch mehr über die Nutzer erfahren möchtest, ist die Teilnehmende Beobachtung/Contextual Inquiry sinnvoll. Also vor allem in frühen Projektphasen. Also wenn du z.B. eine Idee für eine Anwendung hast, aber noch nicht weißt, ob die Nutzer überhaupt Bedarf dafür haben. Oder wenn du wissen willst, wie die Nutzer das Problem derzeit lösen, welches deine Anwendung lösen will. Oder welche Konkurrenz-Anwendungen oder alternative Herangehensweisen die Menschen einsetzen.

Drei Beispiele für sinnvolle Einsatzzwecke der Contextual Inquiry:

  • Du willst eine App entwickeln, mit der sich Musikfans auf großen Rockkonzerten oder Open-Airs finden und austauschen können. Du begleitest also ein paar Musikbegeisterte zum nächsten Open Air. Dabei lässt du dir zeigen, was genau sie tun, um mit ihren Freunden zu kommunizieren. Verabreden sie sich an einer bestimmten Bar, vor einem bestimmten Zelt? Wann schreiben sie sich WhatsApp- oder SMS-Nachrichten? Wann telefonieren sie? Wann verschicken sie Sprachnachrichten? Welche Kontaktwege nutzen sie noch? Mit wie vielen Freunden kommunizieren sie während der Veranstaltung und warum?
  • Du möchtest den Küchenplaner auf der Website eines Möbelhauses optimieren. Du besuchst also einige Menschen, die sich gerade eine neue Küche kaufen wollen. Du lässt dir zeigen, wie sie bei der Recherche im Internet vorgehen. Siehst ihnen zu, wie sie ihre Küche ausmessen. Wie sie vielleicht mit Kartons und Tischdecken ausprobieren, wie es aussähe, wenn an Wänden bestimmte Möbel in bestimmten Höhen stünden. Vielleicht begleitest du sie sogar ins Möbelhaus.
  • Du sollst herausfinden, welche neuen Funktionen für einen bestehenden Fitnesstracker und die dazu gehörige App am erfolgversprechendsten sind. Also gehst du mit ein paar Sportlern zum Laufen oder Radfahren. Lässt dir zeigen, wie sie sich vorbereiten auf ihren Lauf oder ihre Tour. Wie sie diese/n aufzeichnen. Wann und wie sie sich mit anderen austauschen darüber. Ob und wie sie Fotos machen währenddessen. Welche Körperparameter sie kontrollieren und auswerten. Welche Streckenmerkmale sie dokumentieren.
contextual inquiry contextual enquiry teilnehmende beobachtung 2

Willst du eine App für Musikfestival-Besuche entwickeln, dann solltest du mit Vertretern deiner Zielgruppe auf Festivals gehen.

Vorteile der Teilnehmenden Beobachtung gegenüber Usability-Test und Interview

Bei den drei eben aufgeführten Beispielen kämest du mit Usability-Tests kaum zum Ziel: Beim Fall der App für Konzertbesucher gibt es noch gar nichts zu testen, und ein Test im Usability-Labor würde wenig bringen. Beim Küchenplaner kannst du zwar herausfinden, wie man den bestehenden Online-Küchenplaner optimiert. Aber was die Nutzer sonst noch tun, welche Bedürfnisse und Lösungsansätze sie darüber hinaus noch haben, das findest du im Test nicht heraus. Und beim Fitnesstracker kannst du mit einem Usability-Test auch nur die bestehende Anwendung verbessern. Neue Ideen bekommst du dabei nur durch Zufall. Daher ist für solche Fragestellungen die Contextual Inquiry so wertvoll.

Häufig hört man dann das Argument: „Dann fragen wir doch einfach die Benutzer!“

Das ist zwar schon mal besser, als neue Ideen nur aus dem Bauch heraus zu entwickeln. Aber dennoch sind Nutzer-Interview oder auch Fokus-Gruppen nur bedingt geeignet, um neue Ideen zu bekommen und um herauszufinden, wie Menschen in Wirklichkeit vorgehen. Denn wenn man uns Menschen fragt, sind unsere Antworten immer zweifach gefiltert:

  1. Wir filtern durch unsere eigene Erinnerung.
    Wir merken uns nicht alles und uns fällt nicht immer alles ein. Gerade Abläufe, die wir sehr häufig vollziehen, können wir oft nicht korrekt wiedergeben – wir spulen ein automatisches Programm ab. Und Dinge, die einige Zeit zurückliegen, können wir auch nur unvollständig wiedergeben.
  2. Wir filtern durch unsere bewusste oder unbewusste Selektion.
    Manche Details erscheinen uns unwichtig, daher erzählen wir nichts darüber. Nur ein sehr geschickter Interviewer, der sich inhaltlich mit dem Themengebiet gut auskennt, kann hier zumindest etwas gegensteuern. Und manche andere Dinge erzählen wir nicht, weil sie uns peinlich sind oder weil wir das Gefühl haben, dass wir durch sie in einem ungünstigen Licht erscheinen. Diese Selektion kann bewusst sein oder auch unbewusst.

Wen beobachten? Wie rekrutieren? Wie incentivieren?

Probanden, die der Zielgruppe entsprechen

Wie bei allen Aktivitäten des User Research gilt: Versuche für die Teilnehmende Beobachtung Probanden zu rekrutieren, die so exakt wie möglich deiner Zielgruppe entsprechen. Gerade wenn du neue Produktideen entwickelst, hast du vielleicht noch gar keinen Kontakt zu deiner Zielgruppe. Dann ist es sinnvoll, Messen, Kongresse oder andere Veranstaltungen zu besuchen, die deine Zielgruppe ansprechen. Oder du machst das online in Foren und Nutzergruppen. Dort kannst du auch vorsichtig (!) für deine Idee werben und Probanden für die Teilnehmende Beobachtung rekrutieren. Bevor du mit deinem Anliegen herausplatzt, beobachte ein paar Tage, worüber sich die Nutzer im Forum austauschen. Wie der Tonfall ist. Und wie du dich am besten so einbringst, dass du den Vorteil für die Nutzer betonst.

Entlasten bei der Rekrutierung kannst du dich in jedem Fall durch Outsourcen der Rekrutierung – das ist schneller und oft auch kostengünstiger, als das selbst durchzuführen.

Incentives, die zum Thema passen

Beim Incentive (der Bezahlung der Probanden) gilt: Geld ist nicht immer die beste Lösung. Besser ist oft, den Nutzern etwas zu bieten, was mit dem Thema zu tun hat. Vielleicht hast du eigene Produkte, die du weitergeben kannst. Oder du verschenkst Gutscheine für Produkte/Dienste, die mit deinem Thema zu tun haben. Und nicht zu vergessen: Für viele Teilnehmer ist es ein ganz wichtiger Anreiz, bei der Entwicklung eines spannenden neuen Produkts dabei zu sein. Sie wollen gehört werden, ihre Meinung einbringen und freuen sich, anderen etwas voraus zu haben.

Authentisches Arbeitsumfeld

Wenn die Probanden vorher wissen, dass du an ihren Arbeitsplatz kommen wirst, räumen fast alle vorher auf. Das ist schade, denn eigentlich willst du ja den Alltag kennenlernen. Es nützt auch nur wenig, wenn du sie vorher bittest, nicht aufzuräumen. Manche bringt du damit vielleicht nur auf die Idee, dass sie aufräumen könnten, und sie tun es dann gerade. Die beste Lösung dafür ist, im persönlichen Gespräch vor dem Besuch nebenbei zu erwähnen, dass sie sich weder vorbereiten sollen noch aufräumen sollten und du an ihrem authentischen Arbeitsumfeld interessiert bist.

Ein letzter Punkt zur Vorbereitung: Manche Probanden bringen einen Kollegen, Mitarbeiter oder Chef mit. Vielleicht, weil sie dir helfen wollen, weil sie meinen, vielleicht nicht alle deine Fragen beantworten zu können. Vielleicht, weil sie unsicher sind. Oder vielleicht, weil sie den anderen einbinden wollen. Versuche deine Probanden dazu zu bringen, alleine zu erscheinen. Denn es geht dir nicht um vollständige Beantwortung von Fragen, es geht dir um die Beobachtung des Alltags. Mehrere Probanden sind daher eher störend. Ausnahme: Wenn die Aufgabe, welche dich interessiert, im Alltag auch von mehreren Personen gemeinsam erledigt wird. Geht es also zum Beispiel um die Bedienung einer großen Maschine, an der immer drei Personen gemeinsam arbeiten, dann sollten bei deiner Teilnehmende Beobachtung auch drei Personen dabei sein.

Wie hoch ist der Aufwand für Teilnehmende Beobachtung?

Wie bei Usability-Tests auch hängt der Aufwand für Contextual Inquiry vor allem davon ab, wie viele Probanden du hast. Dabei gibt es keine strikte Vorgabe. Schon mit drei Probanden wirst du wertvolle Informationen sammeln. Ich persönlich würde wie bei einem Usability-Test immer mindestens fünf Probanden vorsehen. Denn dann bekommst du ein klares Bild davon, ob manche Vorgehensweisen oder Anforderungen und Wünsche Einzelfälle sind oder bei mehreren Nutzern vorkommen.

Ist deine Zielgruppe recht vielfältig, ist es sinnvoll, deutlich mehr Probanden zu rekrutieren.

Für die Dauer der Durchführung der Teilnehmenden Beobachtung gibt es gute Erfahrungswerte: Normalerweise reichen dir ein bis zwei Stunden pro Proband – es sei denn, du hast sehr spezielle Anforderungen. Bei unseren Beispielen von eben wären bei Küchenkauf- und Fitness-Recherche zwei Stunden genug. Beim Festivalbesuch dagegen müsstest du schon einen Tag pro Proband investieren – dafür ist das aber sicher eine Erfahrung, bei der dein eigener Spaß nicht zu kurz kommt.

Für die Vorbereitung setze ich einen Tag an – du musst die Fragestellung schärfen, den Leitfaden schreiben, die Rekrutierung anleiten bzw. durchführen und die Termine organisieren.

Bei der Nachbereitung würde ich einen halben Tag pro Probanden reservieren. So lange dauert es, die Ergebnisse zu sichten, zu vergleichen und zu dokumentieren. Je mehr Probanden du hast, desto schneller wirst du dabei werden. Denn es werden sich immer wieder Beobachtungen wiederholen, die du dann nicht mehr so detailliert festhalten musst.

Probanden informieren/vorbereiten

Wichtig ist: Weise die Probanden vor deinem Besuch darauf hin, dass sie sich nicht vorbereiten müssen. Oft werden sie wissen wollen, welche Fragen du stellen wirst. Nenne ihnen nur grob die Themen, um die es gehen wird. Und sage ihnen, dass es hauptsächlich darauf ankommt, dass sie dir ihre alltägliche Arbeit zeigen und sie eigentlich überhaupt nichts vorbereiten müssen. Wichtig ist auch, dass sie verstehen, dass du das Gespräch genau an dem Ort führen möchtest, an dem sie die Tätigkeit ausführen. Im beruflichen Umfeld heißt das: Bitte sie, an ihren Schreibtisch bzw. in ihre Werkstatt kommen zu dürfen.

Ein Interview in einem Besprechungsraum ist dann eben genau das: ein Interview, aber keine Teilnehmende Beobachtung. Geht es um ein reines Software-Produkt, dann reicht es zur Not, wenn die Probanden dir ihre Arbeit auf ihrem Laptop im Besprechungsraum zeigen. Es sollte dann aber ihr eigener Laptop sein, an dem sie üblicherweise arbeiten. Und ich frage in so einem Fall dann immer, ob ich im Anschluss den Arbeitsplatz besichtigen kann. Das ist sehr lohnend, weil du dann das Umfeld siehst. Du siehst die Post-its auf dem Monitor. Das Notizbuch neben der Tastatur. Die Ordner und Handbücher im Regal. Die Büro Folklore mit Karikaturen oder motivierenden Sprüchen an der Wand. Du findest heraus, ob die Person alleine im Büro sitzt. Ob es dort ruhig ist oder eher belebt. Alles wichtige Informationen für uns User Researcher.

Beobachtung des Alltags

Wenn die Probanden vorher wissen, dass du an ihren Arbeitsplatz kommen wirst, räumen fast alle vorher auf. Das ist schade, denn eigentlich willst du ja ihren echten Alltag kennenlernen. Es nützt auch nur wenig, wenn du sie vorher bittest, nicht aufzuräumen. Manche bringt du damit vielleicht nur auf die Idee, dass sie aufräumen könnten, und sie tun es dann gerade. Die beste Lösung dafür ist, im persönlichen Gespräch vor dem Besuch nebenbei zu erwähnen, dass sie sich weder vorbereiten sollen noch aufräumen sollten und du an ihrem authentischen Arbeitsumfeld interessiert bist. Arbeitest du mit einem Profi für die Rekrutierung wie TestingTime zusammen, sorgen die Kollegen dafür, dass die Probanden gut gebrieft sind.

contextual inquiry contextual enquiry teilnehmende beobachtung 3

Bei der Teilnehmenden Beobachtung gehst du dorthin, wo die Arbeit getan wird, für die du dich interessierst.

Was du den Probanden auch im Vorfeld erklären solltest: Du möchtest mit ihnen alleine sprechen. Manche wollen gern einen Kollegen, Mitarbeiter oder Chef dabeihaben. Vielleicht, weil sie dir helfen wollen, weil sie meinen, vielleicht nicht alle deine Fragen beantworten zu können. Vielleicht, weil sie unsicher sind. Oder vielleicht, weil sie den anderen einbinden wollen. Versuche deine Probanden dennoch dazu zu bringen, alleine zu erscheinen. Denn es geht dir nicht um vollständige Beantwortung von Fragen, es geht dir um die Beobachtung des Alltags. Mehrere Probanden sind dabei eher störend. Ausnahme: Wenn die Aufgabe, welche dich interessiert, im Alltag auch von mehreren Personen gemeinsam erledigt wird. Geht es also zum Beispiel um die Bedienung einer großen Maschine, an der immer drei Personen gemeinsam arbeiten, dann sollten bei deiner Teilnehmende Beobachtung auch drei Personen dabei sein.

Leitfaden schreiben

Natürlich kannst du einfach mal deine Nutzer besuchen und mit ihnen plaudern. Das ist besser, als gar keinen Kontakt zu Nutzern zu haben. Wenn du aber wirklich ernsthaft arbeiten willst, dann brauchst du einen Leitfaden für deine Teilnehmende Beobachtung.

Grundlage dafür sind deine Forschungsfragen: Was willst du überhaupt wissen? Welche Ergebnisse sollen bei der Untersuchung herauskommen? Ein gutes Hilfsmittel zum Formulieren dieser Fragen sind Forschungshypothesen (Tipps dazu siehe Hypothesenbildung – mit den richtigen Fragen in den Test).

Weißt du, was du herausbekommen willst, dann machst du dich daran, deinen Besuch beim Nutzer zu strukturieren. Der Leitfaden folgt dem Besuchsablauf, wie ich ihn im folgenden Abschnitt dargestellt habe. Es genügt, wenn du hier Stichpunkte aufschreibst und die Aufgabenstellungen vielleicht ausformulierst. Anders als beim Usability-Test lese ich die Fragen bei der Contextual Inquiry nicht vor, sondern formuliere sie frei. Denn hierbei ist sowieso jeder Besuch ganz anders, und du gehst auf die jeweiligen Besonderheiten direkt ein.

Beobachtung durchführen

Üblicherweise folgt dein Besuch beim Probanden diesem Muster:

  1. Begrüßung, Erklärung des Vorgehens, Aufwärmfragen (Warm-up/Icebreaker)
  2. Eigentliche Beobachtung
  3. Abschlussfragen, Verabschiedung

Begrüßung, Erklärung des Vorgehens, Aufwärmfragen (Warm-up/Icebreaker)

Der erste Teil dient dazu, deinen Probanden zu entspannen. Du willst eine lockere Atmosphäre schaffen, in der er dir vertrauensvoll über seine alltäglichen Vorgehensweisen berichtet. Praktisch jeder Proband ist am Anfang etwas nervös, auch wenn er sich das nicht anmerken lässt. Ganz natürlich wirkt etwa die Frage, wie lange die Person schon im Unternehmen arbeitet, wie der Umgang mit den Kollegen ist oder welche Ausbildung die Person hat. Noch besser ist, wenn dir etwas Persönliches einfällt. Siehst du z.B. ein Foto von einem Haustier am Arbeitsplatz kannst du nach diesem fragen. Oder nach dem Fußballverein, dessen Fanschal an der Wand hängt.

Zu viel Zeit solltest du mit dem Aufwärmen aber nicht verbringen, mehr als fünf Minuten braucht es nicht. Möchtest du demografische Daten (Alter, Familienstand…) abfragen, dann machst du das besser im Vorfeld – dazu müsst ihr nicht die Zeit des persönlichen Gespräches nutzen.

Eigentliche Beobachtung

Beim Hauptteil geht es darum, den Nutzer so schnell wie möglich dazu zu bringen, Dinge vorzuführen. Du machst ja kein Interview, sondern du möchtest sehen, was der Nutzer tut. Bitte ihn also, eine bestimmte Aufgabe zu erledigen. Dabei soll er dir jeden Schritt einzeln erklären.

Am besten überlegst du dir drei bis sechs Aufgaben, die du den Nutzer vorführen lässt. Diese sollten einem logischen Ablauf folgen – muss der Proband sich z.B. in einem System anmelden, um eine Aufgabe zu erledigen, sollte erst die Anmeldung und dann der nächste Schritt vorgeführt werden. Das hilft dir und dem Probanden, nicht durcheinander zu kommen. Und es versetzt den Probanden in eine etwas natürlichere Situation. Er verhält sich dann eher so, wie wenn du ihm nicht über die Schulter siehst.

Abschlussfragen, Verabschiedung

Am Ende der Beobachtung solltest du immer noch etwa zehn Minuten einplanen, um dem Nutzer weitere Fragen zu stellen. Hat er einen Anschlusstermin, kommst du sonst dazu vielleicht nicht mehr. Und schließlich verabschiedest du dich und bedankst dich für die Zeit. Du kannst das Thema noch kurz aufgreifen, das du beim Warm-up angesprochen hast. Also Grüße ans Haustier ausrichten oder dem Fußballverein die Daumen drücken fürs nächste Spiel.

Nach jedem Gespräch überlegst du, ob der Leitfaden angepasst werden muss. Im Idealfall passiert das nicht, dann sind alle Beobachtungen vergleichbar. Aber wenn du merkst, dass manche Aufgaben nicht verstanden werden, oder der Nutzer manche Aufgaben gar nicht durchführt, dann solltest du den nächsten Probanden nicht wieder dieselben Fragen stellen.

Meister-Schüler-Prinzip

Das, was beim Usability-Test das „Laut Denken“ ist, ist bei der Contextual Inquiry das „Meister-Schüler-Prinzip“, „Meister-Lehrling-Prinzip“ oder „Lehrer-Schüler-Prinzip“. Mit dieser Methode bekommst du am besten heraus, was im Kopf des Probanden vorgeht und wie er arbeitet. Wichtig ist, dass du ihm diese Technik am Anfang gut erklärst.

Ich persönlich habe die Erfahrung gemacht, dass du das am besten erst dann erklärst, wenn der Proband die erste Aufgabe durchführen soll. Machst du das dagegen schon bei der Einführung, dann haben es die meisten Probanden wieder vergessen, wenn es später an die Aufgaben geht.

Das Prinzip erklärst du etwa so:

Stellen Sie sich vor, ich bin Ihr Schüler, und Sie sind mein Meister. Ich habe keine Ahnung davon, wie man vorgeht, und Sie wollen es mir so erklären, dass ich das ab morgen selbstständig tun kann. Zeigen Sie mir also einen Schritt nach dem anderen und zeigen Sie mir alles, was ich wissen muss. Ich werde dabei immer wieder nachfragen. So bin ich sicher, dass ich alles richtig verstehe.

Mit dieser Methode bringst du die Probanden am ehesten dazu, dir die Aufgaben tatsächlich vorzuführen. Manchmal rutschen die Probanden ins Abstrakte. Sie sagen dann etwas wie „ich würde dann hier klicken…“. Passiert das, erinnere sie einfach daran, dass du ihr Schüler bist. Und bitte sie, es dir vorzumachen, weil du es dann am besten verstehst.

contextual inquiry contextual enquiry teilnehmende beobachtung 4

Das Meister-Schüler-Prinzip in Aktion: Lass dir jeden einzelnen Schritt von deinem Gesprächspartner erklären.

Richtig protokollieren und dokumentieren

In den Leitfaden schreibe ich mir immer auch nochmal die Forschungsfragen. Denn die solltest du immer im Auge behalten. So stellst du sicher, dass du deine wertvolle Zeit mit dem Probanden nicht mit Themen verbringst, die gar nicht so wichtig sind.

Am besten geht ihr zu zweit zur Teilnehmenden Beobachtung: Eine Person macht die Moderation und führt das Gespräch. Die zweite hält sich im Hintergrund und protokolliert. Sie sollte sich nach der Begrüßung nicht mehr am Gespräch beteiligen und auch keine Zwischenfragen stellen. So konzentriert sich der Proband ganz auf den Moderator und führt mit ihm das Gespräch. Dabei kommt ihr praktisch immer zu besseren Ergebnissen, und für den Probanden ist das so einfacher. Am Ende kann der Moderator seinen mitschreibenden Kollegen noch fragen, ob er noch etwas wissen will.

In den meisten Fällen reicht es, wenn man sich handschriftlich oder auf dem Tablet Notizen macht. Laptops zum Protokollieren mag ich nicht so, das Klappern der Tastatur stört das Gespräch und man wirkt noch strenger, als wenn man nur mit Stift und Papier arbeitet. Für die lockere Beobachtungs-Atmosphäre ist das nicht so günstig.

Besonders wenn du alleine bist und keinen Protokollanten dabeihast, bietet sich der Audiomitschnitt des Gesprächs an. Eine einfache App fürs Smartphone reicht hier meist aus, wenn du nicht gerade in einer lärmenden Maschinenhalle bist.

Fotos und Videoaufzeichnungen

Geht es um komplexe Abläufe, ist es gut, Fotos zu machen. Auch wenn du das Arbeitsumfeld dokumentieren willst (auch für Kollegen, die nicht mit dabei sind), sind ein paar Fotos schön. Die meisten Probanden haben nichts dagegen, wenn du schnell ein, zwei Bilder machst.

Videoaufzeichnungen macht man dagegen nur äußerst selten bei der Contextual Inquiry. Denn das macht fast alle Probanden befangen. Und außerdem ist die Auswertung von Videos sehr zeitaufwändig. Schließlich ist es in Unternehmen oft recht mühsam, eine Erlaubnis fürs Videoaufzeichnen zu bekommen. Mit Fotos ist das nach meiner Erfahrung leichter. Gleich ob Fotos oder Video – sind diese Aufnahmen für dich entscheidend, solltest du vor deinem Besuch abklären, ob das für deine Probanden in Ordnung ist.

Bei Audio ist das unkomplizierter, hier reicht es, wenn du eine Einverständniserklärung mitbringst, die du dir unterschreiben lässt (siehe z. B. bei Audiotranskription.de). In dieser Erklärung solltest du die nach DSGVO (für EU-Bürger) nötigen Hinweise zum Datenschutz geben und dem Probanden klar machen, dass die Aufzeichnung lediglich deiner Auswertung dient und nicht weitergegeben wird.

Nach dem Gespräch solltest du dich gleich mit dem Protokollanten besprechen – nicht erst, wenn ihr zurück im Büro seid oder gar am nächsten Tag. Geht sofort nochmal alles durch, gleicht eure Eindrücke und die wichtigsten Erkenntnisse ab, solange ihr alles noch frisch im Gedächtnis habt.

contextual inquiry contextual enquiry teilnehmende beobachtung 5

Mit einem Notizblock bist du mobiler als mit einem Laptop, und dein Gesprächspartner fühlt sich weniger streng beobachtet.

Umgang mit unerwarteten und schwierigen Situationen

Für mich macht den Reiz der Teilnehmenden Beobachtung aus, dass du nie alles planen kannst. Du wirst oft Dinge erleben, die du nicht erwartet hast. Der Proband führt dich zum Beispiel in ein Labor, von dem du dachtest, es existiert so nur in Science-Fiction-Filmen. Er arbeitet mit sündteuren Hightech-Geräten mit mehreren großen bunten Bildschirmen. Und zieht dann einen abgegriffenen Filzstift aus der Tasche, um auf dem edlen Gerät den Füllstand zu markieren. Die Produktdesigner haben offenbar keine Möglichkeit vorgesehen, diese für den Probanden wichtige Information eleganter festzuhalten.

Solche Beobachtungen sind überraschend, und sie sind der Grund, warum die Contextual Inquiry so lohnend ist. Manchmal kommst du jedoch auch in schwierige Situationen. Klar ist, dass du deine eigene Gesundheit oder die des Probanden niemals gefährden darfst. Besuchst du eine Baustelle, und dein Proband sagt, dass hier keiner Helm und Sicherheitsschuhe trägt, obwohl das vorgeschrieben ist, kann das eine wichtige Information sein. Du solltest allerdings so nicht auf die Baustelle mitgehen, sondern versuchen, den Probanden dazu zu bringen, die korrekte Ausrüstung für euch zu besorgen. Gelingt dir das nicht, musst du zur Not die Beobachtung abbrechen.

Aber so etwas kommt extrem selten vor – mir selbst ist so etwas noch nie passiert, und ich kenne persönlich auch niemand, dem das passiert wäre. Was dagegen häufig vorkommt, ist das Gegenteil: Der Proband führt dich in einen wunderschönen, leeren Besprechungsraum. Nicht ins Labor, nicht auf die Baustelle, nicht an seinen Schreibtisch. Das kann vorkommen, obwohl du bei der Vorbereitung klargemacht hast, dass du das Gespräch am Arbeitsplatz führen willst. Versuche, deinen Probanden dann zu überzeugen, jetzt dennoch dorthin zu gehen.

Die Arbeitssituation so echt wie möglich nachspielen

Gelingt dir das nicht, bitte darum, den Arbeitsplatz am Ende zumindest besichtigen zu dürfen. Versuche die Arbeitssituation dann so echt wie möglich nachzuspielen mit deinem Probanden. Nimm Stift und Papier zur Hilfe, oder sogar Tische und Stühle. Alles ist erlaubt, was dir hilft, das Vorgehen des Probanden zu verstehen. Nimm dabei alles auf deine Kappe: Erkläre dem Probanden, dass du das alles brauchst, um es dir vorzustellen. Du musst ihm nicht sagen, dass er es auch braucht, um sich an so viel wie möglich korrekt zu erinnern.

contextual inquiry contextual enquiry teilnehmende beobachtung 6

Besprechungszimmer sind für eine Teilnehmende Beobachtung immer nur die
Notlösung. Versuche immer, das Gespräch am Arbeitsplatz zu führen.

Tauchen mehr Probanden auf, als du erwartet hast, schicke sie nicht gleich weg. Das könnte sie und deinen Gesprächspartner verärgern. Finde vielmehr heraus, warum die Kollegen dabei sind. Arbeiten sie normalerweise alleine an den Aufgaben, dann bitte sie, diese jeweils einzeln vorzuführen. Die anderen sollen dabei nur zusehen, nicht kommentieren und dazwischenreden. Das Meister-Schüler-Prinzip hilft hier wieder sehr: Lasse dir von einer Person jeden Schritt erklären. Damit du zeitlich nicht in Bedrängnis kommst, lasse die Probanden jeweils eine Aufgabe übernehmen und dir nicht dieselbe Aufgabe von mehreren vorführen.

Ergebnisse auswerten und präsentieren

Das klassische Ergebnis der Teilnehmenden Beobachtung ist ein Protokoll. Der Haken ist: Das liest praktisch niemand. Protokolle sind lang und unstrukturiert, und wenn du fünf oder mehr Probanden besucht hast, dauert es auch viel zu lang, alle Protokolle zu lesen.

Wenn du Fotos gemacht hast, sind diese eine gute Basis für deine kollegenfreundliche Aufbereitung. Nimm diese Fotos, setze sie in eine (PowerPoint-)Präsentation und schreibe jeweils ein paar wenige Stichpunkte dazu. Was war das Besondere an diesem Besuch bei diesem Probanden? Was habt ihr gelernt?

contextual inquiry contextual enquiry teilnehmende beobachtung 7

Wenn du Fotos gemacht hast, machen sie deine Erkenntnisse besser verdaulich. Aber auch ohne Fotos bietet es sich an, die Ergebnisse möglichst kurz und leserfreundlich aufzubereiten.

Als Zusammenfassung nimm dir deine Forschungsfragen noch mal vor: Schreibe sie jeweils auf eine Folie und schreibe die Antworten in Stichworten darunter. Gibt es eine klare Antwort über alle Besuche hinweg? Oder haben die Probanden hier unterschiedliche Herangehensweisen gezeigt?

Welche Fragen konnten nicht beantwortet werden? Hast du eine Idee, wie man dennoch an die Antworten kommen könnte? Müsst ihr mit anderen Menschen sprechen? Oder braucht ihr noch eine andere Research-Methode wie Tagebuchstudien oder die Auswertung von Zugriffszahlen/Analytics?

Und schließlich macht es sich immer gut, überraschende Fakten oder lustige Ereignisse zu beschreiben. Diese setze ich gern an den Anfang der Präsentation, um die Aufmerksamkeit der Zuhörer/Leser zu gewinnen.

Wer liest schon, was er per Mail bekommt?

Am besten ist es, wenn du diese Präsentation dann auch tatsächlich vor den Kollegen und Stakeholdern hältst. Wenn du sie nur verschickst, geht Information verloren und außerdem – wer liest schon, was er per Mail bekommt?

Eine schlanke und effektive Alternative ist, keine Präsentation zu erstellen, sondern in einem gemeinsamen Workshop im Team die Ergebnisse zu präsentieren und gleich davon ausgehend die nächsten Schritte zu erarbeiten.

Bei solch einem Workshop nimmst du die Aufzeichnungen als Gedankenstütze und berichtest vor dem Team über die einzelnen Besuche. Die anderen schreiben mit und notieren alle interessanten Beobachtungen auf Post-its. Diese sammelt ihr und clustert sie an der Wand. Noch effizienter wird es, wenn ihr statt der Beobachtungen gleich „how might we notes“ erstellt. Das heißt, ihr formuliert aus jeder Beobachtung eine Frage, die mit „Wie könnten wir?“ beginnt. Die Beobachtung ist also z.B.:

Der Proband markiert am Gerät den Füllstand mit Filzstift.

Daraus kann man diese „how might we note“ machen:

Wie können wir dem Nutzer den Füllstand anzeigen?

Mit solch einem Workshop habt ihr nicht nur dem Team die Ergebnisse der Teilnehmenden Beobachtung präsentiert, sondern ihr habt gleichzeitig dafür gesorgt, dass aus den Ergebnissen möglichst konkrete Fragen entwickelt werden, die bei der weiteren Produktentwicklung helfen.

contextual inquiry contextual enquiry teilnehmende beobachtung 8

Lass die Zuhörer deiner Ergebnispräsentation auf Post-its mitschreiben – sie hören dann aktiv zu, und ihr habt am Ende gleich eure Dokumentation.

Vor- und Nachteile der Contextual Inquiry gegenüber (Vor-Ort-)Usability-Test

Fazit

Beim Neukonzipieren, Überarbeiten oder Erweitern von Anwendungen ist die Teilnehmende Beobachtung/Contextual Inquiry eine unverzichtbare Methode. Anders als mit Usability-Tests gibst du den Nutzern dabei nichts vor, sondern lernst viel über deren Alltag, ihre praktischen Probleme und ihre tatsächlichen Nutzungsgewohnheiten von Anwendungen und Geräten. Und anders als bei Interviews geht keine Erkenntnis verloren, weil sie die Nutzer vergessen oder sie für unwichtig halten.

Die Methode der Teilnehmenden Beobachtung ist zwar ein wenig zeitintensiver, aber sehr lohnend. Und: Sie ist wesentlich leichter durchzuführen als ein Usability-Test und macht den meisten zudem mehr Spaß.