Tagebuchstudien: ein Leitfaden für die Praxis

Inhaltsverzeichnis

Einleitung
1 Wie läuft eine Tagebuchstudie ab?
2 Wann setze ich Tagebuchstudien ein?
3 Wann eignen sich Tagebuchstudien weniger?
4 Welche Varianten gibt es?
5 Wie zeichnen die Probanden ihre Einträge auf?
6 Welche Ergebnisse bekomme ich?
7 Wie bereite ich eine Tagebuchstudie vor?
8 Welche Software/Apps helfen bei der Durchführung?
9 Wie viele Probanden brauche ich?
10 Welche Incentives/Belohnungen/Bezahlungen sind sinnvoll?
11 Mit welchen Methoden kann ich Tagebuchstudien kombinieren?
Fazit

Einleitung

So wertvoll Usability-Tests sind – es gibt Dinge, die lassen sich mit ihnen nur schwer testen. Ein Usability-Test ist immer nur eine Momentaufnahme. Und länger als eine Stunde mit einem Probanden zu testen, ist ganz selten sinnvoll. Vor allem aber: Die wiederholte Nutzung über eine längere Zeit ist damit kaum zu erfassen.

Doch es gibt eine unter UX-Experten noch immer viel zu unbekannte Methode, mit der du langfristige Nutzung, Planung, Gedanken und Vorgehen der Nutzer sehr gut herausfinden kannst: die Tagebuchstudie, englisch Diary Study.

1 Wie läuft eine Tagebuchstudie ab?

Das Grundprinzip der Tagebuchstudie ist genial einfach: Du bittest Probanden, ihre Erfahrungen in einem Tagebuch festzuhalten. Sie sollen alles aufschreiben, was sie im Zusammenhang mit deiner Fragestellung tun.

Ein Beispiel: Für eine Website, eine App oder eine Geschäftsidee interessiert dich: Wie kaufen Menschen eine Einbauküche? Das kannst du im Usability-Labor praktisch nicht herausfinden. Du kannst zwar einen konkreten Küchenkonfigurator testen. Oder du kannst eine Fokusgruppe durchführen und mit einer Gruppe von Menschen über ihre Erfahrungen beim Küchenkauf diskutieren. Aber die Gefahr dabei ist, dass viele kleine Schritte nie ans Tageslicht gelangen – einfach, weil die Probanden sie vergessen.

All diese Probleme umgehst du mit einer Tagebuchstudie. Mit dieser findest du sehr viel über das tatsächliche komplexe Vorgehen der Probanden heraus. Und darüber, was sie dabei jeweils denken und fühlen. Das Setup für deine Küchenkauffrage könnte also so aussehen: Du rekrutierst Probanden, welche vorhaben, in nächster Zeit tatsächlich eine Einbauküche zu kaufen. Diese bittest du nun, alles aufzuschreiben, was sie tun, um sich zu entscheiden. Wenn sie also ein Küchenstudio besuchen oder einen Schreiner. Wenn sie vor einem Schaufenster stehen bleiben und Küchenausstattung ansehen. Wenn sie mit Freunden deren Küchen ansehen und mit diesen darüber diskutieren. Wenn sie Websites dazu besuchen. Wenn sie mit ihrem Partner darüber sprechen.

Am Ende der Studie siehst du dir die Aufzeichnungen an und kannst so genau nachvollziehen, wie die Probanden vorgegangen sind.

Tagebuchstudien ein Leitfaden für die Praxis 1

Bei Tagebuchstudien schreiben die Probanden ihre Erfahrungen auf – z.B. mit einem Produkt, einem Unternehmen oder beim Umgang mit Geräten.

Die Vorteile von Tagebuchstudien in Kürze

Komplexe Entscheidungen werden nachvollziehbar.
Mehrfachnutzung ist testbar.
Längere Zeiträume sind untersuchbar.
Nutzer sind in ihrer gewohnten Umgebung bzw. vor Ort in ihrer jeweiligen Nutzungssituation.
Nutzer werden nicht durch den Moderator beeinflusst.
Auch Details werden erfasst.
Nutzer entscheiden selbst, was sie preisgeben, daher fühlen sie sich weniger beobachtet.
Nutzer berichten von echten Handlungen, nicht davon, woran sie sich erinnern.

2 Wann setze ich Tagebuchstudien ein?

Die Einsatzzwecke von Tagebuchstudien ergeben sich eigentlich direkt aus den eben aufgeführten Vorteilen. Immer dann, wenn dich ein längerer Zeitraum interessiert, kommt die Methode in Frage.

Das Schöne ist auch: In einem Usability-Test findest du, wie der Name ja schon sagt, vor allem etwas über die Usability von konkreten Anwendungen heraus. Bei Tagebuchstudien erfährst du aber viel mehr über die User Experience. Du siehst genau, in welchen Situationen die Probanden Anwendungen nutzen. Du erfährst auch, welche Konkurrenzanwendungen im Spiel sind. Aber vor allem erfährst du auch extrem viel über die nicht-digitalen Bereiche der Nutzungserfahrung. Darüber, wann die Nutzer mit anderen über ihre Erfahrung sprechen. Wann sie in Geschäfte gehen, Prospekte lesen, Anzeigen sehen und noch vieles mehr.

Du kannst im Tagebuch also quasi die gesamte Customer Journey nachlesen. Direkt aus erster Hand erfährst du, welche Berührungspunkte (Touchpoints) es zwischen Nutzern/Kunden und Unternehmen/Produkt gibt. (Mehr zu Touchpoints findest du in diesem Beitrag: SBB Case Study – Touchpoint Studien)

Du erfährst in Tagebuchstudien vor allem auch etwas über:

Einstellungen
Motivationen
Verhalten
Nutzungssituationen
Gewohnheiten

Dadurch bieten sich Tagebuchstudien insbesondere in frühen Projektphasen an. Hier lernst du die Nutzer, ihre Gedanken, Überzeugungen und vor allem auch ihre Sorgen & Probleme (Pain Points) sehr gut kennen.

Ebenso eignen sich Tagebuchstudien, wenn du wissen willst, wie die Langzeitnutzung deines Produkts aussieht. Wie oft öffnen Nutzer die App? Wann besuchen sie die Website? Welche Geräte verwenden sie dabei? Sind andere Personen beteiligt? Was gefällt ihnen, was nicht? Wie ändert sich die Einstellung oder die Nutzung im Lauf der Zeit?

Tagebuchstudien ein Leitfaden für die Praxis 2

Usability-Tests in alltäglichen Situation sind schwierig – Tagebuchstudien spielen hier ihren Vorteil aus.

Beispiele für den Einsatz von Tagebuchstudien:

Einsatz konkreter Produkte (z. B. Reinigungsmittel, Shampoo, Mixer …)
Was machen Leute mit getrockneten Tomaten? Gibt es Dinge, die wir noch nicht wissen/kennen?
Wie entscheiden Konsumenten, ob/welche Brotaufstriche sie kaufen? Wie, wann sie Schokolade/Kuchen kaufen?
Alltägliche Nutzung von Sprachassistenten, Soundsystemen, Fernsehern, Waschmaschinen, Pfannen …
Aktien kaufen, Krankenversicherung abschließen …

3 Wann eignen sich Tagebuchstudien weniger?

Um konkrete Verbesserungsideen für einzelne Funktionen oder einzelne Seiten zu bekommen, sind Tagebuchstudien nicht geeignet. Auch Aufgaben, die mit wenigen Schritten erledigt sind oder sehr schnell zu erledigen sind, rechtfertigen keine Tagebuchstudie.

Denn ihr Nachteil ist, dass der Aufwand relativ groß ist. Zum einen bei der Organisation. Zum anderen auch für die Teilnehmer der Studie. Und schließlich vor allem bei der Auswertung der Aufzeichnungen.

Auch wenn es beim Erledigen der Aufgaben für die Nutzer recht stressig zugeht, sind Tagebuchstudien ungünstig. Denn dann haben die Probanden erst nach Abschluss ihrer Aufgabe wieder die Zeit und die Muße, ihre Nutzung zu protokollieren – oder noch schlimmer, die Probanden werden beim Bearbeiten der Aufgabe durchs Aufschreiben abgelenkt oder eingeschränkt.

Im Business-to-Business-Bereich (B2B) sind Tagebuchstudien auch seltener. Die meisten Probanden empfinden diese Methode als recht persönlich, und das erscheint einigen im Geschäftsumfeld unpassend.

In den genannten Fällen bietet sich eher die teilnehmende Beobachtung (Contextual Inquiry) an.

4 Welche Varianten gibt es?

An sich laufen Tagebuchstudien immer gleich ab. Das wichtigste Kriterium zur Unterscheidung ist, wann die Teilnehmer ihre Aufzeichnung machen:

Komplette Aufzeichnung, jedes Mal, wenn ein Ereignis eintritt (z. B. Proband spricht mit Partner über Küchenpläne)
Zunächst nur Aufzeichnung eines Snippets (Kurznotiz), Details werden später ergänzt (z. B. Proband macht Foto von der Küche einer Bekannten, als er sie besucht. Am Abend ergänzt er dann z. B. online in einem Web-Formular, worüber genau sie gesprochen haben.
Regelmäßige Abfrage (Probanden werden z. B. alle 2 Stunden oder jeden Abend von einer App gefragt, was sie gerade tun/denken/essen/lesen/hören – für eine breiter angelegte Studie denkbar, bei der es z. B. um Ernährungsgewohnheiten geht)

Tagebuchstudien ein Leitfaden für die Praxis 3

Für Tagebuchstudien können die Probanden auch einfach Fotos machen, um ihre Nutzungssituation zu dokumentieren.

5 Wie zeichnen die Probanden ihre Einträge auf?

Dann unterscheiden sich Tagebuchstudien noch in der Art und Weise, wie die Probanden aufzeichnen. Üblich sind die folgenden Wege:

Stift & Papier
Notizen auf Desktop oder Laptop/Smartphone oder Tablet
SMS/WhatsApp/Twitter/Slack/E-Mail/Voicemail
Online-Formular/Website
Spezielle App
Foto-Dokumentation (meist kombiniert mit Notizen, App oder Online-Formular)
Video-Dokumentation

Bei der klassischen Version der Tagebuchstudie schreiben die Probanden einfach mit Stift und Papier alles auf. Sie nutzen ein Buch mit leeren Seiten – ganz so wie bei einem echten, persönlichen Tagebuch.

Etwas mehr Struktur bekommt das, wenn du Formulare vorsiehst, die ausgefüllt werden sollen, z. B. ein Formular für jeden einzelnen Eintrag. Darauf stehen dann Felder wie Tag, Zeit, Ort/Nutzungssituation, Beschreibung, Gefühle usw. Manchmal setzt man auch vorbereitete Tagebücher ein, welche Aufgaben, Hintergrundfragen oder ähnliches enthalten. Dabei geht es dann aber nicht mehr so sehr um Nutzungssituationen, sondern mehr um Ideen, Einstellungen und Vorlieben der Probanden.

Je mehr Probanden teilnehmen und je jünger die Zielgruppe ist, desto eher kannst du eine digitale Methode wählen. Das macht die Auswertung leichter, ist für die Probanden (je nach Alter und Präferenz) aber manchmal auch umständlicher. Insbesondere musst du damit rechnen, dass die Eingaben auf Mobilgeräten kürzer ausfallen, als wenn die Probanden eine echte Tastatur nutzen und als bei handschriftlichen Notizen.

Und: Geht es um die Nutzung einer App oder des Smartphones selbst, müssen die Probanden hin- und herspringen zwischen der eigentlichen Anwendung und der App, die sie für die Notizen verwenden.

Das digitale Tagebuch hat aber viele Vorteile, deshalb wird es immer häufiger eingesetzt:

Du kannst Zwischenauswertungen machen.
Du kannst nachfragen, wenn Dinge unklar sind (und die Wahrscheinlichkeit, dass der Proband sich noch erinnert, ist höher, als wenn du erst nach Abschluss der Studie nachfragst).
Du kannst neue Fragen ergänzen oder Fragen anpassen.
Du kannst moderieren, motivieren, erinnern.
Die Qualität wird besser, wenn du moderierst, weil die Nutzer dann merken, dass ihre Kommentare gelesen und geschätzt werden – bzw. weil du Nutzer, die keine guten Einträge machen, unterstützen und fördern kannst.

Tagebuchstudien ein Leitfaden für die Praxis 4

Je leichter Probanden ihre Aufzeichnungen machen können, desto besser werden die Ergebnisse.

6 Welche Ergebnisse bekomme ich?

Je nach eingesetzter Methode bekommst du mehr oder weniger strukturierte Daten. Meist sind es geschriebene Texte, möglicherweise von Hand geschrieben. Üblicherweise läuft eine Tagebuchstudie 1 bis 2 Wochen, und es nehmen um die 15 Probanden teil.

Du musst also damit rechnen, bis zu Hunderte Seiten von Text durcharbeiten zu müssen. Das geht schneller als man zunächst befürchtet, weil sich Dinge sowohl bei einzelnen Probanden als auch zwischen den Probanden schnell wiederholen. Je mehr du also schon durchgesehen hast, desto schneller kommst du voran.

Tagebuchstudien ein Leitfaden für die Praxis 5

Tagebuchstudien ein Leitfaden für die Praxis 6

Die Daten in der App sind schon gut strukturiert durch die Teilnehmer. Auch Fotos sind hier möglich. Im Vergleich dazu sind Einträge in einem handschriftlichen Tagebuch deutlich aufwendiger in der Auswertung. Dafür werden Probanden aber leichter dazu angeregt z. B. auch Zeichnungen aufzunehmen.

7 Wie bereite ich eine Tagebuchstudie vor?

Wenn du eine Tagebuchstudie planst, gehst du am besten so vor:

Ziel der Studie bestimmen
Laufzeit, genaue Aufgabe festlegen
Zielgruppe definieren
Probanden rekrutieren
Probanden briefen
Probanden betreuen, Zwischenchecks machen
Debriefing, nachfragen
Auswertung

Die Schritte im Einzelnen kurz erklärt:

Ziel der Studie bestimmen

Wie bei jeder guten Studie legst du zunächst mit deinem Team und den Stakeholdern (also mit Chefs, Auftraggebern etc.) fest, was genau ihr eigentlich herausbekommen wollt. Was interessiert euch konkret? Was sind eure Forschungshypothesen? Woher wisst ihr am Ende, ob die Studie erfolgreich war?

Nehmen wir unser Beispiel von eben: den Kauf einer Einbauküche. Das interessiert uns, weil wir eine Website für einen Schreiner machen wollen. Dieser ist sehr erfolgreich, will jetzt aber in einer neuen Stadt Fuß fassen. Und er überlegt, auch online Küchen anzubieten, welche sich die Kunden selbst zusammenstellen können.

Das ist nicht ohne Risiko, schließlich gibt es einige Unternehmen, welche genau das bereits anbieten.

In der Tagebuchstudie wollen wir also herausfinden, was den Menschen wirklich wichtig ist, wenn sie eine neue Küche kaufen. Wie sie sich informieren, welche Erfahrungen sie dabei machen und welche Informationsdefizite und Unsicherheiten sie haben. Und schließlich wollen wir natürlich wissen: Für welchen Anbieter entscheiden sie sich am Ende und warum?

Es geht also, in Marketingsprache formuliert, vor allem um Folgendes:

Customer Journey
Pain Points
Touch Points
Business Opportunities
Wettbewerbsanalyse/Marktumfeld (wer sind die Mitbewerber?)

Laufzeit, genaue Aufgabe festlegen

Die Laufzeit unserer Beispielstudie wird durch die Aktivität vorgegeben: Idealerweise begleiten wir die Probanden von der ersten Idee, eine neue Küche zu kaufen, bis zu dem Moment, an dem sie den Kaufvertrag für ihre neue Küche unterschrieben haben. Oder möglicherweise sogar noch darüber hinaus. Es kann auch interessant sein, wie sie die Wartezeit bis zur Lieferung sowie die Montage empfinden. Oder wie sie sich in den ersten Tagen in ihrer neuen Küche fühlen.

Wir sprechen hier also von Laufzeiten von mehreren Wochen bis Monaten. Das macht so eine Studie natürlich mühsam – die Probanden müssen über eine lange Zeit daran denken, alles aufzuschreiben. Und wir müssen sie regelmäßig daran erinnern und sehr viel auswerten.

Daher versucht man in der Praxis meist, die Laufzeit zu beschränken. Du würdest also die Studie beenden, wenn die neue Küche gekauft ist. Dann kannst du nach der Montage evtl. noch ein Telefoninterview mit den neuen Küchenbesitzern führen, um ein paar letzte Zusatzinfos abzuholen.

Die genaue Aufgabe für die Probanden wäre dann: Alles festhalten, was irgendwie mit der neuen Küche zu tun hat.

Die meisten Tagebuchstudien laufen in der Praxis deutlich kürzer. Wenn es um eine Fitness-App geht, ein Kosmetikprodukt oder die Erfahrung bei Aufstellung und Inbetriebnahme eines elektrischen Gerätes, dann reicht eine Woche normalerweise völlig aus. Der Großteil von Tagebuchstudien liegt in diesem Bereich. Kürzer gibt es auch, länger ist wegen des hohen Aufwands eher selten.

Zielgruppe definieren

In unserem Beispiel mit der neuen Küche ist die Zielgruppe sehr wichtig. Eine Küche hat zwar jeder und eine Küche kaufen viele. Aber eine hochpreisige Küche vom Schreiner? Die können und wollen sich nur wenige leisten.

Wie bei jeder Nutzerstudie musst du dir für deine Tagebuchstudie also Gedanken über die Kriterien machen, nach welchen du die Probanden aussuchst. Denke z. B. an:

Alter, Geschlecht, Familienstand, Lebenssituation
Wohnort, Wohnsituation
Beruf/Branche, Ausbildung (Eigentum, Miete)
Einkommen
Besitz bestimmter Geräte/Produkte
Vorlieben, Hobbys

Schreibe aber nur die Kriterien fest, die wirklich bedeutsam sind für deine Untersuchung. Denn je mehr und je ungewöhnlichere Kriterien du hast, desto schwieriger wird es, passende Probanden zu finden.

Am einfachsten ist es, wenn du für dein Projekt bereits Personas definiert hast. Dann hast du bereits die entscheidenden Kriterien zusammen und kannst damit die Rekrutierung starten.

Mehr zu Personas hier im Blog: Kompletter Leitfaden: Wie du datenbasierte Personas erstellst

Probanden rekrutieren

Je enger du deine Zielgruppe gefasst hast, desto mehr Zeit solltest du für die Rekrutierung einplanen. Wichtig ist, dass du von Anfang an klar kommunizierst, wie lang die Studie laufen soll – die Probanden müssen während der gesamten Laufzeit zur Verfügung stehen, sonst kannst du ihre Beiträge nicht gebrauchen.

Eine Woche Vorlauf ist bei einer Tagebuchstudie mit einer Woche Laufzeit in Ordnung, wenn du nicht allzu spezielle Probanden brauchst. Läuft die Studie länger, oder brauchst du recht exotische Teilnehmer, dann plane lieber 3 bis 4 Wochen für die Rekrutierung ein.

Durch Outsourcen der Rekrutierung kann man oft schneller und kostengünstiger rekrutieren, insbesondere wenn man Probanden mit speziellen Profilen benötigt (z. B. bei TestingTime).

Probanden briefen

Ganz entscheidend für den Erfolg der Tagebuchstudie ist das Briefing, welches du den Teilnehmern gibst. Also die Arbeitsanweisung für die Laufzeit der Studie.

Das beginnt mit dem Zeitplan – auch wenn du den beim Rekrutieren schon festgelegt hast: Erkläre den Teilnehmern noch mal genau, bis wann die Studie läuft und wie viel Zeit sie dafür pro Tag einplanen müssen. Besser, es sagt dir jetzt ein Proband, dass er in den letzten Tagen der Studie zu einer Weltreise aufbricht, als dass du das erst erfährst, wenn es soweit ist.

Bewährt hat es sich, das Briefing in 2 Teile zu untergliedern:

Ausführliche Erklärung für den Anfang
Zusammenfassung zum Nachlesen

Wenn die Probanden am Anfang loslegen, dann erklärst du ihnen ausführlich, aber so kurz und prägnant wie möglich, was sie tun sollen. Gliedere deine Erklärung mit Überschriften und Aufzählungen. Bringe konkrete Beispiele, Fotos oder sogar Videos, die genau zeigen, was die Probanden tun sollen.

In der Zusammenfassung können die Probanden jedes Mal, wenn sie etwas in ihrem Nutzertagebuch notieren, nachsehen, wie sie das tun sollen. Damit stellst du sicher, dass sie die Notizen in der Form machen, wie du sie gerne haben möchtest.

Denke daran: Auch die Aufzeichnung muss für die Probanden so benutzerfreundlich wie möglich sein. Je leichter ihnen die Aufzeichnung fällt, desto bessere Ergebnisse bekommst du.

Es empfiehlt sich, dein Briefing für die Probanden in einer Pilotstudie zu testen. Bevor du also die echten Probanden damit loslegen lässt, gib‘ dein Briefing einer kleinen Gruppe von Testnutzern. Kommt das nicht in Frage, dann teste mit unbeteiligten Kollegen, Freunden oder Personen, die noch nichts von deinem Projekt wissen. Lass sie mindestens die ersten Schritte der Tagebuchstudie anhand des Briefings durchspielen und beobachte, wie sie damit zurechtkommen. Praktisch immer wirst du hier noch Verbesserungsmöglichkeiten finden. Die Formulierungen können klarer sein, die Anweisungen kürzer, die Ansprache motivierender.

In jedem Fall ist es wichtig, während des Projektstarts für Fragen der Teilnehmer möglichst kurzfristig zur Verfügung zu stehen – per Mail, Chat, WhatsApp, Slack oder Telefon. Beim Test von Produkten für Endkunden idealerweise rund um die Uhr, zumindest aber zwischen 7 und 22 Uhr. Denn viele Probanden werden am ehesten vor und nach der Arbeit Zeit für die Tätigkeiten haben, welche sie in der Tagebuchstudie beschreiben sollen.

Manchmal macht man das Briefing sogar persönlich und versammelt alle Teilnehmer bei einer Auftaktveranstaltung. Dann kann man ihnen direkt zeigen, wie die Aufzeichnung funktioniert. Oder man vereinbart mit jedem Teilnehmer einen Anruf bzw. eine Telefonkonferenz mit Screensharing, um die Aufzeichnung vorzuführen. Möchtest du den Aufwand minimieren, dann müssen die Erklärungen für die Probanden sehr gut geschrieben sein. Beispieleinträge und Abbildungen sind in dem Fall sehr zu empfehlen. Oder du erstellst ein kurzes Erklärvideo, in dem du zeigst, wie gute Tagebucheinträge aussehen.

Probanden betreuen, Zwischenchecks machen

Man könnte denken, du hast jetzt erstmal frei, während die Probanden ihre Tagebücher schreiben. Es hat sich aber gezeigt, dass du viel bessere Ergebnisse bekommst, wenn du die Teilnehmer während der Laufzeit betreust.

Zum einen solltest du für Fragen zur Verfügung stehen. Zum anderen ist es gut, wenn du die Teilnehmer immer mal wieder an ihr Tagebuch erinnerst. Denn es kommt allzu leicht vor, dass man vergisst, seine Aufzeichnungen zu machen. Fällt das den Probanden erst spät ein, dann werden sie die jeweiligen wichtigen Gedanken bzw. Ereignisse entweder gar nicht aufzeichnen oder aus der Erinnerung –, die um so unvollständiger ist, je länger das Ereignis zurückliegt.

Hast du eine Tagebuchform gewählt, die du zwischenzeitlich einsehen kannst, dann trage dir am besten eine Erinnerung in deinen eigenen Kalender ein: Regelmäßig solltest du einen Blick auf die Eintragungen der Probanden werfen. Dann siehst du frühzeitig, wenn diese dich z. B. missverstanden haben. Du kannst deine Erklärungen dann noch während der Laufzeit präzisieren. Oder du findest spannende Dinge heraus, zu denen du noch mehr erfahren willst. Diese kannst du eventuell in späteren Aufgaben/Briefings noch während der Laufzeit der Studie tiefer ergründen.

Kritisiere nicht nur die Teilnehmer, die ihre Einträge vergessen oder sie nicht zufriedenstellend erledigen. Gib denjenigen, die ihre Eintragungen gut machen, positives Feedback. So merken sie, dass jemand ihre Arbeit ansieht und es sich lohnt, sorgfältig zu sein.

Debriefing, nachfragen

Am Schluss der Tagebuchstudie steht ein mehr oder weniger ausführliches Debriefing, also eine Abschlussbesprechung oder zumindest eine Abschlussmail/ein Abschlussfragebogen.

Jetzt zahlt es sich wieder aus, wenn du dir die Notizen der Teilnehmer schon angesehen hast: Dann kannst du jetzt gleich Unklarheiten beseitigen und wichtige Nachfragen stellen.

Nun ist auch deine Gelegenheit, eine Einschätzung deiner Teilnehmer zu bekommen, ihr Fazit zu hören. Jetzt kannst du z. B. auch Metriken zur subjektiven Zufriedenheit erheben (siehe Warum du 2018 am Messen der UX nicht vorbei kommst).

Und schlussendlich: Bedanke dich bei den Probanden für ihre Teilnahme – sie haben dir über längere Zeit hinweg sehr persönliche Einblicke in ihr Leben gegeben.

Letztlich ist das Abschlussinterview eine großartige Möglichkeit, ein gutes Gefühl für die Einstellungen, Verhaltensweisen und Nutzungssituationen der Teilnehmer zu bekommen – alles genau das, weshalb du überhaupt Tagebuchstudien machst. Daher würde ich persönlich nur ungern auf ein persönliches Telefonat, eine Videokonferenz oder ein Treffen mit jedem einzelnen Teilnehmer verzichten.

Tagebuchstudien ein Leitfaden für die Praxis 7

Das Abschlussinterview ist eine großartige Gelegenheit, noch mehr zum Nutzerverhalten zu erfahren.

Auswertung

Am Ende der Tagebuchstudie steht die Auswertung. Diese kann sehr schnell gemacht sein, wenn die Laufzeit kurz, die Probandenzahl klein und die Fragestellung einfach war. In den meisten Fällen musst du dich aber durch viele Seiten von Einträgen der Probanden arbeiten. Das kann sehr spannend sein, aber auch ungemein zeitaufwendig.

Daher mein Tipp: Überlege dir bei der Planung der Studie ziemlich genau, welche Fragen dich wirklich interessieren und wie viel du von den Probanden an Aufzeichnungen forderst. Es ist schade, wenn du am Ende Aufzeichnungen verwirfst, weil du nicht mehr die Zeit hast, alles anzusehen. Dann wäre es besser gewesen, gleich weniger aufzeichnen zu lassen. Denn meist gilt: Je mehr du von einzelnen Probanden aufzeichnen lässt, desto geringer ist die Qualität der Aufzeichnungen in der Summe. Lieber 3 gute Aufzeichnungen am Tag als 30 schlampige.

Nehme dir die Forschungsfragen und Hypothesen vor, die du am Anfang definiert hast. Welche Annahmen lassen sich aus den Aufzeichnungen der Nutzer bestätigen? Welche nicht? Welche lassen sich dadurch widerlegen? Ändern sich die Einstellungen oder Nutzungssituationen der Teilnehmer im Verlauf der Studie? Welche zusätzlichen Touchpoints oder Personen tauchen auf?

Gibt es noch keine Customer Journey Map (CJM), dann ist jetzt der Zeitpunkt, eine mithilfe der Erkenntnisse aus der Tagebuchstudie zu erstellen. Habt ihr schon eine CJM, dann prüfe kritisch, welche Punkte du vielleicht anpassen solltest und wo du die Map erweitern könntest.

Wie du die Ergebnisse aufbereitest, hängt ganz davon ab, wer sie nutzen soll. Denke aber immer daran: Fast alle Menschen freuen sich über wenige, pointierte Fakten mehr als über umfassende, tiefgehende Berichte, für die man lange Zeit braucht, bis man sich durchgearbeitet hat.

Tagebuchstudien ein Leitfaden für die Praxis 8

Tagebuchstudien ein Leitfaden für die Praxis 9

Der Ablauf einer Tagebuchstudie in der vereinfachten Übersicht.

Ein komplettes Fallbeispiel findest du in diesem Beitrag im TestingTime-Blog: Wie Zalando Tagebuchstudien durchführt – Eine Case Study.

8 Welche Software/Apps helfen bei der Durchführung?

Viele Marktforschungsagenturen bieten Software-Tools zur Unterstützung bei Tagebuchstudien an, die jedoch meist weder für UX-Experten gedacht noch ohne lange Einarbeitung nutzbar sind. Und auch preislich spielen sie oft nicht in der richtigen Liga.

Einen Blick wert sind QDC Studio oder auch dscout Diary.

Tagebuchstudien ein Leitfaden für die Praxis 10

Eventuell in Frage kommt auch mQuest – auch wenn die Screenshots der iOS-App nicht ganz zeitgemäß und wenig motivierend aussehen.

Manche Kollegen nutzen auch Customer Support Tools wie Intercom.io oder Umfrage-Tools wie Surveymonkey oder Qualtrics. Ganz einfach geht es natürlich auch mit Google Forms. Bei diesen Lösungen besteht die Kunst darin, die Formulare so anzulegen, dass sie gut für die Aufzeichnung der Tagebucheinträge funktionieren. Ausführliche Pilotstudien mit Probanden sind hier unerlässlich.

9 Wie viele Probanden brauche ich?

Wie immer hängt die Frage, wie viele Probanden du in deiner Studie brauchst, davon ab, wie vielfältig deine Zielgruppe ist und wie viele Aufgaben/Nutzungssituationen dich interessieren.

Denke aber daran, dass der Aufwand bei der Auswertung hoch ist – das spricht für eine überschaubare Zahl von Teilnehmern.

Üblich sind 12 bis 20 Probanden. Ich habe aber auch schon Kollegen getroffen, die 80 Teilnehmer hatten. Wobei ich die dann aber nicht um die Auswertung beneide. Und auch den Aufwand zum Betreuen von so vielen Probanden solltest du dann bei der Planung nicht vergessen. Bei so vielen Probanden kommst du während der Projektlaufzeit zu nicht mehr viel anderem.

Generell gilt: Sind die Probanden sehr sorgfältig ausgesucht, reichen dir weniger. Und auch wenn das Incentive oder die Eigenmotivation hoch ist (du untersuchst z. B. für einen guten Zweck, die Teilnahme macht Spaß usw.), brauchst du nicht so viele Teilnehmer.

Mit einkalkulieren solltest du, dass immer Probanden während der Laufzeit abspringen, und zwar desto mehr, je länger die Laufzeit und je aufwändiger die Eintragungen. Das muss nicht immer Bequemlichkeit sein, auch persönliche Gründe, unerwartete Reisen oder Krankheiten können dazwischenkommen. Das solltest du daher durch eine gewisse Überrekrutierung einplanen.

Durch Outsourcen der Rekrutierung kannst du oft schneller und kostengünstiger rekrutieren, vor allem, wenn du recht spezielle Zielgruppen hast.

10 Welche Incentives/Belohnungen/Bezahlungen sind sinnvoll?

Bewährt hat es sich, die Entlohnung/Incentivierung der Teilnehmer zu staffeln. Das heißt, sie bekommen nicht auf einmal eine Belohnung, sondern z. B. beim Start der Studie, nach der Hälfte der Laufzeit und am Ende. Nicht unproblematisch ist es, die Belohnung an die Anzahl der Einträge zu koppeln. Das führt eventuell dazu, dass die Probanden eher Masse statt Klasse produzieren. Koppelst du die Belohnung an die Qualität der Einträge, kann das zu Unzufriedenheit führen, wenn du Beiträge schlechter beurteilst als die Teilnehmer diese empfinden.

Manche Kollegen arbeiten mit einem Punktesystem: Für jede Aktivität gibt es Punkte: ein kurzer Eintrag 1 Punkt, ein längerer 2 Punkte. Jeder Tag, an dem mindestens 3 Einträge gemacht wurden 10 Punkte. Bis zum Ende dabeigeblieben: 20 Punkte. Jeder Punkt entspricht dann z. B. 20 Cent. Dieses Verfahren ist aber recht aufwändig und auch für Teilnehmer nicht ganz einfach zu durchblicken.

Natürlich ist es so, dass du die Höhe des Incentives an den Aufwand anpassen musst, welcher für die Probanden entsteht. Müssen sie innerhalb einer Woche jeden Tag 2, 3 WhatsApp schreiben, sind 80 Euro für jeden Teilnehmer an der Studie ein Anhaltspunkt.

Zu hoch sollte das Incentive nicht sein – sonst besteht die Gefahr, dass Probanden mitmachen, die sich für das Thema gar nicht interessieren und nur die Bezahlung wollen.

Generell gilt für Incentives immer: Geld ist nur die zweitbeste Lösung. Wenn du etwas findest, was mit dem Thema der Studie zu tun hat, wirkt das meist attraktiver. Also etwa ein Gutschein für einen der getesteten Dienste. Oder die Probanden können das getestete Produkt behalten.

11 Mit welchen Methoden kann ich Tagebuch studien kombinieren?

Gerade in der Marktforschung werden Tagebuchstudien nicht nur eingesetzt, um das tatsächliche Vorgehen der Probanden zu erforschen. Hier gibt man den Probanden häufig zusätzliche Aufgaben, welche sie bearbeiten sollen. Das können z. B. sein:

Lade ein Foto hoch, welches deine aktuellen Gefühle gegenüber dem Produkt widerspiegelt.
Wenn du das Produkt deiner Oma erklären müsstest, wie würdest du das tun?
Wenn dich dein/e beste/r Freund/in fragt, was dich an dem Produkt stört, was würdest du sagen?
Mach heute im Laufe des Tages 5 Fotos von Orten oder Menschen, die dich an das Produkt erinnern.

Solche Kreativaufgaben können einzeln oder auch in Gruppen bearbeitet werden. Sehen die anderen Studienteilnehmer die Ergebnisse, können sie auf diese reagieren und die Ideen weiterentwickeln. Das ist vor allem für die Ideenfindung interessant.

Einfacher für die Probanden sind Abstimmungen. Du kannst den Probanden einfache Fragen stellen wie:

Welches ist deine Lieblingsfunktion? A, B oder C?
Wie findet ihr X? Sehr gut, mittel, schlecht?
Oder auch Freitext-Fragen wie: Was stört dich an Z?

Wenn es keine Abschlussbefragung der Probanden nach der Tagebuchstudie gibt, ist es üblich, diese zumindest an einer Online-Umfrage teilnehmen zu lassen. Denkbar sind auch Fokusgruppen.

Fazit

Wie du siehst, sind die Einsatzmöglichkeiten für Tagebuchstudien extrem vielfältig. Der Aufwand für diese muss nicht höher sein als für Usability-Tests. Gerade wenn du noch keine Erfahrung mit Tagebuchstudien hast, kannst du einfach mal mit einer kleinen Stift-und-Papier-Studie oder einer WhatsApp-Studie beginnen. Dafür brauchst du keine speziellen technischen Hilfsmittel, nur etwas Zeit und ein paar Probanden.

Du wirst sehen, gerade für frühe Projektphasen bringen Tagebuchstudien extrem nützliche Ergebnisse. Probiere es aus!