Institutionalisierung der UX-Research durch Gründung des UXMA UX-Lab: Ein Experiment

Inhaltsverzeichnis

1. Von der erklärten zur institutionalisierten Nutzerzentriertheit
1.1 Qualität, Diversität und Verfügbarkeit
1.2 Anforderungsdiversität beschleunigt das Lernen
1.3 Konkrete Maßnahmen seit der UX-Lab-Gründung

2. Learnings on the Job
2.1 Jede Studie ist ein Experiment
2.2 Systemisches Denken über einzelne Studien hinaus
2.3 Die Auswahl der richtigen Proband*innen
2.4 Zyklische vs. situative Research-Prozessintegration
2.5 Buy-In, Sichtbarkeit und Konsequenzen erzielter Insights

3. Unser Fazit nach 18 Monaten mit dem UX-Lab

1. Von der erklärten zur institutionalisierten Nutzerzentriertheit

Als Produktentwickler, Impulsgeber und manchmal auch verlängerte Werkbank betreut UXMA an 5 Standorten in Deutschland und Griechenland in kleinen bis größeren Projektteams parallel verschiedenste Projekte für Kunden aller Branchen. Dafür bieten wir verschiedene Kompetenzen von Software über Industrie- und UI-Design bis User Research unter dem großen Schirmbegriff „UX“.

Während einige Projektkontakte punktuell sind (als Impulsgeber in Form von Workshops, Designsprints oder Kurzzeitprojekten), begleiten wir die meisten unserer Kunden langfristig. Einige davon unterstützen wir bereits über mehrere Jahrzehnte und können so deren Produkte kontinuierlich verbessern und den wandelnden Anforderungen der Nutzer anpassen.

Besonders ist dabei, dass UXMA nicht selbst Produkte entwickelt, sondern seinen Kunden dabei hilft, erfolgreiche Produkte zu schaffen. Unsere Kernkompetenz ist seit der Firmengründung die Nutzerzentriertheit, die wir seit jeher mit verschiedensten Maßnahmen inklusive wie User Research sicherstellen.

User Research war also schon immer integraler Bestandteil unserer Projekte. 2020 haben wir dann unsere erklärte Nutzerzentriertheit institutionalisiert und das UXMA UX-Lab gegründet. Ziel war insbesondere das Etablieren einer zentralen Stelle zur Generierung und Sammlung von Nutzerwissen und -kenntnissen sowie die Bereitstellung von Tools und Templates für alle Mitarbeiter*innen mit Researchaktivitäten.

1.1 Qualität, Diversität und Verfügbarkeit

Das war für die Qualitätssicherung ein großer Schritt. Denn bislang waren alle Research-Aktivitäten eigenverantwortlich und dezentral in den Projekten durchgeführt worden. Zwar findet im Unternehmen ein regelmäßiger Austausch statt und erfolgreiche Konzepte werden in Form von Best Practises und Success Stories geteilt. Es hat jedoch bis dato weder eine zentral verantwortliche Instanz für die Durchführung, Beratung und Unterstützung, noch einen einheitlichen Qualitätsstandard oder einen zentralen Ablageort für die diversen Materialien gegeben.

Nach wie vor sind unsere Research-Aktivitäten in den unterschiedlichen Projektteams je nach Kunde, Projektstatus und Rahmenbedingungen unterschiedlich ausgeprägt. Während Research in einigen Projekten fest etabliert und zyklisch verankert ist, werden in anderen Projekten vorrangig punktuelle, dafür umfangreicher angelegte Ad-Hoc Studien durchgeführt.

In wieder anderen Projekten findet Research bisher noch verhalten und nur an kritischen Entwicklungspunkten statt. Doch mit dem UX-Lab erhalten die durchgeführten Aktivitäten mehr Sichtbarkeit im Unternehmen. Es findet ein vermehrter Austausch über die verschiedenen Methoden, ihre Vor- und Nachteile, ihre Kosten und Aufwände und die erzielten Erfolge statt. Dies hat in der Folge zu einer deutlichen Zunahme an Diversität von Research-Aktivitäten geführt.

Und nicht zuletzt senkt die Entstehung des UX-Labs mit den dort verorteten Experten die Einstiegshürde in Research erheblich. Während zuvor jedes Projektteam seine Research-Aktivitäten selbst planen, anbieten, durchführen und auswerten musste, was teils mit Berührungsängsten, Unsicherheiten und fehlenden Kapazitäten verbunden war, konnten so Aufwände und Kompetenzen an das UX-Lab ausgelagert werden. Die dortigen Expert*innen werden nun frei nach Bedarf von den Projektteams fachlich konsultiert, mit Aktivitäten beauftragt oder temporär vollständig zu Projektteams hinzugezogen.

1.2 Anforderungsdiversität beschleunigt das Lernen

Doch nicht nur die Projektteams profitieren von der Existenz des UX-Labs. Auch die Mitarbeiter*innen des UX-Labs profitieren von der enormen Bandbreite verschiedener Themenfelder mit neuen inhaltlichen und methodischen Herausforderungen als auch dem fachlichen und menschlichen Austausch mit den Projektmitarbeiter*innen, Kund*innen und anderen Kontakten. Es entsteht ein symbiontisches Lernen von- und miteinander auf allen Ebenen. Neben der Optimierung von Setup- und Tooling-Details entsteht auch ein interdisziplinärer Austausch über Forschungskonzepte und ein aktiver Wissenstransfer zwischen den Kompetenzen.

Zudem ergibt sich durch die Sammlung und Zentralisierung von User Insights aus verschiedenen Bereichen und Branchen und auf allen Flugebenen ein großes fachliches Transferpotential. Dieses kann schon vor Beginn der eigentlichen Research die Qualität der Konzeption verbessern. So kann mit einer geringeren und zielsichereren Varianz in die Evaluationen gestartet werden.

Aus einem UX-Lab, das einst hauptsächlich eine Qualitätssicherungsmaßnahme war, entstand so ein UX-Lab. Ein Katalysator, in dem aus diversen Research-Unternehmungen verschiedener Branchen ein synergetischer Wert entsteht, der über die Erkenntnisse jeder Einzelunternehmung hinausgeht. Neben dem umfangreichen Erfahrungsschatz zu Nutzerverhalten und -empfinden, den dafür gebräuchlichen Methoden, Setups und Toolings wird so auch Wissen zu aktuellen gesellschaftlichen und technischen Trends aufgebaut. Dieses liefern einen besonders hohen Wert als Re-Input für die Designkompetenzen im Unternehmen.

Ausserdem ist das UX-Lab ein lebendiges, wachsendes System, das durch permanent wechselnde Anforderungen in hohem Maße zu Lernen aufgestellt ist, um stets neuen Fragestellungen, Branchenfachwissen sowie technischen und gesellschaftlichen Voraussetzungen gerecht werden zu können. Dabei findet neben der Evaluierung der eigentlichen Forschungsinhalte auch eine Evaluierung, Übertragung und Weiterentwicklung des Forschungs-Setups im Sinne unserer agilen Prinzipien statt.

1.3 Konkrete Maßnahmen seit der UX-Lab-Gründung

• Zugänglichmachen aller Research-Aktivitäten – von der Anforderungsaufnahme über die Angebotsverfassung, Planung, Durchführung bis zur Auswertung – projektübergreifend für alle Mitarbeiter*innen
• Besetzung von Expert*innen für quantitative und qualitative Research zur flexiblen Konsultation und Unterstützung aller Projektteams
• Analyse zahlreicher zuvor durchgeführter Research-Aktivitäten hinsichtlich Lessons Learned und Best Practices
• Definition von Action Points als Basis für stabile und fehlertolerante Arbeitsprozesse in allen Phasen der Research
• Erstellung und Katalogisierung von Templates für Angebote, Projektpläne, Leitfäden und Fragebögen, Protokolle, Reportings usw.
• Einführung eines projekt- und kundenübergreifenden Research Repositories zur Sammlung, Auswertung und Synthese aller erhobenen Daten und Insights
• Erweiterterung des Portfolios und stetige Evaluierung verschiedener Tools für alle in der Research anfallenden Aufgaben (Prototyping / Konzeption, Durchführung, Analyse, Archivierung) und Research-Methoden (Onlinebefragungen, (un)moderierte Usertests etc.)
• Strukturierte Teilung von Learnings, Erkenntnissen und Fail- sowie Success Stories in Form von Pitches, Trainings, Workshops und Sprechstunden intern als auch extern

2. Learnings on the Job

Was sich jedoch nicht in einem Stichpunkt ausdrücken lässt, sind die zahlreichen unschätzbaren Erkenntnisse, die sich seit der Einführung des UX-Labs aus der interdisziplinären Arbeit unserer Expert*innen ergeben. Das Zusammenkommen von Kompetenzen aus der Marktforschung, der qualitativen User Research, den verschiedenen Designrichtungen und dem Software-Engineering hat unser Methodenangebot diversifiziert und einen freieren Umgang mit der Anpassung und Kombination verschiedener Methoden ermöglicht. Dadurch ist es leichter geworden, für jede Fragestellung einen maßgeschneiderten Forschungsplan zu finden, der sich durch eine effiziente, zügige und zielgerichtete Beantwortung des Problems auszeichnet und jederzeit auf geänderte Anforderungen reagieren kann.

2.1 Jede Studie ist ein Experiment

So wie wir es im Design leben, sind wir auch im UX Research für konzeptionell kreative Herangehensweisen offen, die sich aus den jeweiligen Anforderungen ergeben. Wir erleben in unserem Research-Alltag jeden Tag aufs Neue, dass kein Test-Setup dem anderen gleichen kann. Neben der groben Kategorisierung von Research-Aktivitäten in Methoden wie „Usability-Interview“, „Online Survey“ oder „unmoderierter Remote UX-Test“ spielen noch zahlreiche andere Faktoren für den Erfolg der Studie eine Rolle wie z.B.:

• die konsequente Ausrichtung des Studiensetups nach Studienziel oder -zielen (z.B. Usability, Akzeptanz, Bedarfsanalyse etc.)
• das Screening der richtigen Zielgruppe
• die Flughöhe von Prototypen oder Stimulusmaterialien entsprechend des Produktentwicklungsstandes
• der Testumfang und die mögliche effiziente Kombination mehrerer Forschungsfragen in einem Setup
• die richtige Onboardingtiefe der Probanden zur Erreichung des notwendigen Mindsets als Basis für die korrekte Messung der relevanten Parameter

Aus unserer Erfahrung wissen wir, dass die Qualität und die Repräsentationskraft der Ergebnisse in direkter Abhängigkeit von der korrekten Vorauswahl, Planung und Durchführung des Setups stehen. Wir legen daher großen Wert auf das individuell bestmögliche Setup für jede Research-Unternehmung. Dabei müssen Kosten und Aufwand der Unternehmung immer im Verhältnis zum wirtschaftlichen Nutzen der Studienergebnisse stehen, was oft besondere Herausforderungen birgt.

2.2 Systemisches Denken über einzelne Studien hinaus

Gerade in unseren langfristigen Projekten denken wir nicht von Forschungsfrage zu Forschungsfrage, von Aktivität zu Aktivität, sondern produkt- oder sogar produktsystemübergreifend. Dies ist besonders für eine effiziente Integration von Research in den Produktentwicklungsprozess wichtig.

Das Betrachten des Produkterfolges innerhalb seines Entwicklungs- und Nutzungszyklus als Ganzes durch eine enge Zusammenarbeit von Design, Entwicklung und Research tragen dazu bei, die richtigen Fragen zur richtigen Zeit zu stellen und Erkenntnisse schnell an alle Beteiligten zu verteilen. So treffen wir gemeinsame Entscheidungen und leiten daraus Maßnahmen ab, die den nächsten Schritt in der Produktentwicklung ermöglichen und wieder zu neuen Research-Aktivitäten führen. Ein iterativer Prozess, der nicht immer in festen zyklischen Frameworks verankert sein muss.

2.3 Die Auswahl der richtigen Proband*innen

Auch bei der Wahl der passender Proband*innen haben wir dazugelernt. Während wir früher Proband*innen ausschließlich über Kunden rekrutiert haben, greifen wir inzwischen auch gerne auf spezialisierte Panel- und sonstigen Dienstleistern zur Rekrutierung der gewünschten Zielgruppe zurück.

Wir differenzieren unser Probanden-Screening grob in verschiedene Kategorien. Die Wahl wird hauptsächlich vom Studienziel, aber auch von terminlichen und budgetbedingten Faktoren beeinflusst.

Nahezu keine Anforderungen
Dies betrifft beispielsweise Rapid User Tests, Dry Runs oder Vorstudien, die wir intern mit Mitarbeiter*innen durchführen und die hauptsächlich einen dieser zwei Zwecke bedienen: Das Testen eines Setups oder Leitfadens hinsichtlich Verständlichkeit und technischer Prozesssicherheit oder um kosten- und zeitschonend eine grobe Evaluierung einer bestimmten Fragestellung zu ermöglichen.

Expert*innen aus unseren eigenen Disziplinen
Gern ziehen wir auch spezifische Fachmeinungen besonders aus den Bereichen Design und Software in Form von kurzen Experteninterviews oder -befragungen hinzu. So erzeugen wir mit sehr geringem Aufwand eine hohe Menge an Expertise.

Neutrale Probanden mit flachem Screeningprofil
Proband*innen mit flachem Anforderungsprofil (z.B. nur Geschlecht und Alter) zu rekrutieren ist besonders für Usability-Tests sinnvoll, bei denen Messwerte wie Akzeptanz oder Bedarf nicht relevant sind oder ein generisches Produkt getestet werden soll.

Neutrale Probanden mit spezifischem Screeningprofil
Viele unserer Studien zielen auf das Wissen und die Meinung unserer exakten Zielgruppe(n) ab. Dafür ist es zwingend erforderlich, die exakt richtigen Nutzer zu interviewen oder testen, welche bspw. ein spezielles Produkt bereits aktiv nutzen, in einer speziellen Lebenssituation sind oder ein bestimmtes Fachwissen mitbringen. Oft ist es zudem eine Kombination aus mehreren spezifischen Kriterien. Hier zeigt sich immer wieder, dass echte Nutzer*innenmeinungen nicht durch interne Befragungen zu ersetzen sind und sich die Ergebnisse eklatant unterscheiden.

2.4 Zyklische vs. situative Research-Prozessintegration

Aus unserem Alltag kennen wir sowohl die zyklische Integration von Research in den Entwicklungsprozess, z.B. sprintbegleitend, als auch ein rein situatives Reagieren auf entstehende Fragen. Beides bringt Vor- und Nachteile mit sich und unserer Erfahrung nach haben beide Herangehensweisen ihre Daseinsberechtigung.

Eine sich zyklisch wiederholende Vorgehensweise bringt große Prozesssicherheit mit sich. Viele Arbeitsschritte können ganz oder teilweise automatisiert werden. Durch Wiederholen des gleichen Setups findet zudem in der Regel eine Prozessoptimierung statt. Das macht den Research-Prozess schlanker und belastbarer. Das Setzen auf gut eingespielte Prozessmuster mit den gleichen Toolings, Dienstleistern und Vorgehensweisen bei langfristiger Planungssicherheit bietet den Researcher*innen sowie anderen Beteiligten Sicherheit. Besonders in Unternehmen, in denen es herausfordernd ist, zeitnahe Freigaben für Research-Aktivitäten zu erhalten, kann eine solche Institutionalisierung sinnvoll sein.

Auf der anderen Seite bringt eine langfristige Routine auch Grenzen mit sich. Beispielsweise kann es erschwert sein, auf sich im agilen Alltag ständig ändernde Anforderungen zu reagieren. Es können Kapazitäten unnötig gebunden werden und Aufwände anfallen, die in der Praxis nicht immer benötigt werden. Viele Forschungsfragen lassen sich neben aktiver User Research auch auf anderem Wege (Desk Research, Analyse von Nutzungsdaten, Feedbackkanälen u.ä.) bereits beantworten. Sich die Freiheit zu erhalten, kurzfristig darüber zu entscheiden, wann welche Researchmethoden in welchem Umfang zum Einsatz kommen, kann oft zielsicherere Ergebnisse produzieren. Auch erhält man sich so eine Reaktionsfähigkeit auf äußere Einflüsse. Die Kehrseite ist oft ein höherer Overhead: Neue Aktivitäten müssen immer wieder neu verargumentiert, freigegeben, geplant, durchgeführt und kommuniziert werden.

2.5 Buy-In, Sichtbarkeit und Konsequenzen erzielter Insights

Wir haben die Erfahrung gemacht, dass Studienergebnisse häufig einen Kurzzeitwert haben (z.B. die Klärung einer spezifischen Frage im Entwicklungsprozess) und es relativ leicht ist, die davon direkt betroffenen Stellen (z.B. Product Owner, im Idealfall auch das gesamte Entwicklungsteam) ausführlich über die Ergebnisse zu informieren. Zusätzlich hierzu haben die Ergebnisse in der Regel jedoch auch noch einen Langzeitwert. Dabei ist es egal, ob es sich bei der Erhebung um qualitative Tiefeninterviews oder kurze quantitative Onlineumfragen handelt. Es werden nahezu immer Informationen erfasst, die für andere Abteilungen oder spätere Fragestellungen einen Mehrwert bieten könnten.

Damit die Informationen ihre Empfänger auch erreichen, müssen sie zugänglich, sichtbar und verwertbar gemacht werden. Die Einrichtung eines Unique Point of Truth bietet sich dafür an, z.B. in Form eines Brand Guides, Wikis oder Research Repositories. Wichtig ist hierbei, die Informationen so aufzubereiten, dass sie alle Empfänger genau dort abholt, wo sie stehen. Dies betrifft zum Beispiel eine gut nachvollziehbare Darstellung der durchgeführten Experimente, eine sorgfältige Darstellung der Methodik und eine Zusammenfassung der Main Points. Die Erkenntnisse sollten visuell nachvollziehbar aufbereitet sein, hier ist es auch besonders wichtig, Missinterpretationen vorzubeugen. Vor allem dann, wenn z.B. vertextete Keylearnings nur überflogen oder nicht gelesen werden.

Ebenfalls wichtig für uns: Als Ersteller und Durchführer des betreffenden Experimentes haben wir die Interpretationshoheit. Das reine Abbilden der Fakten kann von Außenstehenden (ohne Research-Hintergrund) leicht falsch interpretiert und zu inkonsistenten Informationen über die Bedeutung der Research führen. Deshalb ist es hier besonders wichtig, eine klar verständliche Interpretation der Ergebnisse zu leisten und im besten Fall, die Ergebnisse den wichtigsten Stakeholder*innen zu präsentieren und dabei auch eine klare Aussage darüber zu treffen, welche Erkenntnisse aus der Untersuchung nicht gezogen und welche Fragen vielleicht nicht geklärt werden konnten.

3. Unser Fazit nach 18 Monaten mit dem UX-Lab

Die Anzahl unserer Research-Aktivitäten ist in den letzten 1,5 Jahren stark gestiegen. Was als Institution begann, die uns helfen sollte, die vorhandenen Researchaktivitäten innerhalb unserer Entwicklungsprojekte zu optimieren, hat sich weiterentwickelt. Inzwischen werden wir von Bestands- und Neukunden für reine Research-Aktivitäten angefragt. Wir haben Expert*innen besetzt, die mit ihrem Vorwissen einen großen Beitrag bei der Professionalisierung des UX-Labs leisten. Neben den festen Mitarbeiter*innen des UX-Labs haben auch andere Projektmitglieder nach wie vor Interesse an der Planung und Durchführung regelmäßiger Research-Aktivitäten und führen diese teils vollständig autark durch.

Das Methodenspektrum deckt dabei beide Disziplinen ab (qualitativ wie quantitativ). Neben den gängigen Methoden wie Usability-Tests und Onlinesurveys integrieren wir stets weitere Methoden wie unmoderierte quantitative UX-Tests in unseren Projektalltag. Das Recruiting von spezifisch gescreenten Proband*innen ist zur Routine geworden und hat sich im Vergleich zu Research mit internen Proband*innen mehrfach deutlich bewahrt. Dennoch wird bei Bedarf auch nach wie vor internes Rapid User Testing durchgeführt.

Trotz der insgesamt positiven Entwicklung ist und bleibt das UX-Lab ein Experiment, das sich ständig weiterentwickelt, das wir beobachten und neu ausrichten. Ein gut gefülltes Backlog voller UX-Lab interner Aufgaben wird uns noch einige Zeit begleiten. Auch den richtigen Grad an Verzahnung zwischen dem UX-Lab und den Projektteams ertasten wir noch. Ebenso, ob das UX-Lab ein freiwilliges Angebot oder eine mandatorische Prüfinstanz für alle Research-Aktivitäten sein soll. Ob in Zukunft neue Kompetenzen gebraucht werden, ob Toolings, Methoden oder Organisationsmodelle sich bewähren oder ob das UX-Lab als Katalysator für gegenseitiges Lernen zunehmend im Projektgeschäft aufgehen kann, all diesen Fragen stehen wir noch offen gegenüber.

Aktuell blicken wir zurück auf eine aufregende und erfolgreiche Entstehungszeit. Diese hat nicht nur viele Neuerungen, viele Experimente und viele erste Male sondern auch viele Erfahrungen mit sich gebracht hat. Und auch für die Zukunft wünschen wir uns neue Fragen, Ziele und Herausforderungen, die unseren Horizont erweitern.