Warum du immer mit echten Nutzern testen solltest – Usability Testing

Programmierer, Designer, UX Consultants und Produktmanager sind Experten in ihrem Fachbereich, doch eins sind sie nicht – die Nutzer.

Mit ihrer starken Spezialisierung und Teilhabe in dem Projekt können sie nicht repräsentativ für diejenigen sprechen, die das Produkt später benutzen werden.

Methoden wie die Heuristische Evaluation sind aussagekräftiger als Einzelmeinungen, da sie sich auf allgemeingültige Faustregeln beziehen. Ob die Nutzer später ein spezielles Problem mit der Bedienung haben werden, können sie jedoch ebensowenig vorhersagen. Was bleibt uns also übrig?

Heute möchte ich die Methode Usability Testing – auch User Testing oder User Acceptance Testing genannt – vorstellen. Ich möchte zeigen, warum bei jeder Produktentwicklung zum Einsatz kommen sollte und einen Einblick in deren Anwengung bieten.

Was ist Usability Testing?

Bei der Methode testen wir ein Produkt bzw. einen Prototypen auf dessen Bedienbarkeit – und zwar mit echten Nutzern. Dabei beobachten wir, wie die Testpersonen typische Aufgaben („Finde den Lageplan.“ „Registriere dich.“) erledigen. Beobachtungen halten wir in Form von Bildschirm- und Tonaufnahmen, sowie mit Notizen fest. Nach der Auswertung erhalten wir sowohl quantitative als auch qualitative Daten über die Usability des Produkts.

Usability Testing können wir in drei Formen anwenden:

• Explorative: In der frühen Produktphase möchten wir einen Prototypen auf Funktionalität überprüfen.
• Assessment: Ein ausgearbeitetes Produkt soll in Bezug auf Nutzerakzeptanz evaluiert werden.
• Comparative: Wir möchten zwei Produkte oder mehrere Ausführungen des selben Produkts miteinander vergleichen.

Warum Usability Testing?

Die gefundenen Ergebnisse haben eine hohe Aussagekraft, da wir sie mit repräsentativen Nutzern gewinnen. Mit dieser Methode lassen sich die meisten Probleme finden – auch solche, die nicht von den Usability Heuristiken abgedeckt sind und sonst erst nach dem Release aufgefallen wären. Usability Testing ist zudem kosteneffizient, da wir Probleme in einer frühen Produktphase finden und entsprechende Anpassungen leicht umsetzen können.

Wie gehen wir vor?

Planung

In einem Testplan legen wir neben der Formalitäten fest, was getestet werden soll und mit welcher Motivation wir die Tests durchführen.

Wir müssen außerdem bestimmen, in welcher Form wir testen werden. Ein Testlabor reduziert äußere Einflüsse und ermöglicht es uns, sämtliche Aspekte zu kontrollieren – entsprechend hoch sind die Kosten.

Beim Remote Usability Testing hingegen bearbeiten die Nutzer in gewohnter Umgebung die Aufgaben, während Bildschirm und Ton aufgezeichnet und anschließend von uns ausgewertet werden.

Es bietet sich ebenfalls an, die Tests im Unternehmen durchzuführen. Hier kann ein neutraler Raum zum Testlabor umfunktioniert werden. An der Produktentwicklung beteiligte Mitarbeiter können wir so einladen, dem Test per Livestream in einem separaten Konferenzraum beizuwohnen.

Die zu ermittelnden Testmaße bestimmen wir ebenfalls schon im Testplan.

Quantitative Maße

• Erfolgreiche Bewältigung der Aufgabe
• Anzahl schwerwiegender Fehler (verhindern Bewältigung der Aufgabe)
• Anzahl leichter Fehler (z.B. falscher Menüpunkt)
• Rate an Benutzern, welche die Aufgabe fehlerfrei bewältigen konnten
• Zeit zur Bearbeitung der Aufgabe
• Ergebnisse von Fragebögen

Qualitativ Maße

• Beobachtungen bei der Durchführung
• Probleme
• Kommentare der Benutzer
• Antworten auf Offene Fragen (positive und negative Eindrücke, Verbesserungsvorschläge)

Rekrutierung von Testteilnehmern

Die Teilnehmer sollten möglichst aus der Zielgruppe stammen. Nur so lassen sich realitätsnahe Bedingungen schaffen und die Aussagekraft maximieren.

Ausnahmen sind ein sehr begrenztes Budget oder Tests in einer sehr frühen Produktphase, bei der es Hauptsächlich auf Funktionalität ankommt. In diesem Fall können wir die Tests auch ad hoc mit Kollegen, Freunden oder Familie durchführen. Wichtig ist dabei, dass die Personen nicht direkt an der Produktentwicklung beteiligt sind.

Laut Untersuchungen von Nielsen sind bloß fünf Nutzer ausreichend, um etwa 80% der Probleme ausfindig zu machen. Um alle Probleme zu finden muss man schon mit 15 Nutzern testen.

Üblicherweise bekommt der Testteilnehmer eine Vergütung und anfallende Fahrtkosten werden übernommen.

Durchführung

In einem Pilot-Test mit einem Freiwilligen können wir die Technik prüfen und letzte Unklarheiten beseitigen.

Neben der respektvollen Behandlung der Testpersonen ist es wichtig, dass wir die folgenden Punkte klarmachen:

• Die Teilnahme ist freiwillig
• Der Test kann jederzeit beendet werden
• Nicht der Testteilnehmer, sondern das Produkt wird bewertet. Fehler gibt es nicht.

Der Ablauf eines Usability Tests kann etwa wie folgt aussehen:

1. Der Versuchsleiter begrüßt den Testteilnehmer und erklärt den Testablauf. Optional werden demografische Fragen gestellt.
2. Der Versuchsleiter erläutert das Konzept des Thinking Aloud (Konstant aussprechen, was man denkt) und beantwortet offene Fragen.
3. Der Teilnehmer liest die Anweisungen laut vor und beginnt mit der Bearbeitung der Aufgabe.
4. Der Versuchsleiter macht sich Notizen vom Verhalten und den Kommentaren des Teilnehmers. Bei Problemen bietet er Hilfe an, sollte jedoch keine inhaltlichen Hinweise geben.
5. Nach dem Erreichen der Aufgabe oder nach Ablauf eines Zeitfensters stellt der Versuchsleiter abschließende Fragen, überreicht die Vergütung und begleitet den Teilnehmer nach draußen.

Auswertung und Bericht

In der Auswertung gehen wir zunächst das Material durch und ermitteln quantitative Daten wie die Erfolgsrate oder die Bearbeitungsdauer. Qualitative Daten wie aufgetretene Probleme müssen wir zusammenführen.

Der abschließende Bericht besteht aus folgenden Teilen:

• Umstände und Hintergrund der Testdurchführung
• Verwendete Methode
• Auflistung der Testergebnisse
• Funde und Verbesserungsvorschläge

Fazit

Usability Testing ist eine effiziente Methode, um frühzeitig Usability-Probleme zu finden und die Akzeptanz und Zufriedenheit bei den Nutzern zu ermitteln.

Die wichtigste Erkenntnis ist, dass wir nicht die Nutzer unserer Produkte sind.

Darum sollten wir bei der Produktentwicklung immer auf Usability Testing zurückgreifen. Größte Genauigkeit und Aussagekraft erhalten wir mit einer repräsentativen Gruppe an Teilnehmern.

Trotzdem ist ein spontaner Test mit drei Freunden immer noch besser als gar keiner.

Ich möchte dir nahelegen, selber Erfahrung als Testteilnehmer zu machen. Online kannst du dich bei usertesting.com und testritter.de bewerben.