Chancen und Risiken von Remote-Tests

Du möchtest deine Anwendung mithilfe eines qualitativen Usability-Tests evaluieren. In der aktuellen Corona-Krise ist es dir aber nicht möglich einen persönlichen Test durchzuführen. Auch abseits von Corona steht dir unter Umständen kein Testlabor zur Verfügung oder du hast eine schwer erreichbare Zielgruppe. In diesen Fällen können Remote-Usability-Tests eine gute Alternative für dich sein. 

Was sind Remote-Tests?

Bei einem Remote-Usability-Test befinden sich Proband und Testmoderator an unterschiedlichen Orten. Der Proband interagiert mit dem zu testenden Design in seinem Zuhause oder Büro ohne die direkte Anwesenheit eines Moderators. 

Vorteile

  • Kostenersparnis: Bei einem Remote-Test muss keiner reisen und du benötigst kein spezielles Testlabor.
  • Einfacheres Recruiting: Die Probanden können den Test an jedem Ort der Welt durchführen, somit ist dein Pool an möglichen Nutzern viel größer. 
  • Realitätsnahes Ergebnis: Die Tester führen den Test in der ihnen vertrauten Umgebung durch, nicht in einem Labor. Interessant ist außerdem die Interaktion der User mit ihren eigenen Geräten zu beobachten. 

Nachteile

  • Keine Analyse der Körpersprache: Der persönliche Kontakt zu den Testern fehlt
  • Mögliche Probleme mit Remote-Tools

Formen

Es gibt zwei verschiedene Varianten von Remote-Tests: Moderierte und unmoderierte. 

Moderiertes Remote-Testing

Bei moderierten Remote-Tests nehmen Proband und Moderator gleichzeitig am Usability-Test teil. Der Moderator schaut mithilfe eines Screen-Sharing oder Meeting-Tools live zu und kommuniziert mit dem Probanden per Webcam, Telefon und/oder Chat. Im Vergleich zu der unmoderierten Variante bieten sich folgende Vor- und Nachteile:

Vorteile

  • Moderator kann klärende oder vertiefende Fragen stellen
  • Er/Sie kann zum lauten Denken anregen
  • Direkte Unterstützung bei technischen Problemen
  • Testmoderator kann Aufgaben überspringen oder spontan abändern
  • Proband wird eher seine ganze Aufmerksamkeit dem Test zuwenden
  • Das Team kann live zuschauen

Nachteile

  • Bestimmung des Zeitpunkts für die Stellung von Fragen kann schwierig sein. Die Gründe für Zögern, Schweigen oder Unsicherheit des Probanden können für den Moderator teils nicht direkt nachvollziehbar sein. 
  • Tests können nur innerhalb typischer Bürozeiten durchgeführt werden
  • Es können nicht mehrere Tests gleichzeitig stattfinden
  • Termine müssen organisiert werden

Unmoderiertes Remote-Testing

In der unmoderierten Variante ist kein Moderator live zugeschaltet. Der Proband führt die Aufgaben alleine durch. Die Rolle des Moderators übernimmt dabei eine Software, indem sie Aufgaben und Fragen zum Testobjekt stellt. Gleichzeitig zeichnet sie den Test für die spätere Auswertung durch den Moderator auf.

Vorteile

  • Tests müssen nur einmal aufgesetzt und können dann automatisiert durchgeführt werden
  • Tester bestimmen Zeitpunkt für Tests selbst
  • Es können mehrere Tests gleichzeitig stattfinden
  • Keine Organisation von Terminen
  • Ggf. Kein Recruiting (wenn du Remote-Testing-Anbieter wählst, die bereits über ein Panel an Usern verfügen)
  • Keine Moderation notwendig
  • Schnelle Resultate
  • Einfaches Setup

Nachteile

  • Tester bekommen bei Fragen oder Problemen keine unmittelbare Unterstützung (man kann ihnen aber Telefon oder E-Mail Support anbieten)
  • Sessions können aufgrund von aufgetretenen Problemen unbrauchbar sein
  • Moderator kann Probanden nicht daran erinnern laut zu denken
  • Es können keine auf den Tester zugeschnittenen Detailfragen zur Interaktion gestellt werden
  • Ggf. geringere Motivation der Probanden
  • Testperson kann abgelenkt werden

Wann setze ich welche Art von Remote-Test ein?

Remote-Usability-Tests sind in der Regel günstiger und mit weniger Aufwand verbunden als klassische Usability-Tests. Wenn deine Zielgruppe entweder zeitlich stark gebunden oder örtlich weit verteilt ist oder aus anderen Gründen nicht reisen kann, sind Remote Tests das Mittel der Wahl für dich. Außerdem kreierst du mit Remote-Tests je nach Anwendungstyp einen realistischeren Nutzungskontext. Dies gilt insbesondere, wenn du spezielle Apps testen willst, die für Szenarien gedacht sind, die du in einem Usability-Lab nicht nachstellen kannst. Nehmen wir an du willst eine Navigations-App für Wanderungen testen. 

Du musst dich dann nur noch entscheiden, ob die moderierte oder die unmoderierte Form für deine Evaluierung die Richtige ist.

Die moderierte Form kommt persönlichen Tests am nächsten und kann qualitativ ähnliche hochwertige Ergebnisse liefern. 

Sie sind die beste Wahl für dich wenn:

  • Wenn du tiefe Einblicke und reiche Daten haben möchtest, 
  • der Moderator/die Moderatoren genug Zeit haben sich mit jedem Testteilnehmer einzeln zu treffen

Da man bei unmoderierten Tests z. B. keine Fragen zur Aufgabenstellung beantworten oder man auf einzelne Probleme mit dem Testobjekt nicht weiter eingehen kann, sind die Ergebnisse oft weniger detailliert. Dafür kommen sie näher an ein natürliches Nutzungsszenario heran und müssen nur einmal aufgesetzt werden. 

Unmoderierte Remote-Tests bieten sich an, wenn:

  • du nur wenige Testressourcen zur Verfügung hast, da dein Team klein ist
  • du eine große Stichprobe benötigst, um Stakeholder zu überzeugen oder mehrere Designvarianten vergleichen willst
  • der Zeitplan sehr eng ist wie z. B. im agilen Entwicklungsumfeld

Gerade jetzt ist eine gute Zeit, um Remote-Tests auszuprobieren.

Quellen