A/B Tests: Kleine Verbesserungen mit großer Wirkung

Bei A/B Tests testet man zwei oder mehrere Varianten eines digitalen Angebots gegeneinander. Dabei bekommen Nutzer je eine der Varianten angeboten. So kann man herausfinden, bei welcher der Varianten Nutzer sicherer und schneller das gewünschte Ziel erreicht. A/B Tests werden meist direkt auf der Website oder App durchgeführt. Besonders, wenn viele Menschen das Angebot nutzen, ergibt sich ein eindeutiges, statistisch abgesichertes Bild, welche der Varianten erfolgsversprechender ist. Für A/B Tests werden Tools wie zum Beispiel Google Optimize, Adobe Target oder A/B Tasty eingesetzt. Das Ergebnis wird automatisiert dokumentiert, die Nutzer bekommen bei Online-Tests davon nichts mit. Die Angebotsalternativen werden auf Basis von datengestützten Hypothesen konzipiert, die aus User Research, Verhaltenspsychologie und Analytics-Daten abgeleitet werden.

Wann setzt man A/B Tests ein?

Bei schnellen, kleinen Verbesserungen oder Layout-Varianten sind A/B Tests das Mittel der Wahl. Beispiele hierfür sind Platzierungen und Optimierung von Elementen, Bild- und Textänderungen oder Button-Beschriftungen. Gerade wenn man eindeutige, quantitative Erfolgsquoten für die interne Verwendung benötigt, sind A/B Tests fast immer das Mittel der Wahl. Größere holistische oder systemische Probleme, welche die Anwendung als Ganzes betreffen (zum Beispiel aufeinander aufbauende Prozesse oder das Ineinandergreifen mehrerer Touchpoints) lassen sich dadurch jedoch nur unter Verwendung weiterer Methoden wie z. B. Webanalyse oder Online-Befragung, erforschen und verbessern.

Was ist bei A/B Tests zu beachten?

A/B Tests zielen in der Regel auf Erfolgsziele aus dem Businessbereich ab. Handelt es sich beispielsweise um Umsatzziele, ist mit dem besseren Abschneiden einer Variante noch nicht gesagt, dass durch deren Verwendung auch die Nutzungsqualität steigt.
A/B Tests beantworten die Frage, welche der bereitgestellten Varianten besser bezüglich des definierten Ziels abschneidet. Die Frage nach dem Warum ist dadurch jedoch noch nicht geklärt. In vielen Fällen kommt man durch darauf aufbauender Hypothesenbildung der Frage näher. Der Erkenntnisgewinn bezüglich qualitativer Anforderungen bleibt jedoch gering.
Für die Durchführung sinnvoller Tests muss eine Nutzerzahl vorhanden sein, mit der belastbare, repräsentative Aussagen getroffen werden können. Ist ein Testzeitraum zu kurz angesetzt oder die Nutzeranzahl im veranschlagten Zeitraum zu gering, verlieren auch die Ergebnisse an Aussagekraft.

Welche typischen Fragestellungen kann man mit A/B Tests beantworten?

Durch den Austausch welcher Elemente erreichen wir bessere Erfolgsquoten?
Sind grüne CTAs erfolgreicher als rote?
Mit welcher Layout-Variante können wir die Bounce-Rate auf der Startseite senken?