A/B-Testing

auch: A/B-Test · Split-Testing · Split Test

Kurz gesagt: A/B-Testing ist ein Verfahren, bei dem zwei Varianten (A und B) gegeneinander getestet werden, indem man sie zufällig an verschiedene Besucher ausspielt und misst, welche besser abschneidet.

A/B-Testing (auch Split-Testing) ist ein kontrolliertes Experiment, um datenbasiert zu entscheiden, welche von zwei Varianten besser funktioniert. Ein Teil der Besucher sieht Version A, ein anderer Version B; anhand einer Zielgrösse wie der Conversion-Rate zeigt sich, welche gewinnt. So ersetzt A/B-Testing Meinungen durch Belege.

Definition

Ein A/B-Test ist ein randomisiertes, kontrolliertes Experiment mit zwei Varianten^[1]. Die Besucher werden zufällig auf Variante A (Kontrolle) und B (Veränderung) aufgeteilt, während alle anderen Bedingungen gleich bleiben.

Weil die Zuteilung zufällig erfolgt, lässt sich ein Unterschied im Ergebnis ursächlich auf die getestete Veränderung zurückführen.

Ablauf eines Tests

Hypothese

Aus Daten eine Annahme ableiten, z. B. «ein klarerer Button erhöht die Klicks».

Varianten

Original (A) und genau eine Veränderung (B) erstellen.

Aufteilung

Den Traffic zufällig und gleichzeitig auf beide Varianten verteilen.

Auswertung

Zielgrösse messen und prüfen, ob der Unterschied statistisch belastbar ist.

Statistische Signifikanz

Ein Ergebnis ist erst aussagekräftig, wenn genügend Daten vorliegen und der Unterschied statistisch signifikant ist – also nicht plausibel durch Zufall erklärbar^[2].

Häufige Fehler sind das zu frühe Beenden eines Tests und das gleichzeitige Verändern mehrerer Elemente. Beides macht die Ergebnisse unzuverlässig.

Vorteile & Grenzen

Vorteile

Entscheidungen auf Basis von Belegen statt Meinung
Geringes Risiko – Änderungen werden vor dem Rollout geprüft
Kontinuierliche, messbare Verbesserung
Anwendbar auf Seiten, E-Mails und Anzeigen

Grenzen & Risiken

Braucht ausreichend Traffic für valide Aussagen
Tests dauern, bis genug Daten vorliegen
Nur eine Variable pro Test (sonst nicht eindeutig)
Erfordert sauberes Tracking und Disziplin

Häufig gestellte Fragen

Was ist A/B-Testing?

Beim A/B-Testing laufen zwei Versionen einer Seite oder Anzeige parallel: Ein Teil der Besucher bekommt zufällig Variante A, der andere Variante B. Anhand einer Zielgrösse – etwa der Conversion-Rate – zeigt sich dann belastbar, welche Version wirkt. So entscheiden Daten statt Meinungen.

Wie funktioniert ein A/B-Test?

Man stellt eine Hypothese auf, erstellt zwei Varianten, teilt den Traffic zufällig auf beide auf und wertet aus, welche Variante die Zielgrösse – etwa die Conversion-Rate – signifikant verbessert.

Wie viel Traffic braucht ein A/B-Test?

Genug, um einen Unterschied statistisch belastbar nachzuweisen. Bei wenig Traffic dauern Tests entsprechend länger; sehr kleine Unterschiede lassen sich dann kaum sicher messen.

Was ist statistische Signifikanz?

Signifikanz bedeutet, dass ein gemessener Unterschied mit hoher Wahrscheinlichkeit nicht durch Zufall entstanden ist. Erst dann ist ein Testergebnis verlässlich.

Was ist der Unterschied zwischen A/B-Test und multivariatem Test?

Ein A/B-Test vergleicht zwei Varianten mit einer Änderung. Ein multivariater Test prüft mehrere Elemente in Kombination gleichzeitig – er braucht deutlich mehr Traffic.

Quellen

Wikipedia: A/B-Test – de.wikipedia.org/wiki/A/B-Test
Harvard Business Review: The Surprising Power of Online Experiments – hbr.org/2017/09/the-surprising-power-of-online-experiments