Statistik: Wie viel Traffic brauche ich für A/B-Testing?
Die falsche Interpretation statistischer Signifikanz gehört zu den größten Fehlerquellen im A/B-Testing — und genau das wollen wir vermeiden.
Dieser Artikel ist Teil einer dreiteiligen Serie, die A/B-Tester:innen und Entscheidungsträger:innen dabei unterstützt, Metriken richtig zu verstehen, valide Schlüsse zu ziehen und fundierte Entscheidungen für ihr Unternehmen zu treffen.
Nach den Artikeln über den statistischen Wert von A/B-Tests und die Rolle von A/A-Tests geht es heute um eine entscheidende Frage: Wie viel Traffic brauchst du, um erfolgreiche A/B-Tests durchzuführen?
Der mindestens benötigte Traffic lässt sich anhand von vier zentralen Kennzahlen bestimmen:
Conversion-Rate Ihrer Referenz (K1)
Die Conversion-Rate deiner Referenz ist die aktuelle Erfolgsquote deines Hauptziels im A/B-Test. Sie gibt an, wie viele Besucher:innen eine gewünschte Aktion ausführen — zum Beispiel einen CTA (Call-to-Action) klicken. Beispiel: Wenn aktuell 3 % der Besucher:innen den getesteten Call-to-Action anklicken, liegt die Conversion-Rate deiner Referenz bei 3 %.
Minimale Auswirkung auf die Conversion-Rate durch die Variante (K2)
Angenommen, du möchtest eine Steigerung (oder Senkung) um 10 % messen. Grundsätzlich gilt:
Je kleiner die erwartete Veränderung, desto mehr Traffic brauchst du, um die Zuverlässigkeit der Ergebnisse sicherzustellen. Erwartest du hingegen eine deutliche Verbesserung, reichen weniger Besucher:innen, um ein verlässliches Resultat zu erhalten.
Auf den ersten Blick wirkt das kontraintuitiv, lässt sich aber leicht erklären:
Wenn du eine Conversion-Steigerung von 20 % erwartest, kann das Statistik-Tool schnell erkennen, ob die Variante tatsächlich so stark performt. Das Ergebnis ist früh sichtbar und valide.
Solche hohen Sprünge sind allerdings meist nur bei „leichteren“ Zielen realistisch — etwa bei CTAs, die zu einer Newsletter-Anmeldung oder zum Besuch einer Landingpage führen. Je näher du dem Kaufabschluss kommst, desto kleiner sind die möglichen Verbesserungen. Entsprechend mehr Traffic ist notwendig, um statistisch belastbare Aussagen über kleine Veränderungen zu treffen.
Konfidenzlevel für die Erkennung der Auswirkung (K3)
Hier geht es um die Wahrscheinlichkeit, reale Veränderungen tatsächlich als solche zu identifizieren. Statistisch empfohlen ist eine Teststärke (Power) von mindestens 80 %. Das bedeutet: Das Risiko, eine vorhandene Veränderung nicht zu erkennen (Fehler 2. Art, Beta-Fehler), liegt bei maximal 20 %.
Konfidenzlevel für die Erkennung einer Auswirkung, wo keine ist (K4)
Diese Kennzahl beschreibt das Risiko, ein falsch positives Ergebnis zu erhalten — also eine scheinbare Veränderung zu sehen, die statistisch nicht belegt ist. (Wir haben dieses Thema bereits im Artikel „Die Rolle von A/A-Tests“ angesprochen.) Das Risiko sollte höchstens 5 % betragen, was dem üblichen Signifikanzniveau von p = 0,05 entspricht.
Merke:
- Je höher die Teststärke (Power, K3) und je niedriger das Signifikanzniveau (K4), desto zuverlässiger sind die Ergebnisse.
- Werden diese Werte umgekehrt angesetzt (niedrigere Teststärke oder höheres Signifikanzniveau), braucht man zwar weniger Besucher, aber die Verlässlichkeit sinkt.
Sobald diese Kennzahlen definiert sind, folgt die statistische Berechnung, um die nötige Besucherzahl für den Test zu ermitteln. Gute A/B-Testing-Plattformen übernehmen diesen Schritt automatisch — Kameleoon zeigt z. B. direkt beim Start eines Tests an, wie viel Traffic benötigt wird.
Wichtig: Die berechnete Zahl bezieht sich auf die Besucher:innen, die den Test tatsächlich durchlaufen, nicht auf den gesamten Website-Traffic.
Konkrete Beispiele
Hier eine Illustration anhand konkreter Zahlen, basierend auf den Konfidenzlevels K3 = 80 % und K4 = 5 %.
- Nehmen wir an, ein Test startet mit einer hohen ursprünglichen Conversion Rate (K1) von 30 % und einer erwarteten Verbesserung (K2) von 20 %. Die Mindestzahl an Besucher:innen — pro Variante — für ein statistisch signifikantes Ergebnis liegt dann bei weniger als tausend, genauer gesagt bei 929. Solche Tests sind also selbst auf kleineren Websites gut realisierbar.
- Liegt die ursprüngliche Conversion Rate niedriger, zum Beispiel bei 5 % für das Ausfüllen eines Formulars, und wird dennoch eine deutliche Verbesserung um 20 % erwartet, braucht es bereits rund 7.500 Besucher:innen pro Variante. Sinkt die erwartete Steigerung auf nur 10 %, steigt die benötigte Stichprobengröße deutlich: etwa 30.000 Besucher:innen pro Variante.
- Noch anspruchsvoller wird es am Ende des Conversion Funnels: Bei einer sehr niedrigen Ausgangs-Conversion von 2 % und einer minimalen Verbesserung von 5 % — also von 2 % auf 2,1 % — werden rund 310.000 Besucher:innen pro Variante benötigt. Solche Tests lassen sich praktisch nur von sehr großen E-Commerce-Unternehmen mit entsprechendem Traffic umsetzen.
Schlusswort
Es zeigt sich, dass der benötigte Traffic keineswegs zu unterschätzen ist. Die Beispiele machen deutlich, dass die Behauptung, alle Tests könnten statistisch relevante Ergebnisse liefern, oft vor allem den Verkauf von Tools fördern soll. Deshalb lohnt es sich, sehr genau zu prüfen, welche Tests sich mit dem eigenen Website-Traffic sinnvoll umsetzen lassen — und die Wahl der Testing-Tools darauf abzustimmen.
Das bedeutet jedoch nicht, dass Websites mit wenig Traffic keine A/B-Tests durchführen können. Entscheidend ist, worauf getestet wird: Vor allem Landingpages oder Änderungen mit hohem Potenzial für Conversion-Steigerungen eignen sich gut — etwa Klicks auf ein Banner, Newsletter-Anmeldungen oder Formular-Abschlüsse auf B2B-Websites. Auch innerhalb des Conversion-Prozesses sind Tests möglich, wenn sie voraussichtlich starke Effekte erzielen. Gerade neue Websites bieten oft große Optimierungschancen.
Anders sieht es bei Aktionen am Ende des Conversion-Funnels aus, zum Beispiel dem Hinzufügen von Produkten zum Warenkorb. Hier ist das Verbesserungspotenzial meist geringer — insbesondere bei etablierten Websites, die bereits optimiert wurden. Solche Tests benötigen deutlich mehr Traffic, um eine statistische Signifikanz zu erreichen, und sind vor allem für große E-Commerce-Player oder reichweitenstarke Medienseiten realistisch.
Wichtig ist außerdem: Ein Test liefert nur dann zuverlässige Ergebnisse, wenn er vollständig abgeschlossen ist. Auch wenn es verlockend ist, Zwischenergebnisse zu prüfen — selbst ein Konfidenzlevel von 95 % während des laufenden Tests hat noch keinen statistischen Wert.
