Wie kann man Webseiten mit wenig Traffic A/B-testen?
Wenn ich über A/B-Testing spreche, höre ich oft Sätze wie: „Das ist doch nur etwas für große Websites“, „Das ist viel zu komplex“ oder „Solche Tools lohnen sich nicht bei wenig Traffic“.
Die ehrliche Antwort darauf lautet: Jein.
Unsere Consultants und Kund:innen sind sich einig: Websites, die ihre Online Experience nicht optimieren, sind wie Geschäfte, die die Sauberkeit ihrer Ladenräume vernachlässigen – Besucher:innen fühlen sich unwohl und kommen einfach nicht wieder.
Ende 2016 haben wir eine Studie durchgeführt, die zeigte, dass 75 % der Websites mit über einer Million Besuchern A/B-Tests durchführen.
„War doch klar“, denkst du vielleicht.
Interessant ist jedoch: 72 % aller Unternehmen, die A/B-Tests nutzen, haben weniger als eine Million monatliche Besucher.
Was genau ist A/B-Testing?
Definition: A/B-Testing ist ein Experiment, das auf einer Website oder in einer mobilen App durchgeführt wird, um Optimierungshypothesen mit der Originalversion zu vergleichen. Eine statistische Analyse zeigt anschließend, welche Variante bei der Zielgruppe besser ankommt.
Für einen umfassenderen Einblick in Grundlagen und Vorteile empfehlen wir unsere Seite „Was ist A/B-Testing“.
Es gibt zwei große Methoden für A/B-Tests
Frequentist-Methode:
Die frequentistische Statistik basiert ausschließlich auf den tatsächlich beobachteten Daten. Sie ist experimentell bzw. induktiv – und gilt als die „klassische“ Methode für A/B-Tests.
Bayes’sche Methode:
Diese Methode ist deduktiv. Sie verbindet die erhobenen Daten mit bereits vorhandenem Wissen – etwa aus früheren Studien oder Experteneinschätzungen – und ermöglicht so schnellere, verlässliche Ergebnisse.
Ein Beispiel macht den Unterschied deutlicher:
Stell dir vor, wir werfen eine Münze zehnmal.
- Frequentist-Methode:
Hier gehen wir von einer „wahren“ Wahrscheinlichkeit für Kopf aus. Zeigt die Münze sechsmal Kopf, liegt die beobachtete Wahrscheinlichkeit in diesem Experiment bei 6/10 = 0,6. Natürlich nähert sich dieser Wert mit sehr vielen Würfen dem theoretischen Wert von 0,5 an. - Bayes’sche Methode:
Hier interessieren uns weniger die 10 Würfe selbst, sondern vielmehr unser Vorwissen, dass die Wahrscheinlichkeit für Kopf grundsätzlich bei 0,5 liegt. Daher benötigt die Bayesianische Methode weniger Beobachtungen (bzw. weniger Traffic), um zu einem stabilen Ergebnis zu kommen.
Die Bayes’sche Methode eignet sich also auch für Websites mit geringem Traffic – allerdings immer mit bestimmten Einschränkungen.
In diesem Artikel konzentrieren wir uns auf A/B-Tests mit wenig Traffic unter Anwendung der frequentistischen Methode.
Warum sind Tests auf Webseiten mit wenig Traffic problematisch?
Machen wir uns nichts vor: Einen Test nach der Frequentist-Methode auf einer Seite mit wenig Traffic durchzuführen kann schwierig sein – aber eben nicht unmöglich. Problematisch, ja. Unmachbar, nein.
Zurück zu unserem Beispiel:
Wir wissen, dass die Wahrscheinlichkeit für „Kopf“ bei einer fairen Münze bei 50 % liegt. Also werfen wir die Münze erneut zehnmal.
Ich wiederhole das Experiment mehrmals.
Die Wahrscheinlichkeit liegt zwar bei 50 %, aber die tatsächlichen Ergebnisse können ganz anders ausfallen. Dieses Beispiel zeigt: Eine zu kleine Stichprobe kann das Ergebnis verzerren – und genau das lässt sich direkt auf A/B-Tests übertragen.
Wenn die getestete Stichprobe zu klein ist, kann das deine Resultate verfälschen und dich zu falschen Entscheidungen führen.
Wirfst du die Münze dagegen 10.000 Mal, nähert sich das Ergebnis deutlich stärker dem tatsächlichen statistischen Wert an – und genau das ist der Grundgedanke der frequentistischen Methode.
Keine Sorge, ich habe die Münze natürlich nicht selbst tausendfach geworfen – dafür gibt es praktische Online-Generatoren. Probier es selbst aus, dann wirst du schnell merken: Eine kleine Stichprobe kann zwar einen groben Eindruck vermitteln, hat nach der frequentistischen Methode aber keinen echten statistischen Wert und kann daher leicht zu Fehlschlüssen führen.
Kurz gesagt: Je kleiner die Stichprobe, desto unzuverlässiger ist dein A/B-Test.
Aber wie kannst du trotzdem Webseiten mit wenig Traffic sinnvoll A/B-testen?
Schlüsselelemente testen
Auch wenn deine Website nur wenig Traffic hat, kannst du trotzdem testen – indem du dich auf die Elemente konzentrierst, die von den meisten Besucher:innen gesehen oder genutzt werden.
Es gibt zahlreiche Tools, mit denen du den nötigen Traffic für statistisch signifikante Testergebnisse berechnen kannst. In Kameleoon ist ein solcher Rechner direkt integriert, alternativ kannst du auch kostenlose Tools wie den Rechner von Evan Miller nutzen.
Doch wie wird die erforderliche Testdauer eigentlich berechnet?
1. Baseline Conversion Rate = beobachtete Conversion-Rate:
Gib hier die aktuelle Conversion-Rate deiner Seite bzw. des zu testenden Elements ein.
2. Minimum Detectable Effect (MDE) = minimale gewünschte Veränderung:
Das ist die kleinste Veränderung, die dein Test zuverlässig erkennen soll – entweder absolut (ein fester Prozentwert wird addiert oder subtrahiert) oder relativ (die Conversion-Rate verändert sich um x %).
Wichtig: Je kleiner die Veränderung ist, die du messen möchtest, desto mehr Traffic brauchst du, um diese sicher nachzuweisen.
Umgekehrt gilt: Große Veränderungen lassen sich deutlich schneller und mit weniger Traffic erkennen.
Auf einer Webseite mit wenig Traffic kann man große gewünschte Verbesserungen testen
Du hast es sicher schon gemerkt: A/B-Testing funktioniert nur, wenn eine gewisse Menge an Traffic vorhanden ist. Aber das Tool von Evan Miller zeigt ebenso klar, dass du keine Millionen von Besuchern brauchst, um verlässliche Tests durchzuführen.
Trotzdem ist Vorsicht gefragt:
Mehrere tausend Unique Visitors pro Variante können für einen Test zwar ausreichen – aber du benötigst zusätzlich eine Mindestanzahl an Conversions, um die Ergebnisse sinnvoll auszuwerten.
Ein Beispiel:
Du testest den Haupt-CTA deiner Homepage. Jede Variante bekommt 10.000 Besucher. Klingt gut.
Aber wenn jede Variante nur ein paar Dutzend Conversions erzeugt, wird die Analyse schnell schwierig.
Unsere allgemeine Empfehlung:
Beende einen Test erst, wenn mindestens 1.000 Conversions erreicht wurden.
Bei Websites mit weniger Traffic kann diese Zahl niedriger liegen – mehrere hundert Conversions sollten es aber auf jeden Fall sein.
Grundregeln:
- Je spezifischer das Element, das du testen möchtest, desto mehr Traffic brauchst du.
- Das Gleiche gilt für Seiten mit niedriger Conversion-Rate.
Zwar gibt es keine festen, universellen Zahlen – aber als Richtwert gilt:
- Für Seiten und Elemente mit hoher Conversion-Rate (z. B. Menüleiste, Landing Pages, CTAs) benötigst du etwa 1.000 Unique Visitors pro Variante.
- Für Tests im Conversion-Prozess selbst brauchst du dagegen oft Hunderttausende Besucher, um saubere, verlässliche Ergebnisse zu erzielen.
Mehr dazu findest du im Artikel unseres Gründers und CTO Jean-Noël Rivasseau: „Statistik: Wie viel Traffic brauche ich für A/B-Testing?“
Konkrete Beispiele für Tests von Menüleiste, Homepage und Produktbeschreibungen.
Die Menüleiste
Der Dreh- und Angelpunkt jeder Website: die Menüleiste. Da sie maßgeblich bestimmt, wie gut deine Inhalte zugänglich sind und wie leicht Besucher:innen sich zurechtfinden, verdient ihr Aufbau besondere Aufmerksamkeit.
- Beispiel Schmidt:
Auch ohne Französischkenntnisse erkennt man sofort, dass die ursprüngliche Menüleiste des Küchenherstellers Schmidt überladen war. Die Informationen waren nicht klar genug strukturiert – und genau das sollte mit der Neugestaltung verbessert werden.
Die Ziele: die Absprungrate der Homepage senken, mehr Klicks auf die Haupt-CTAs erzielen und zusätzliche Terminvereinbarungen generieren.
Mission erfüllt:
Mit Variante 2 stiegen die Klicks auf die verschiedenen CTAs der Menüleiste um +40 bis +317 % – ein klarer Erfolg für diesen A/B-Test.
Deine Homepage
Die Homepage ist der zentrale Einstiegspunkt für nahezu jede Website – und hat deshalb auch die höchsten Besucherzahlen. Genau darum bietet sie besonders gute A/B-Test-Möglichkeiten, selbst wenn deine Website insgesamt nur wenig Traffic hat.
Beispiel: Welcome Office
Welcome Office ist Anbieter von Büromaterial und einer der führenden französischen B2B-Online-Discounter in diesem Bereich. Die Analyse von WelcomeOffice.com zeigte, dass die Homepage über ein großes ungenutztes Conversion-Potenzial verfügte.
Daraufhin führte das Team einen umfassenden Usability-Audit durch, um das Verhalten der Besucher:innen auf dieser Seite besser zu verstehen. Auf Basis dieser Erkenntnisse wurde anschließend ein A/B-Test auf der Homepage aufgesetzt, um herauszufinden, welcher Seitenaufbau am besten funktioniert.
Dabei wurden zwei zentrale Ziele definiert:
- Besucher sollten auf der Webseite bleiben und auch tiefere Seiten der Webseite besuchen (Katalog, Produktseiten, usw.).
- Die Conversion-Rate sollte geboostet werden.
Ein ausgesprochen erfolgreicher Test. Die Variante führte zu einer Steigerung der Conversions-Rate um 30%.
Produktseiten
Du solltest wissen, dass die Homepage zwar in den meisten Fällen die am häufigsten besuchte Seite deiner Website ist – du aber noch höhere Besucherzahlen erzielen kannst, wenn du ähnliche Inhalte in deinem Analytics-Tool zusammenfasst.
Im oben genannten Beispiel zieht die Homepage zwar die meisten Besucher an, liegt aber deutlich hinter den zusammengefassten Produkt- und Kategorieseiten zurück.
Also gilt: Wenn du wenig Traffic hast, aber deine Produktseiten testen möchtest, solltest du diese gruppieren.
Beispiel: Mobibam
Mobibam ist ein Startup, das maßgeschneiderte Möbel anbietet. Auf der Website können Besucher:innen ihren eigenen Schrank oder ihr Regal gestalten – ein vielleicht ungewöhnliches, aber sehr lehrreiches Beispiel. Die Seite hat rund 15.000 Besucher pro Monat.
Im sogenannten „Configurator“ wählen Nutzer:innen Materialien, Verarbeitung und die einzelnen Elemente des gewünschten Möbelstücks. Deshalb muss dieses Tool intuitiv und leicht zu bedienen sein. Ist das nicht der Fall, brechen Besucher:innen den Vorgang wahrscheinlich ab und verlassen die Website, ohne das Möbelstück fertigzustellen.
Um die Nutzerfreundlichkeit zu überprüfen, führte Mobibam einen A/B-Test durch.
Der optimierte, vereinfachte Configurator führte zu einer Steigerung der Conversions um satte 325%!
Es ist durchaus möglich, mehrere Elemente einer Seite gleichzeitig zu testen – etwa Banner, Titel, Beschreibung oder Videos. Ein A/B-Testing-Tool wie Kameleoon erzeugt in diesem Fall automatisch so viele Varianten, wie es Kombinationen der veränderten Elemente gibt.
Der Haken an Multivariate Tests: Sie benötigen sehr viel Traffic, da sich dieser auf alle Varianten verteilt.
Frag deine Audience
Diesen Ansatz hat Ooreka gewählt – eine Website, die Fragen aus dem Alltag ihrer Besucher:innen beantwortet. Ooreka wollte herausfinden, wie zufrieden die Nutzer:innen mit dem Service sind und startete dafür eine Umfrage, die als Pop-up über der Seite angezeigt wurde.
Dabei konnten zwei Punkte problematisch sein:
- Wie sammelt man möglichst objektive Antworten ein?
- Wie reduziert man die Zahl der Besucher:innen, die das Pop-up sofort schließen, ohne zu antworten?
Beide Probleme konnten mit einem einzigen Ansatz gelöst werden – durch präzises Targeting der Besucher:innen.
Nur diejenigen, die auch tiefere Seiten (also nicht nur die Homepage) aufriefen und mindestens 20 Sekunden auf der Website unterwegs waren, bekamen das Pop-up zu sehen.
Das hatte zwei Effekte:
- Die Wahrscheinlichkeit stieg, dass diese Nutzer:innen tatsächlich interessiert sind und nicht sofort schließen.
- Sie hatten genug Zeit, sich eine fundierte Meinung über Ooreka zu bilden.
Gibt es andere Methoden?
Hat deine Website nur wenige tausend Besucher pro Monat, wird A/B-Testing schnell riskant – entweder dauern die Tests sehr lange oder die Ergebnisse sind statistisch nicht zuverlässig genug.
Es gibt zwar alternative Methoden, doch sie sind deutlich weniger objektiv und verlässlich als A/B-Testing. Deshalb solltest du sie nur im absoluten Ausnahmefall und ausschließlich im Rahmen von Usability-Optimierungen einsetzen.
Sequenzielle Tests
Vorsicht! Bevor du sequenzielle Tests durchführst, solltest du wissen, dass diese Methode einige Risiken mit sich bringt. Wenn du genug Traffic hast, solltest du komplett auf sequenzielle Tests verzichten.
Bei einem sequenziellen Test werden die Varianten nicht gleichzeitig, sondern nacheinander getestet. Theoretisch kommst du so schneller zu statistisch belastbaren Ergebnissen, weil der Traffic nicht auf mehrere Varianten verteilt wird.
Aber: Das Risiko ist groß, dass äußere Einflüsse den Vergleich verfälschen – etwa Saison, Ferienzeiten oder politische Ereignisse, die das Verhalten der Besucher:innen beeinflussen.
In solchen Fällen basierst du deine Entscheidungen auf falschen Ergebnissen – und genau das willst du vermeiden!
Anwendungstests
Mit Anwendungstests entfernst du dich vom klassischen A/B-Testing.
A/B-Tests basieren auf einem quantitativen Ansatz und zeigen dir, was die Mehrheit deiner Besucher:innen bevorzugt.
Anwendungstests liefern dagegen qualitative Erkenntnisse: Du findest heraus, ob Nutzer:innen deine Website leicht bedienen können und wo sie Schwierigkeiten haben.
Der Vorteil: Du bekommst schnell konkrete Einsichten.
Der Nachteil: Die Ergebnisse sind subjektiver, weil sie auf einer kleinen Stichprobe basieren.
Geht nicht gilt nicht
A/B-Testing gehört zu den beliebtesten Methoden der UX-Optimierung – weil es einfach umzusetzen ist und sehr zuverlässig funktioniert. Tests sind schnell eingerichtet und liefern dir im Gegensatz zu deiner (immer subjektiven) Intuition klare, datenbasierte Antworten über die Vorlieben deiner Besucher:innen.
Grundsätzlich kann jede Website A/B-Tests durchführen – vorausgesetzt, es gibt ein Mindestmaß an Traffic.
Hast du jedoch nur wenige hundert Besucher im Monat, lohnt sich A/B-Testing kaum, weil selbst das stärkste Tool nicht genug Daten sammeln kann, um verlässliche Ergebnisse zu liefern.
Trotzdem gibt es Techniken und Vorgehensweisen, mit denen du auch bei wenig Traffic effizient testen und wertvolle Learnings gewinnen kannst.
