Was ist A/B-Testing?

Wir leben in einem Zeitalter des datengetriebenen Marketings, weit entfernt von den Zeiten, in denen Marketer Entscheidungen auf der Grundlage von Vermutungen und Intuition trafen und auf gute Ergebnisse hofften. Der moderne Marketer hat hingegen einen wissenschaftlichen Ansatz und verlässt sich auf Daten. Dabei helfen A/B-Tests. Diese sind der beste Weg, um Unsicherheit und das bekannte Bauchgefühl zu beseitigen, wenn es um Marketing- oder Designentscheidungen für Websites, Werbeanzeigen oder andere digitale Kampagnen geht.

Wenn Sie Ihre Strategie auf Daten und A/B-Tests stützen, bleiben Sie nicht nur agil, sondern haben vor allem ein fundiertes Feedback darüber, was funktioniert und was nicht. So treffen Sie sichere Geschäftsentscheidungen und investieren Zeit und Geld in das, was Ihre Besucher tatsächlich wollen.

75 % der weltweiten Websites mit mehr als 1 Millionen monatlichen Besuchern nutzen bereits A/B-Testing.

Erfolgreiche A/B-Tests erfordern jedoch Vorbereitung, Expertise sowie Zeit und Mühen, um sie in die Praxis umzusetzen. Sie müssen unter anderem Prozesse entwickeln, einen Rahmen schaffen, sich über Statistiken informieren, ein neues Tool einrichten und erlernen sowie sicherstellen, dass Sie genaue Ergebnisse erhalten.

Doch der Aufwand und die Zeit sind es wert, wenn man bedenkt, dass Sie damit Ihre Marketingziele erreichen und ihre Conversion & Engagement Rates sowie Umsätze steigern können.

Um Sie dabei zu unterstützen, haben wir für Sie hilfreiche Inhalte zum Thema A/B-Testing zusammengestellt.

Lesen Sie hier dazu mehr:

• A/B-Testing: Kriterien, die bei der Auswahl des richtigen Tools zu beachten sind
• Was Sie wissen müssen, bevor Sie mit A/B-Testing beginnen
• E-Book: Fangen Sie A/B-Tests nicht schon falsch an

Grundlegend geht es bei A/B-Testing um nichts anderes, als auf Grundlage einer statistischen Analyse festzustellen, welche Variante oder Version Ihrer Website bei Ihren Besuchern besser ankommt.

1 Arten von A/B testing

WAS IST SPLIT-TESTING?

A/B-Tests sind unter anderem auch als sogennante „Split-Tests“ bekannt. Mit Split-Tests können jedoch nicht nur normale A/B-Tests, sondern auch „Split-URL-Tests“ gemeint sein. Bei einem klassischen A/B-Test befinden sich beide Varianten auf derselben URL. Beim Split-URL-Test hingegen befindet sich die geänderte Variante auf einer anderen URL – Dies ist allerdings für Ihre Besucher nicht sichtbar.

Bild

WAS IST MULTIVARIATES TESTING (MVT)?

Manchmal möchten Sie mehrere Änderungen gleichzeitig auf einer Seite testen, z. B. den Banner, die Kopfzeile, die Beschreibung und das Video.

Um alle diese Elemente gleichzeitig zu testen, verwenden Sie multivariate Tests (oder auch MVT genannt). In diesem Fall werden mehrere Varianten erstellt, um alle verschiedenen Kombinationen dieser Änderungen auszuprobieren und die beste zu ermitteln.

Bild

Der Nachteil der multivariaten Tests besteht darin, dass sie eine enorme Menge an Traffic erfordern, um statistisch valide zu sein. Bevor Sie mit einem multivariaten Testprojekt beginnen, müssen Sie erst prüfen, ob Ihre Zielgruppe groß genug ist, um repräsentative Ergebnisse zu erzielen.

WAS IST A/A-TESTING?

A/A-Tests ermöglichen es Ihnen, zwei identische Versionen eines oder mehrerer Elemente zu testen. Der Traffic auf Ihrer Website wird in zwei Gruppen aufgeteilt, wobei jede Gruppe die gleiche Variante zu sehen bekommt. Auf diesem Weg können Sie feststellen, ob die Conversion Rate in jeder Gruppe ähnlich sind und somit bestätigen, dass Ihre Lösung korrekt funktioniert.

Einige Ressourcen, um Ihnen den Start zu erleichtern

• A/B-Testing White Paper: Best Practices & Tipps und Tricks für Ihr A/B-Testing-Projekt
• E-Mail Kurs: Zertifikat zur Einführung ins A/B-Testing

2 Die Vorteile von A/B-Testing im Überblick

Mit A/B-Tests können Sie Ihre Hypothesen überprüfen, indem Sie Ihre Idee direkt an einem Zielsegment Ihrer Zielgruppe testen. So kann jede Änderung auf Ihrer Website auf Basis von soliden Fakten durchgeführt werden.

STEIGERN SIE IHRE CONVERSION RATES

Verbessern Sie Ihre User Experience und Conversion Rates, indem Sie Ihre Website kontinuierlich mithilfe von A/B-Testing optimieren.

BEGEISTERN SIE IHRE BESUCHER FÜR IHR UNTERNEHMEN

Bieten Sie Ihren Besuchern eine außergewöhnliche User Experience, um sie an Ihr Unternehmen zu binden und eine langfristige Kundenbindung zu schaffen.

LERNEN SIE IHRE BESUCHER BESSER KENNEN

Analysieren Sie, wie sich die verschiedenen Elemente Ihrer Seiten auf das Verhalten Ihrer Besucher auswirken und lernen Sie damit mehr über deren Bedürfnisse und Erwartungen.

TREFFEN SIE ENTSCHEIDUNGEN AUF DER GRUNDLAGE QUANTIFIZIERTER ERGEBNISSE

Durch das Überprüfen Ihrer Hypothesen mit A/B-Testing minimieren Sie Risiken. Nutzen Sie zuverlässige Fakten und Statistiken statt subjektiven Einschätzungen, um die richtigen Entscheidungen zu treffen.

OPTIMIEREN SIE IHR ZEITMANAGEMENT UND IHR BUDGET

Nutzen Sie die Erkenntnisse aus Ihren A/B-Tests, um Ihre Zeit und Ihr Budget für das zu nutzen, was für Ihre gesamte Zielgruppe am Besten funktioniert.

Mit A/B-Tests können Sie diese Fragen in Zukunft ganz einfach beantworten:

• Welche Elemente fördern Verkäufe, Conversions oder beeinflussen das Nutzerverhalten?
• Welche Schritte Ihres Conversion-Funnels schneiden in Bezug auf die Performance unterdurchschnittlich ab?
• Sollten Sie diese eine neue Funktion einführen oder nicht?
• Sollten Sie längere oder doch lieber kürzere Formulare verwenden?
• Welcher Titel Ihres Artikel generiert mehr Aufmerksamkeit beim Teilen auf Social Media Kanälen und Co.?

3 Wie funktioniert A/B-Testing?

Sie vergleichen die aktuelle Version (Kontrollversion) einer Seite oder eines Elements mit einer oder mehreren Variationen von Änderungen, die Sie gerne testen möchten. Dies können komplette Seiten auf Ihrer Website, ein bestimmtes Element, ein CTA-Button, ein Bild oder sogar größere Änderungen in der Customer Journey sein.

Ihr Traffic wird in verschiedene Gruppen aufgeteilt, welche jeweils nach dem Zufallsprinzip die verschiedenen Varianten innerhalb Ihres festgelegten Test Zeitraums ausgespielt bekommen.

Anschließend wird die relative Performance (in Bezug auf Kennzahlen wie Conversions oder Verkäufe) verglichen und analysiert, um festzustellen, ob die Änderungen den gewünschten Mehrwert bieten.

DYNAMISCHE TRAFFIC-AUFTEILUNG ODER MULTI-ARMED-BANDIT-TESTING

Beim Multi-Armed-Bandit-Testing (oder der dynamischen Traffic-Zuweisung) lenkt der Algorithmus Ihre User automatisch und schrittweise auf die Variante mit der besten Performance um.

Lesen Sie hier dazu mehr:

• A/B-Testing: Testen. Lernen. Wachsen.
• Optimieren Sie Ihre Landingpage mit A/B-Testing und Personalisierung
• Dynamische Traffic-Aufteilung: Optimieren Sie Ihre A/B-Tests!
• Der Einfluss von Intelligent Tracking Prevention (ITP) auf A/B-Tests, und wie die Einschränkungen vermieden werden können

4 Statistiken von A/B-Tests und wie man sie versteht

A/B-Tests beruhen auf statistischen Methoden. Sie müssen zwar nicht alle mathematischen Zusammenhänge kennen, die bei der Analyse Ihrer Ergebnisse eine Rolle spielen, jedoch verbessern Grundkenntnisse in Statistik Ihre Erfolgschancen.

Es gibt zwei statistische Methoden, die von Tool-Anbietern genutzt werden. Hierbei sind beide Lösungen gleich gut, sie haben lediglich unterschiedliche Verwendungszwecke.

FREQUENTISTISCHER ANSATZ

Dieser Ansatz ermöglicht es Ihnen, die Zuverlässigkeit Ihrer Ergebnisse durch ein Konfidenzniveau zu ermitteln: Liegt dieses bei einem Wert von 95 % oder mehr, sind ihre Ergebnisse mit einer Sicherheit von 95% valide. Allerdings hat der frequentistische Ansatz einen Nachteil. Er hat einen "festen Horizont", was bedeutet, dass die Ergebnisse des Tests unbrauchbar sind, solange das Konfidenzniveau nicht über 95% liegt. Aus diesem Grund brauchen Sie entweder genügend Traffic oder ein bisschen Geduld.

BAYES’SCHER ANSATZ

Bei diesem Ansatz erhalten Sie eine Ergebniswahrscheinlichkeit, mit welcher Sie auch schon vor Ende des Test Tendenz zu erkennen und die Daten zu interpretieren zu können. Aber auch diese Methode hat ihre Tücken: Man muss wissen, wie man das geschätzte Konfidenzintervall, das während des Tests angegeben wird, richtig interpretiert. Mit jeder zusätzlichen Conversion steigt die Genauigkeit der zuverlässigen Wahrscheinlichkeit einer Gewinnervariante.

Lesen Sie hier dazu mehr:

• A/B-Testing: Wie kann man Webseiten mit wenig Traffic A/B-testen?
• A/B-Testing: Bayes vs. Frequentist-Ansatz
• Wann kann ein A/B-Test beendet werden?
• Warum Statistik für A/B-Tests wichtig ist

5 A/B-Testing: Full-Stack oder Client-side

Welcher Ansatz der beste ist, hängt von der Unternehmensstruktur, den internen Ressourcen, dem Entwicklungszyklus und der Komplexität der Experimente ab:

• Client-seitige Experimente und Personalisierungen erfordern keine fortgeschrittenen technischen Kenntnisse und eignen sich daher gut für digitale Marketer. Der clientseitige Ansatz ermöglicht Ihren Optimierungsteams agil zu sein, Experimente sehr schnell aufzusetzen, Engpässe zu vermeiden und Ihre Testergebnisse in kürzerer Zeit zu erhalten.
• Der serverseitige Testansatz erfordert zwar technische Ressourcen und komplexere Entwicklungen, ermöglicht aber leistungsfähigere, skalierbare und flexible Experimente.

Am besten sollte Ihr Unternehmen die Möglichkeit haben, jeden dieser Ansätze zu nutzen, um alle ihre Teams in den Optimierungsprozess einzubeziehen und ihre verschiedenen Projekte unter den besten Bedingungen zu verwalten.

DER CLIENTSEITIGE ANSATZ: MEHR FLEXIBILITÄT FÜR MARKETINGTEAMS

In einer clientseitigen Umgebung werden Websites direkt im Browser des Besuchers geändert. Im Wesentlichen wird der Quellcode der Originalseite vom Server an den Browser des Endnutzers weitergeleitet, während ein Skript alle Änderungen an den Browser (egal ob Chrome, Firefox, Safari, Opera usw.) steuert, um eine Version der geänderten Seite anzuzeigen.

Mit clientseitigen Testing können Sie Front-End-Tests und Personalisierungen sehr schnell erstellen und bereitstellen, z. B. indem Sie die Platzierung von Text und CTA-Buttons ändern, Blöcke umstellen oder ein Pop-In zur Verbesserung der Benutzerfreundlichkeit hinzufügen.

DER SERVERSEITIGE ANSATZ: BEHALTEN SIE DIE KONTROLLE ÜBER IHRE EXPERIMENTE

Serverseitig zu arbeiten bedeutet, dass die Hypothesen für Ihre Optimierungen in Ihrer Backend-Architektur erstellt werden und nicht über den Browser des Besuchers, wie es beim clientseitigen Ansatz der Fall ist. Die Änderungen werden direkt beim Laden der HTML-Seiten erzeugt.

Mit dem serverseitigen Testansatz steuern Sie alle Elemente Ihrer Tests und Experimente direkt aus der Programmierumgebung heraus. Sie können daher komplexere Tests und Personalisierungen durchführen, die die Architektur oder den Betrieb Ihrer Website betreffen und haben mehr Freiheit bei der Testgestaltung.

HYBRIDE EXPERIMENTE: KOMBINATION VON CLIENT- UND SERVERSEITIGEN TESTS

Unternehmen können hybride Experimente erstellen und durchführen, bei denen Marketer und Entwickler zusammenarbeiten und dasselbe Tool verwenden, ohne dass verschiedene Produkte integriert werden müssen oder die Wahl zwischen einem clientseitigen und einem serverseitigen Ansatz notwendig ist.

6 Wie man eine A/B-Teststrategie einführt

A/B-Tests müssen auf einer Methodik basieren, um aussagekräftige Ergebnisse aufzuzeigen. Hinzu kommt noch die Strategiewahl, die es den involvierten Teams ermöglicht zu wachsen und aus den durchgeführten Experimenten zu lernen. Im Folgenden finden Sie 5 Schritte für die Umsetzung Ihrer Teststrategie:

1. MESSEN UND ANALYSIEREN SIE DIE LEISTUNG, UM FESTZUSTELLEN, WAS OPTIMIERT WERDEN KANN

• Vor der Optimierung der User Experience und der Neugestaltung Ihrer Website ist es wichtig, die Schwachstellen und die zu optimierenden Bereiche auf Ihren Seiten zu identifizieren.
• Jede Website ist anders und Unternehmen müssen ihre Strategie auf der Grundlage der Art ihrer Besucher, ihrer Ziele und den Ergebnisse der Analyse Ihrer Website-Performance entwickeln.
• Setzen Sie Tools zur Verhaltensanalyse wie Click-Tracking, Heatmaps usw. ein, um Reibungspunkte auf Ihrer Website zu identifizieren.

2. FORMULIEREN SIE IHRE HYPOTHESEN ZUR OPTIMIERUNG

Sobald Sie die Reibungspunkte identifiziert haben, die Ihre Besucher daran hindern auf Ihrer Website zu konvertieren, formulieren Sie Hypothesen, um herauszufinden, welche Experimente Sie durchführen sollten.

Zum Beispiel

• Beobachtung: Die von Ihnen eingefügte statische Infoleiste wird nur selten von Website-Besuchern genutzt.
• Hypothese: Vielleicht sind die Icons nicht deutlich genug. Durch Hinzufügen von Informationen könnte dieser Schwachpunkt verbessert werden.
• Geplantes Experiment: Hinzufügen eines Textes unter jedem Symbol.

3. PRIORISIEREN SIE IHRE A/B-TESTS UND ERSTELLEN SIE IHRE ROADMAP

Um eine effektive A/B-Testing-Roadmap zu implementieren und überzeugende Ergebnisse zu erzielen, ist es wichtig, Prioritäten für Ihre Handlungen zu setzen. Mit dem von WiderFunnel entwickelten PIE Framework können Sie Ihre Testideen nach drei Kriterien von 1 bis 10 einstufen, um zu bestimmen, wo Sie beginnen sollten:

• Potenzial: Auf einer Skala von 1 bis 10, wie sehr kann diese Seite Ihrer Meinung nach verbessert werden?
• Auswirkung: Welchen Wert hat der Traffic (Volumen, Qualität) auf dieser Seite?
• Einfachheit der Durchführung: Wie einfach ist die Durchführung des Tests (10 = sehr einfach, 1 = sehr schwierig)?

Wenn Sie den Durchschnitt der drei Kriterien bilden, wissen Sie, welche Tests am Besten zuerst starten. (Die Nutzung des PIE Frameworks ist eine Empfehlung von uns. Natürlich gibt es auch andere Priorisierungsysteme. Nutzen Sie das, was sich für Sie am besten eignet).

Bild

4. ANALYSIEREN SIE IHRE A/B-TESTS UND LERNEN SIE AUS DEN ERGEBNISSEN

Es ist wichtig, dass Sie Ihre Testergebnisse analysieren und interpretieren. Schließlich geht es beim A/B-Testing darum, zu lernen und Entscheidungen anhand der Analyse Ihrer Experimente zu treffen.

Tipps zur effektiven Analyse Ihrer Ergebnisse:

• Lernen Sie, wie Sie "falsch-positive" Ergebnisse erkennen
• Legen Sie repräsentativer Besuchersegmente fest
• Testen Sie nicht zu viele Varianten gleichzeitig
• Geben Sie eine Testidee nicht nach einem Fehlschlag auf

7 Welche Elemente Ihrer Website sollten Sie unbedingt A/B-testen?

Sie können A/B-Tests für absolut alles auf Ihrer Website durchführen. Von Push-Nachrichten, über das Design bis hin zu Such-, Filter- oder Sortierungselementen und vieles mehr. Hier sind ein paar Beispiele, um Ihre Inspiration anzuregen:

8 Einführung von A/B-Testing in Ihrem Unternehmen

SCHAFFEN SIE EINE EXPERIMENTKULTUR

Um eine wirksame A/B-Testing-Strategie für Ihre Website einzuführen ist es wichtig, dass Sie intern eine Kultur des Experimentierens schaffen. Um dies zu erreichen, sollten Sie sich mit den richtigen Leuten umgeben:

Experimentier-Spezialisten und Projektmanager verfügen über solide digitale Erfahrung. Sie haben die Entwicklung der Branche beobachtet und kennen deren Herausforderungen. Ihre Aufgabe ist es, die Strategie zu strukturieren und das Projekt zu verwalten, indem sie die verschiedenen Profile und Ressourcen koordinieren.

Die Entwickler und Designer sind für den operativen Aspekt der Experimentierstrategie zuständig. Der Entwickler kümmert sich um die Integration und den technischen Aspekt der Experimente. Der Designer muss über fundierte UX-Kenntnisse verfügen, um personalisierte Erlebnisse zu schaffen, die an die Bedürfnisse der Besucher angepasst sind.

ORGANISATIONSSTRUKTUREN, UM IHRE A/B-TESTING-PROJEKTE ZU LEITEN

Bei der Zusammenstellung Ihres Testing-Teams können Sie sich von den drei Haupttypen von Organisationsstrukturen inspirieren lassen, die es heutzutage in Unternehmen gibt:

• Eine zentralisierte Struktur, die die A/B-Testing-Strategie für das gesamte Unternehmen vorantreibt und die Experimente nach den Bedürfnissen der einzelnen Teams priorisiert
• Eine dezentralisierte Struktur mit Experten in jedem Team, die mehrere Projekte gleichzeitig durchführen können
• Eine hybride Struktur mit einer Experimentier-Einheit und Experten in jedem Team

Bild

Lesen Sie hier dazu mehr:

• Das ideale CRO-Team für verbesserte digitale Performance
• Conversion ROI braucht eine Optimierungs-Kultur

9 Die wichtigsten Merkmale einer A/B-Testing-Plattform

Ziele und Variationen festlegen, Tests vorbereiten, Ergebnisse analysieren: Was sind die wesentlichen Merkmale Ihrer A/B-Testing-Plattform?

Es gibt viele Tools, mit denen Sie das Beste aus Ihren Optimierungen herausholen können. Die Wahl einer umfassenden Lösung, die individuelle Unterstützung bietet, ist ebenfalls ein wichtiger Aspekt.

In unserer Checkliste finden Sie alle wichtigen Funktionen zur Optimierung Ihrer A/B-Testpraxis.

10 Kameleoon Academy: A/B-Testing-Training

Erweitern Sie Ihr Wissen und lernen Sie, wie Sie effektive A/B-Tests implementieren, ihre Ergebnisse interpretieren sowie analysieren und eine Roadmap für Ihre Experimente erstellen, um Ihre UX- und Geschäftsziele zu unterstützen – Alles mithilfe unseres Online-Kurses. Am Ende des Kurses können Sie Ihr Wissen testen und ein Zertifikat erhalten.

Melden Sie sich für unseren Kurs an.