Bayesian Testing

Bayesian Testing ist eine Methode, mit der sich aus Daten die Wahrscheinlichkeit berechnen lässt, dass eine Variante besser ist als eine andere. Dabei beginnt die Auswertung mit einer anfänglichen Annahme und passt diese fortlaufend an, sobald neue Ergebnisse vorliegen. Ein typisches Ergebnis könnte beispielsweise lauten: „Mit einer Wahrscheinlichkeit von 96 % ist Variante B besser.“ Für viele Teams ist diese Art der Auswertung leichter zu interpretieren und bietet eine gute Grundlage für Entscheidungen. Ist die Wahrscheinlichkeit hoch genug, kann das Experiment frühzeitig beendet werden. Ist sie noch zu gering, werden weitere Daten gesammelt.

Beispiel: Ein neuer Seitentitel wird zunächst für einen Teil des Traffics getestet. Nach einem Tag zeigen die Ergebnisse eine höhere Klickrate und eine Wahrscheinlichkeit von 95 %, dass die Verbesserung auf den neuen Seitentitel zurückzuführen ist. Anschließend wird die Änderung für alle Besucher:innen ausgerollt.