Statistical Significance

Statistische Signifikanz beschreibt, wie wahrscheinlich es ist, dass ein beobachteter Effekt tatsächlich auf eine Änderung zurückzuführen ist und nicht durch Zufall entstanden ist. Vor Beginn eines Experiments wird ein Schwellenwert festgelegt, ab dem ein Ergebnis als statistisch signifikant gilt. Wird dieser Schwellenwert erreicht, spricht dies dafür, dass die beobachtete Verbesserung nicht zufällig ist. Eine ausreichende statistische Signifikanz hilft dabei, zufällige Ausreißer nicht als echte Verbesserungen zu interpretieren und vielversprechende Ideen nicht vorschnell zu verwerfen.

Beispiel: Vor Beginn des Experiments wird festgelegt, welcher Schwellenwert als ausreichender Nachweis gilt. Erst wenn dieser erreicht ist, wird die Änderung für alle Nutzer:innen ausgerollt.