Type I/II Error

Type I Error und Type II Error beschreiben zwei Arten von Fehlentscheidungen bei der Auswertung von Experimenten. Ein Type I Error liegt vor, wenn eine Änderung fälschlicherweise als wirksam eingestuft wird, obwohl tatsächlich kein Effekt besteht. Ein Type II Error bedeutet, dass eine tatsächliche Verbesserung übersehen wird, weil das Experiment nicht aussagekräftig genug war. Das Risiko beider Fehlertypen lässt sich durch eine geeignete Stichprobengröße, klar definierte Ziele und den Verzicht auf vorschnelle Entscheidungen auf Grundlage stark schwankender Daten verringern. Eine sorgfältige Planung schafft die richtige Balance zwischen Velocity und belastbaren Ergebnissen.

Beispiel: Ein Unternehmen lässt einen A/B-Test versehentlich zu lange laufen und erfasst die Daten eines kleinen Teils der Nutzer:innen doppelt. Da diese Gruppe besonders umsatzstarke Kund:innen enthält, erscheint die neue Variante deutlich erfolgreicher, als sie tatsächlich ist. Die Änderung wird daraufhin ausgerollt – ein Type I Error.