Sample Ratio Mismatch

Ein Sample Ratio Mismatch (SRM) tritt auf, wenn die tatsächliche Traffic-Verteilung eines Experiments von der geplanten Verteilung abweicht. Wird beispielsweise eine Verteilung von 50:50 geplant, die Daten zeigen jedoch 57:43, deutet dies häufig auf ein Problem bei der Implementierung hin, wie etwa fehlerhaftes Tracking oder eine fehlerhafte zufällige Zuweisung der Varianten. Tritt ein SRM auf, sollte das Experiment pausiert und die Ursache untersucht werden, bevor die Ergebnisse ausgewertet werden.

Beispiel: Kurz nach dem Start eines A/B-Tests fällt eine ungewöhnliche Traffic-Verteilung auf. Die Ursache ist ein fehlendes Tag in einer Variante. Nach der Korrektur wird das Experiment neu gestartet, damit die Traffic-Verteilung wieder der geplanten Aufteilung entspricht.