Fixed-Horizon Testing

Fixed-Horizon Testing bedeutet, dass die Testdauer und die erforderliche Stichprobengröße vor Beginn des Experiments festgelegt werden. Die Ergebnisse werden erst nach Ablauf des gesamten Testzeitraums ausgewertet und anschließend wird eine Entscheidung getroffen. So wird vermieden, ein Experiment zu früh zu beenden, solange die Ergebnisse noch starken Schwankungen unterliegen. Dieser Ansatz eignet sich besonders bei konstantem Traffic und geringen saisonalen Einflüssen.

Beispiel: Ein Checkout-Test wird über zwei volle Wochen durchgeführt. Erst nach Ablauf des gesamten Testzeitraums wird entschieden, welche Variante gewinnt.