Significativité statistique

La significativité statistique est une façon de dire que l'effet observé semble réel plutôt que dû au hasard. Vous choisissez avant le test un seuil qui définit ce qui compte comme une preuve suffisamment solide. Quand le résultat franchit ce seuil, vous considérez le changement comme une amélioration probable. S'assurer que vos données de test sont statistiquement significatives vous évite de courir après des pics chanceux ou d'abandonner trop tôt de bonnes idées.

Exemple : vous convenez que seuls les résultats franchissant une barre de preuve stricte seront déployés à tous les utilisateurs.