Erreur de type I / type II

Les erreurs de type I et II concernent les fausses conclusions tirées des données. Une erreur de type I signifie que vous croyez qu'un changement a aidé alors que ce n'est pas le cas ; une erreur de type II signifie que vous passez à côté d'une amélioration réelle parce que le test n'était pas assez sensible. Vous maîtrisez ces risques en planifiant la taille d'échantillon, en choisissant des objectifs clairs et en évitant les décisions précoces fondées sur des données bruitées. Les bonnes pratiques équilibrent prudence et rapidité, pour déployer de vraies victoires et éviter les fausses alertes.

Exemple : une entreprise fait tourner un test A/B trop longtemps et collecte par erreur deux fois les données d'une petite partie des utilisateurs. Malchance : cette partie inclut de gros acheteurs, ce qui gonfle artificiellement le revenu mesuré. L'entreprise déploie le changement sur la base du test et commet ainsi une erreur de type I.