Tests séquentiels : pour une sécurité renforcée de vos tests A/B
Vous manquez de temps ? Les tests séquentiels vous permettent de prendre des décisions rapides. Lancement d’A/B test sur un trafic faible, consultation anticipée des résultats ou alertes pour interrompre plus tôt les tests sous-performants, découvrez comment utiliser cet algorithme statistique.
Les tests séquentiels, qu’est-ce que c’est ?
Les tests séquentiels font partie des modèles statistiques exploitables pour l’analyse des résultats de vos tests. Au lieu de baser ses calculs sur un échantillon représentatif, cette méthode permet une analyse continue des données en temps réel.
Quels sont les avantages des tests séquentiels en A/B testing ?
Les tests séquentiels sont utilisés par tous types d’entreprises : de la petite structure qui souhaite challenger son expérience en temps réel, à la grande multinationale comme Netflix ou Booking.com. Leurs principaux avantages sont :
L’A/B testing sur faible trafic
L'un des avantages des tests séquentiels est qu'ils ne nécessitent pas un grand nombre d’utilisateurs pour être réalisés. Quelques dizaines d’utilisateurs par test suffisent, ce qui rend les tests possibles sur des zones à très faible trafic ou d’obtenir des résultats très rapides.
L’alerte de fiabilité séquentielle
Avec les tests séquentiels, il est possible de suivre l’évolution en temps réel des performances de vos tests. Définissez des critères et soyez alertés si les performances de votre variation impactent trop fortement les conversions ou si la qualité de votre test est insuffisante. Vous pourrez ainsi choisir de poursuivre, itérer ou stopper le test et dédier vos ressources uniquement aux tests les plus prometteurs.
La différence entre évolution estimée et évolution observée
Lors des tests séquentiels, on distingue deux types d’évolution entre l’évolution estimée et l’évolution observée est fondamentale. L’évolution estimée évolue à mesure que vous collectez des données. L’algorithme calcule des intervalles de confiance et une fiabilité séquentielle qui font que les résultats demeurent “valides” quel que soit le nombre de fois que vous les consultez. Vous pouvez l’utiliser pour déterminer si vous devez poursuivre le test, itérer ou l’interrompre. L’évolution observée est celle que vous constatez dans les données une fois le test terminé.
Quelles sont les différences entre les modèles bayésien, fréquentiste et les tests séquentiels ?
Ces trois méthodes permettent de compulser les résultats de vos A/B tests mais ont des méthodologies et des objectifs différents.
Méthode Fréquentiste
Le modèle fréquentiste est le plus fréquemment utilisé et possède la plus grande puissance statistique des trois solutions proposées. Il fonctionne avec une méthodologie classique : formulation d’une hypothèse, paramétrage du test puis consultation et analyse des résultats à la fin de celui-ci. Les résultats obtenus sont très complets et d’une grande fiabilité. Cependant, cette méthode exige une organisation rigoureuse et permet très peu de flexibilité. L’équipe ne peut ni interrompre, ni modifier le test en cours, comme cela est possible avec les tests séquentiels.
Méthode Bayésienne
Les modèles bayésiens permettent aux équipes disposant de grands ensembles de données d’exploiter leurs connaissances existantes et de les mettre à jour en fonction des nouvelles informations. Cependant, l’hypothèse doit être réfléchie avec soin : si elle est mal conçue, elle peut entraîner toute l’analyse dans la mauvaise direction.
Tests séquentiels
Les tests séquentiels permettent de suivre l’évolution des données en temps réel. Vous pouvez ainsi prendre des décisions, ajuster vos hypothèses et adapter vos stratégies en temps réel, sans vous soucier d’une taille d’échantillon ou de la durée du test. Il est possible de consulter les performances du test autant de fois que nécessaire sans que cela n’affecte leur significativité.
Les tests séquentiels permettent donc plus de flexibilité et de sécurité. Si votre équipe souhaite s’adapter rapidement aux résultats inattendus ou aux nouvelles tendances, les tests séquentiels pourraient être la solution idéale pour vous.
Envie d’en savoir plus sur les tests séquentiels ? Contactez votre CSM ou demandez une démo.
