Comment réagir face à un test A/B non-concluant ?

Dans une stratégie d’A/B testing, on ne gagne pas à tous les coups ! Vous pouvez obtenir des résultats positifs, d’autres négatifs, mais également des résultats ne vous permettant pas de tirer de conclusions et de choisir une variante plutôt qu’une autre. 

Pas de problème, on a des solutions !

Dans cet article, découvrez le témoignage de Pauline Marol, Head of Product chez Balinea qui s’est retrouvée face à des résultats de tests A/B non-concluants. 

1. Qu’est-ce qu’un test A/B non-concluant ?

Un test A/B non-concluant signifie que les résultats obtenus ne vous permettent pas de tirer des conclusions fiables sur le comportement de vos visiteurs, alors que tous les éléments à prendre en compte avant de stopper un test A/B sont réunis (indice de confiance, taille d’échantillon, durée d’un test et variance des données).

Vous vous retrouvez alors dans l’un de ces cas de figure :

• L’indice de confiance n’est pas suffisamment élevé. Kameleoon calcule une valeur statistique vous donnant l’assurance ou non que le résultat de votre test A/B est concluant. Si vous avez un indice de confiance d’une valeur de 60%, vous avez 40% de chance pour que vos résultats soient faussés. Dans ce cas, si vous reproduisez votre test A/B, dont la variante B est sortie vainqueur, dans les mêmes conditions, vous avez 40% de chance pour que cette fois-ci ce soit la variante A qui le remporte. On estime qu’un indice de confiance doit se situer entre 90% et 100%.
• L’indice de confiance n’est pas stable. Pour que votre indice de confiance soit considéré comme stable, il doit avoir une valeur équivalente pendant au moins 3 jours consécutifs.

• Le taux de conversion obtenu pour chaque variante est trop proche pour que l’une d’entre elles soit considérée comme plus performante. L'impact sur le KPI n'est donc pas significatif.

2. L'expérience de Balinéa face à des tests A/B non-concluants

Pauline Marol, Head of Product chez Balinea, s’est retrouvée face à des résultats de tests A/B non-concluants.

Elle vous parle de ses difficultés et vous dévoile ses solutions pour pallier ce problème, rencontré par de nombreux marketeurs.

« Chez Balinea, nous faisons de l'A/B testing depuis début 2016. Au début les bonnes pratiques de l’A/B testing n’étaient pas suffisamment maîtrisées et les tests A/B étaient lancés de façon plus ou moins régulière, avec peu de rigueur sur les hypothèses de départ. » – Pauline Marol, Head of Product Balinea

Depuis Septembre 2016 les équipes de Balinea ont beaucoup travaillé sur leur programme d’A/B testing.

Un process précis a été mis en place et l’équipe a été formée aux statistiques et analytiques pour consolider notre stratégie d’optimisation, incluant :

• une formation basique à l’A/B testing (best practices, compréhension des résultats…),
• une fiche descriptive par test A/B permettant de bien poser les hypothèses de départ,
• un backlog d’idées,
• un fichier de suivi des tests,
• des analyses plus rigoureuses des résultats des tests A/B.

« Malgré un process rigoureux, les résultats des campagnes d’A/B testing sont assez décevants. Environ 75% d’entre eux sont non-concluants. Nous n’en tirons aucun enseignement, comme si nos utilisateurs n’avaient pas vu la différence entre les variantes, et c’est une perte de temps pour l’équipe. » – Pauline Marol, Head of Product Balinea

Voici 2 exemples de tests A/B réalisés sur le site de Balinea, dont les résultats se sont révélés non-concluants :

• Test A/B sur la couleur du CTA « Réserver » de la version mobile du site :

• Test A/B sur le CTA de confirmation de paiement de la page « Finaliser ma commande » :

Pourquoi obtient-on des tests A/B non-concluants ?

Lorsque les tests A/B menés sur le site de Balinea se révèlent non-concluants, plusieurs facteurs entrent en jeu.

« Notre point de blocage principal est le faible trafic. Nos tests doivent parfois rester en ligne 2 ou 3 mois pour atteindre un indice de confiance de 95%.
Par ailleurs, l’équipe est encore très jeune sur le sujet. Les outils et les bonnes pratiques ne sont pas maîtrisés à 100%. Et malgré que l’A/B testing soit un élément important dans notre stratégie produit, personne n’a pu réellement se l’approprier pour maximiser nos chances de réussite. » – Pauline Marol, Head of Product Balinea

Les conséquences en interne

Lorsque vous entreprenez de faire de l’A/B testing sur votre site, la première étape est de défendre cette pratique en interne, dans le cadre de votre stratégie digitale, et de prouver son efficacité.

Cependant, les résultats non-concluants peuvent avoir des conséquences négatives sur la culture de l’A/B testing que vous avez insufflée à vos équipes.

« J’ai observé une baisse générale de l’enthousiasme et de la motivation des équipes produit et technique autour de l’A/B testing.
 
Tous les mois, nous nous réunissons pour jouer aux devinettes : pour chaque test A/B, les équipes doivent deviner la variante gagnante avant de découvrir les résultats. Cela me permet de leur rappeler à quel point l’analyse des résultats et du comportement de nos visiteurs est essentielle à l’évolution de notre site. Cependant, lorsque 8 fois sur 10 les résultats sont non-concluants, le jeu devient moins amusant.
 
Aujourd’hui, je fais face à des questionnements en interne, tels que « Pourquoi est-ce que l’on fait de l’A/B testing ? » ou « Peut-on lancer le test A/B et voir ce que ça donne après la mise en production ? ». » – Pauline Marol, Head of Product Balinea

3. Quelle stratégie adopter pour pallier le problème des tests A/B non-concluants ?

Pour pouvoir améliorer continuellement le site de Balinea, Pauline a adapté sa stratégie d’optimisation en 3 points :

1. Placer l'analyse de la donnée au centre de chaque campagne

« J’ai observé une baisse générale de l’enthousiasme et de la motivation des équipes produit et technique autour de l’A/B testing.
 
Tous les mois, nous nous réunissons pour jouer aux devinettes : pour chaque test A/B, les équipes doivent deviner la variante gagnante avant de découvrir les résultats. Cela me permet de leur rappeler à quel point l’analyse des résultats et du comportement de nos visiteurs est essentielle à l’évolution de notre site. Cependant, lorsque 8 fois sur 10 les résultats sont non-concluants, le jeu devient moins amusant.
 
Aujourd’hui, je fais face à des questionnements en interne, tels que « Pourquoi est-ce que l’on fait de l’A/B testing ? » ou « Peut-on lancer le test A/B et voir ce que ça donne après la mise en production ? ». – Pauline Marol, Head of Product Balinea

2. Mettre en place de tests A/B plus complexes et structurants

« Les objectifs de l’équipe produit ne seront plus axés sur la quantité mais la qualité des campagnes pour éviter le plus possible d’avoir des résultats non-concluants. Nous allons chercher des hypothèses sur lesquelles nous prendrons des risques pour en tirer de réels enseignements.Fini les tests de couleurs de boutons ou de liens ! Nous allons nous concentrer sur des éléments structurants, pouvant réellement impacter l’expérience de nos utilisateurs. » – Pauline Marol, Head of Product Balinea

3. Se réjouir des résultats concluants (positifs et négatifs)

Pour créer une énergie positive au sein des équipes, Pauline continuera de fêter les résultats des campagnes d’A/B testing, positifs comme négatifs, tant qu’il permette d’en apprendre plus sur les utilisateurs.

« Tout en restant 100% transparents sur nos tests A/B en interne, nous souhaitons attendre d’avoir plus de résultats concluants pour en discuter avec l’ensemble des équipes de Balinea. » – Pauline Marol, Head of Product Balinea

4. Un test A/B avec des résultats concluants

Le dernier test A/B réalisé par Balinea a été réalisé sur les pages listing. Plus complexe qu’un simple changement de couleur ou de wording, la disposition des informations des établissements a été revue dans son intégralité :

Contre toute attente, Balinea a observé une baisse de 10% de taux de transformation sur la variante B : les équipes sont ravies et ont pu en tirer des conclusions précises sur le comportement de leurs utilisateurs.

5. En résumé

« Je ne perds jamais. Soit je gagne, soit j'apprends. » Nelson Mandela  

Lorsque vous avez peu de trafic sur votre site web, l’accumulation de tests A/B relativement simples ne sera pas la meilleure stratégie à adopter pour obtenir des résultats concrets.

L’analyse de la data est une étape clé et indispensable à la création d’hypothèses fondées, vous permettant ainsi de créer des campagnes plus poussées et complexes.  Positifs ou négatifs, les résultats des tests A/B vous permettent toujours d’en savoir plus sur les parcours de navigation de vos visiteurs. Vous en tirerez des enseignements concrets, mis en évidence par les chiffres et leur analyse.