Aller au contenu principal
Articles métier

A/B testing : N’écoutez surtout pas votre cerveau !

Auteur
avatar_jb.jpeg
Jean-Baptiste Alarcon
Partager
L’être humain n’est pas fait pour raisonner de façon statistique. Nous sommes imparfaits, irrationnels et subjectifs. Pourquoi ? Parce que nous sommes influencés par de nombreux biais cognitifs. Les biais cognitifs sont les opinions, les croyances ou encore les préférences qui influent votre capacité à raisonner, à vous remémorer ou à évaluer les informations. Vous pouvez très bien vivre sans vous en soucier, mais lorsque vous réalisez un test A/B ils peuvent devenir handicapants ! L’A/B testing est une expérience scientifique qui requiert de l’objectivité et des données actionnables, mesurables et pertinentes, pas de place donc pour l’approximation !

Les biais cognitifs peuvent altérer vos tests A/B

Dans cet article, nous verrons que votre cerveau peut vous jouer bien des tours et :
  • Trouver des liens (inexistants) entre des évènements
  • Ne pas comprendre la taille d’échantillon
  • Chercher et interpréter la moindre information pour valider une idée préconçue
  • Repérer des similitudes imaginaires dans vos données
  • Penser que les évènements passés influencent les probabilités futures
  • Penser les informations devant votre nez sont suffisantes pour tirer des conclusions.
  • Baser son raisonnement entier sur la première information reçue
  • Laisser tomber toute logique dès que votre ego ou vos émotions entrent en jeu
  • Ne pas se remettre en question
  • Surestimer l'unanimité de votre opinion
En matière d’A/B testing il est primordial de suivre une méthodologie rigoureuse et de laisser de côté les biais cognitifs qui peuvent vous amener à tirer de mauvaises conclusions.

Trouver des liens (inexistants) entre des évènements

Avec le biais de corrélation illusoire (ou trompeuse) vous risquez de créer une relation entre deux événements indépendants. Vous pourriez par exemple supposer que c’est la nouvelle couleur rose de votre CTA qui a fait décoller les conversions de votre variante alors qu’en réalité les gens se ruent momentanément sur vos produits à cause d’un autre facteur comme des conditions météorologiques particulières. Notre cerveau tire parfois des conclusions bien trop vite, vous devez donc analyser vos résultats scrupuleusement afin de ne pas faire de mauvaises interprétations.

Ne pas comprendre la taille d’échantillon

Dans un article précédent, nous avons souligné l’importance d’établir la taille de l’échantillon nécessaire pour réaliser un test. Avec les biais cognitifs, notre cerveau peine à appréhender correctement la taille de l’échantillon et sous-estime les variations sous jacentes aux petits échantillons. Prenons un exemple de l’ouvrage de Daniel Kahneman : Une ville possède 2 hôpitaux. 45 enfants naissent chaque jour dans le plus grand, et 15 dans le plus petit. Imaginons qu’il y a exactement 50% de chance d’avoir un garçon. Le pourcentage exact varie chaque jour et on compte parfois plus de garçons que de filles, parfois moins. Pendant un an, chaque hôpital a noté les jours où l’on a observé que plus de 60% des nouveaux nés étaient des garçons. Quel hôpital selon vous en a noté le plus ? 1. Le grand hôpital 2. Le petit hôpital 3. À peu près la même chose (à 5% près). Lors de cette étude, 56% des interrogés on choisi la réponse 3, 22% la réponse 1 et 22% la réponse 2. La bonne réponse est pourtant le petit hôpital. En effet, l’échantillon étant plus réduit, les variations sont automatiquement plus importantes. Il est capital de comprendre cette notion de taille d’échantillon (mais notre cerveau l’oublie souvent lorsqu’il s’agit de résoudre des problèmes comme celui-ci de manière spontanée). Un petit échantillon peut vous donner des idées de tests, mais n’en tirez pas de conclusions étant donnée qu’elles n’auront aucune valeur statistique. Vous connaissez maintenant les risques, plus l’échantillon est petit, moins il est fiable.

Chercher et interpréter la moindre information pour valider une idée préconçue

Il est également important de connaître le biais de confirmation qui se produit lorsque l’on se concentre sur une information en particulier simplement pour valider une idée préconçue. On peut y ajouter le biais de congruence. C’est le fait de ne tester ou de ne remettre en question que ce que VOUS pensez être le problème, sans même considérer d’alternative : en résulte un test subjectif. Par exemple, si vous pensez que la couleur rouge augmente les conversions, votre cerveau ne va se concentrer que sur les informations qui semblent confirmer cette idée. Quand vous pensez avoir raison et que les données semblent confirmer votre idée, demandez vous si cela prouve objectivement votre hypothèse ou s’il n’y a pas d’autres facteurs qui ont pu influencer cette hausse de conversion. Vous ne devez pas tester pour prouver que vous avez raison mais pour apprendre et remettre en question toutes les hypothèses.

Repérer des similitudes imaginaires dans vos données et penser que les évènements passés influencent les probabilités futures.

L’illusion des séries est le fait de percevoir des coïncidence dans des données tirées au hasard ou de penser que des évènements aléatoires suivent une logique particulière. Ce n’est pas parce que vous remarquez des similarités entre des évènements qu’ils sont forcémment liés. Par exemple, si vous obtenez 39 fois pile après 39 lancés, quelle est la probabilité que vous obteniez à nouveau un pile au 40e lancer ? 50 % puisqu’il s’agit simplement d’un nouveau lancer indépendant des autres et dont la probabilité est de 50% comme pour tous les autres lancer. C’est aussi ce que l’on appelle le sophisme du parieur. Il consiste à croire que si l’on a obtenu un résultat similaire plusieurs fois lors d’une expérience aléatoire, il se reproduira encore. Rangez votre intuition et méfiez-vous de votre cerveau qui est câblé pour essayer de trouver un lien entre toutes les informations qu’il traite. Ainsi, n’arrêtez pas un test parce « vous pensez » avoir remarqué une tendance car vous pourriez avoir sur-interpréter vos résultats.

Penser que ce qui se trouve devant vous vous suffit pour tirer des conclusions.

Prenons à nouveau un exemple : Une batte et une balle coûtent ensemble 1,10€. La batte coûte 1€ de plus que la balle. Combien coûte la balle ? La réponse n’est pas 0,10€. En effet, si la batte coûte 1€ de plus, alors la balle coûte 0,5 centimes et la batte 1,05 € (soit 1,05 + 0,5 = 1,10 €). Votre cerveau est fait pour tirer des conclusions avec les informations qu’il possède. Sauf que de temps en temps (voire plus) il va un peu trop vite en besogne. Ce n’est pas parce que vous semblez avoir toutes les pièces d’un puzzle sous les yeux que vous êtes près à les assembler pour le terminer.

Baser tout son raisonnement sur la première information reçue

Le biais d'ancrage est le fait que l’on accorde souvent plus d’importance à la première information qui nous est livrée. Voici l’exemple d’une étude menée par Fritz Strack et Thomas Mussweiler : On a demandé à deux groupes de personnes quel âge avait Gandhi lorsqu’il est mort.
  • On a demandé au premier groupe s’il était mort avant ou après avoir atteint l’âge de 9 ans.
  • On a demandé au second groupe s’il était mort avant ou après l’âge de 140 ans.
Les deux réponses étaient assez évidentes. Ce qui est intéressant en revanche sont les réponses données dans les deux groupes lorsqu’on leur a demandé de donner une estimation de l’âge qu’avait Gandhi lorsqu’il est mort. Dans le premier groupe, la moyenne était de 50 ans. Dans le second, elle était de 67. Pourquoi une telle différence ? Parce qu’ils étaient influencés par la première question qui leur a respectivement été posée. Notre cerveau est « fait » pour chercher des liens entre les informations à sa disposition (devant vos yeux), et en tirer des conclusions. Nous n’avons pas non plus le réflexe de prendre du recul et de considérer la situation de son entièreté. Faites très attentions aux résultats que donnent vos tests. Quand ils confirment ce que vous pensiez, ne passez pas à la suite. Arrêtez-vous, prenez du recul et vérifiez votre test—ou que vous n’êtes pas juste en train de confirmer vos opinions par un test biaisé. Faites un second test si besoin.

Laisser tomber toute logique dès que votre ego ou vos émotions entrent en jeu

C’est probablement le plus difficile. Vous vous donnez à fond pour travailler sur un design, y passez des heures et êtes même extra fier(e) de votre travail. Vous lancez un A/B test pour comparer les performances par rapport à l’ancien design… Et c’est un échec cuisant… C’est douloureux, mais si vous faites des tests A/B, c’est pour ne pas perdre d’argent sur des décisions basées sur l’émotion ou l’intuition. Il faut aller dans le sens de ce que veulent vos visiteurs. Oubliez votre orgueil, repartez de l’hypothèse qui vous a mené à ce nouveau design et essayez de comprendre ce qui n’a pas fonctionné à l’aide des données obtenues.

Ne pas se remettre en question

La fixation fonctionnelle correspond au fait d’être coincé dans un raisonnement linéaire. Quand vous voyez un fer à repasser, vous l’associez automatiquement aux vêtements (pensée linéaire). Vous ne vous voyez pas l’utiliser comme un grille pain. C’est ce qu’on appelle la pensée latérale (out of the box). Vous pouvez vous soumettre à l’expérience et demander « pourquoi » à répétition dès que quelque chose vous semble évident ou surprenant. Vous finirez par remonter jusqu’à la source en validant (ou invalidant) votre hypothèse. D’autres idées pour déclencher votre pensée latérale : - Un problème ? Essayez de résoudre son opposé. - Pensez à la solution la plus bête et évidente - Découpez votre problème en une série de problèmes plus petits et précis - Ne soyez pas satisfait avec une seule solution. - Changez votre perspective : comment aborderiez-vous ce problème si vous étiez un ingénieur, un scientifique, voire un(e) parfait(e) débutant(e) ?

Surestimer l’unanimité de votre opinion

« Personne n’aime les pop-ups ». VOUS les détestez peut-être. Elles viennent généralement perturber le client, mais permettent également d’accroître les conversions lorsqu’elles sont bien utilisées (c’est à dire que ce n’est pas la première chose que vous allez voir en arrivant sur un site). C’est le biais de l’effet du faux consensus : il peut arriver que l’on croie fermement en quelque chose et penser que tout le monde partage notre opinion, à tort. Quand vous pensez que quelque chose performe aussi bien qu’il est possible, ou que ça ne peut pas marcher parce que « tout le monde » le déteste, arrêtez-vous tout de suite. Et remettez-vous en question. Testez les éléments qui auront le plus d’impact, mais testez aussi ce qui semble déjà bien fonctionner. Il y a toujours un moyen de faire mieux.

Pour résumer

Pour réaliser un A/B test concluant, il est indispensable de se concentrer sur les chiffres et d'analyser les résultats de manière objective. Comme vous avez pu le voir, il peut être difficile d'être objectif dans toutes les situations alors n'hésitez pas à tester et re-tester !
Vous avez manqué les 4 autres articles déjà parus sur les erreurs à éviter en matière d’A/B testing ? - 7 erreurs d’A/B Testing (et comment les éviter) - Quand arrêter un test A/B ? - 7 facteurs qui affectent tous les tests A/B - Interprétez-vous les résultats correctement ?
avatar_jb.jpeg
Jean-Baptiste Alarcon
Jean-Baptiste is Growth Marketer at Kameleoon. Aside from reading a lot and drinking coffee like his life depends on it, he leads Kameleoon's growth on English markets.