Multivariate testing : gagnez du temps et affinez votre analyse
ACADEMY / Article du parcours de formation à l'A/B testing
1 Qu’est-ce qu’un multivariate test ?
Un A/B test est une expérience menée sur un site internet, qui permet de comparer une page appelée référence avec une autre page (appelée variante) sur laquelle on a réalisé une modification.
Un test multivarié, aussi appelé test MVT (pour « multivariate test »), est une forme de test A/B où chaque variante inclut plusieurs modifications à la fois.
Le principe est de tester en simultané toutes les combinaisons possibles de plusieurs éléments d’une même page, afin de déterminer quelle combinaison a le meilleur impact sur vos taux de conversion.
Un exemple simple : Vous souhaitez modifier à la fois la couleur du fond et la formulation du texte d’un CTA. Pour la couleur, vous souhaitez tester le jaune, le bleu et le rouge. Pour le texte, vous souhaitez tester 2 formulations « C’est parti » et « J’achète ».
Kameleoon génère 6 versions de votre page présentant les 6 combinaisons possibles :
Petit lexique du multivariate testing
- MVT : MVT est l’acronyme de Multivariate Test qui signifie test multivarié. Le test multivarié permet de tester la conversion d’une ou plusieurs combinaisons de différents éléments.
- Section : Une section regroupe plusieurs variantes d’un élément. Par exemple la section « couleur », ou la section « texte »
- Variante : la variante est une proposition de changement d’un élément. Elle varie par rapport à la version originale. Dans un test MVT, on peut créer plusieurs variantes que l’on regroupe par sections. Par exemple, les variantes de la section « couleur » seraient « bleu », « rouge » et « jaune ». Les variantes de la section texte seraient « J’achète » et « C’est parti ».
- Combinaison : La combinaison désigne plusieurs variantes de différentes sections que l’on combine et que l’on affiche en même temps aux visiteurs exposés. Une combinaison serait « J’achète » en bleu ou « C’est parti » en rouge.
2 Quel est l’intérêt du multivariate testing pour votre stratégie d’optimisation ?
Identifiez précisément les raisons qui influent sur votre conversion
Le premier avantage d’un multivariate test par rapport à un test A/B classique est qu’il permet de mieux comprendre les raisons qui expliquent les différences de performances entre différentes variantes.
En effet, en décomposant les modifications de manière systématique en combinaison, on peut isoler les éléments de la page testée et mesurer l’influence de chacun.
Le multivariate test permet de comprendre comment les éléments d’une page interagissent entre eux et lesquels sont déterminants dans l’amélioration de la performance.
Gagnez du temps
La réalisation automatique des combinaisons fait gagner un temps précieux. C’est d’autant plus vrai quand le nombre de facteurs différents est important.
Si l’on ajoute une modification de la forme du CTA (carré ou rectangulaire) à notre exemple précédemment utilisé (3 couleurs, 2 textes), on arrive à 2 x 2 x 3 = 12 variations différentes à tester pour identifier la variante qui convertit le mieux.
L’automatisation de la création des combinaisons devient un must.
3 Dans quelles situations faire du multivariate testing ?
Quand on n’a pas d’avis tranché sur les hypothèses à tester a priori
La première étape lorsque l’on pense son test A/B est d’imaginer quelles vont être les différentes modifications que l’on souhaite tester.
Dans certaines situations, il est difficile d’avoir un avis a priori sur l’élément qui fera la différence. Mon CTA n’a pas les performances attendues. S’agit-il d’un problème de wording, de couleur, de forme ? Il n’est pas évident d’avoir une hypothèse ferme dès le départ.
Dans ce cas, le multivariate test s’impose. Vous pouvez tester plusieurs éléments en même temps, et laisser Kameleoon vous générer toutes les combinaisons possibles. Vous n’écartez ainsi aucune possibilité dès le départ, et gagnez un temps considérable grâce à l’automatisation.
Quand on travaille dans une optique analytique
On l’a dit, le mutlivariate testing permet d’affiner l’analyse des résultats, en isolant les différentes composantes des modifications que l’on teste.
Si vous travaillez dans une optique analytique où l’interprétation et la compréhension de vos résultats de tests A/B est centrale, le multivariate testing sera un bon allié.
La question du trafic minimum
La question du trafic sur la page testée est une question importante, que vous devez vous poser avant de vous lancer dans le MVT.
En effet, plus le nombre de combinaisons est élevé, plus vous avez besoin d’un trafic important.
De manière générale, on considère qu’on obtiendra un taux de fiabilité acceptable dans un test A/B :
- À partir de 1000 visites/variantes si la page testée a un taux de conversion élevé (de type engagement sur une landing page ou taux de clic d’un bouton d’action) et où le gain potentiel attendu est élevé (par exemple +10 ou 20 %) ;
- À partir de 7 500 visites/variantes si le taux de conversion est faible, ce qu’on trouve dans les remplissages de formulaire par exemple ( généralement <5%). Imaginez donc, en bout de tunnel de conversion, où les taux de conversion sont généralement faibles et où le trafic est également faible.
- Atteindre les 7500 visites/variantes devient compliqué. Et plus on multiplie le nombre de variantes (ce qui va vite, avec le MVT), plus il faut que le trafic soit important pour atteindre le seuil critique du nombre de conversions par variante. Ces chiffres sont donnés à titre indicatif, la réalité du trafic minimum étant plus complexe (tout est détaillé dans l’article de notre CTO A/B testing : votre trafic est-il suffisant)
En résumé, la nature des multivariate tests étant combinatoire, il est fortement recommandé de sélectionner un nombre fini et relativement réduit de variables à modifier. Inutile de partir sur de multiples variantes si c’est pour lire des résultats qui ne veulent tout simplement rien dire parce qu’ils n’ont pu être validés par un échantillon suffisamment important de visiteurs.
4 Comment actionner un multivariate test sur la plateforme Kameleoon ?
Sur Kameleoon, vous y accédez depuis le back office ou depuis l’éditeur graphique.
Tous les utilisateurs ayant accès à la licence A/B testing ont automatiquement accès à l’outil de MVT et peuvent le lancer depuis l'éditeur graphique.
1. Créer vos variantes dans l’éditeur graphique
Comme pour un test A/B classique, la première étape est de créer les variantes que vous souhaitez tester dans l’éditeur graphique de Kameleoon. Reprenons notre exemple où vous souhaitez modifier à la fois la couleur et le texte d’un CTA. C’est très simple : Dans le menu vous créez les sections de votre test, ici “Couleur” et “Texte” Puis, pour chaque section, vous créez les variantes que vous souhaitez. Par exemple dans la section “Couleur”, une variante “jaune”, une variante “bleu” et une variante “rouge”. Dans la section “Texte” une variante “C’est parti” et une variante “J’achète”.
Kameleoon va alors générer automatiquement toutes les combinaisons possibles entre vos différentes variantes de section. Ici, on aura donc : « C’est parti » en bleu « C’est parti » en jaune « C’est parti » en rouge « J’achète » en bleu « J’achète » en jaune « J’achète » en rouge
2. Répartir le trafic
Vient alors le moment de décider comment vous souhaitez répartir le trafic de votre site sur vos différentes combinaisons pour la durée du test. L’une des forces de l’outil de multivariate testing Kameleoon est de proposer 2 approches pour répartir votre trafic : par sections ou par combinaisons.
Par sections
Dans notre exemple, on a les sections Couleur et Texte. Les variantes de Couleur sont « jaune », « bleu » et « rouge ». Les variantes de Texte sont « J’achète » et « C’est parti ». Par défaut, le trafic sera réparti de façon équilibrée sur toutes les variantes.
La répartition par section est la plus « simple », puisque vous avez moins de sections que de combinaisons.
Vous devrez ici répartir 100 % de votre trafic entre Jaune Bleu et Rouge et 100 % de votre trafic entre J’achète et C’est parti. Kameleoon générera alors automatiquement la répartition sur chacune des combinaisons.
Par combinaisons
Dans notre exemple on a 6 combinaisons possibles : « C’est parti » en bleu « C’est parti » en jaune « C’est parti »en rouge « J’achète » en bleu « J’achète » en jaune « J’achète » en rouge.
Vous pouvez donc décider manuellement la façon de répartir votre trafic sur chacune des combinaisons, ou, là encore, décider de répartir de façon équilibrée sur toutes les combinaisons.
Cette manière de répartir votre trafic peut devenir complexe à gérer si vous avez beaucoup de variantes différentes, puisque le nombre de combinaisons augmente exponentiellement.
Elle se révèle cependant utile dans certaines situations précises, notamment lorsque vous souhaitez exclure certaines combinaisons de votre test.
Un exemple : vous modifiez la couleur du fond et la couleur du texte dans un CTA. Vous ne souhaitez pas que vos visiteurs puissent voir la combinaison fond noir/texte noir (car ils ne verraient… rien).
La répartition du trafic par combinaison vous permet alors de régler manuellement le trafic à 0 sur la combinaison fond noir/texte noir.
3. Paramétrer les KPIs à suivre
Une fois que vous avez défini la répartition du trafic, vous pouvez définir les objectifs à mesurer lors de votre test. Là encore, l’approche est la même que pour un test classique. Vous paramétrez les KPIs à suivre.
Vous retrouverez toutes les informations sur le paramétrage de votre outil de reporting et de vos objectifs dans notre article consacré au sujet.
4. Simuler le test puis le lancer
Vous pouvez alors visualiser en mode de simulation, directement accessible à ce stade de votre projet, toutes les combinaisons que vous testez. Cela vous permet de recetter proprement avant de passer le test en ligne. Le mode de simulation, point différenciant de la plateforme Kameleoon, s’utilise de la même manière que pour un test A/B classique.
5. Suivre les résultats
Sur votre page de reporting, chaque combinaison est considérée comme une variante (au sens d’un test A/B classique). Vous pouvez donc finement analyser le niveau d’impact de chaque élément sur vos principaux KPIs, et vous assurer de prendre les décisions les mieux informées pour modifier votre page.5 Conclusion
En conclusion, la piste du multivariate testing est très intéressante si l’on dispose d’un niveau de trafic suffisant. Il faut être conscient que le temps requis reste relativement long pour obtenir des résultats fiables. L’utilisation de tests MVT ne doit donc pas être systématique, mais elle peut se révéler fort utile dans certaines situations.
Et lorsque ces situations se présentent, mieux vaut être doté d’une solution robuste, comme celle de Kameleoon !
ACADEMY / Poursuivez votre formation à l'A/B testing en cliquant ici.
