Qu'est-ce que l'A/B testing

Tout ce que vous avez besoin de savoir sur l'A/B testing se trouve ici.

Sections

Introduction
A/B Testing : l’arme secrète des meilleurs marketers
Qu’est-ce que l’A/B testing ?
Quels sont les bénéfices de l’A/B testing ?
Comment marche l’A/B testing ?
La discipline de l’optimisation de la conversion est indispensable à l’A/B testing
Comment faire de l’A/B testing : méthodologie et process
Quoi tester ? Des idées d’A/B tests à la pelle
A/B testing : Bonnes (et mauvaises) pratiques
Des livres pour aller plus loin
A/B Testing reporting & résultats
Comprendre les statistiques pour l’A/B testing
A/B testing : compétences clés & gouvernance
Outils complémentaires pour maximiser les chances de succès de vos A/B tests
Quels blogs sur l’A/B testing devriez-vous lire ?
Les experts de l’A/B testing à suivre
Vous souhaitez passer par une agence pour faire de l’A/B testing ?

Introduction

Le temps où l’on dépensait son budget marketing à tout va est révolu. Aujourd’hui, les équipes marketing sont en mesure de prendre des décisions informées, et adoptent une approche scientifique pour optimiser l’expérience de leurs visiteurs. Elles basent leurs décisions sur de la donnée fiable et pas sur une intuition subjective, notamment grâce à l’A/B testing.

Il est temps d’adopter une culture de l’expérimentation et de tester concrètement toutes vos idées !

En basant votre stratégie sur de la donnée, vous serez non seulement plus agile mais saurez également ce qui marche, et ce qui ne marche pas. Vous investirez votre temps et argent dans ce que vos visiteurs veulent vraiment et prendrez ainsi de meilleures décisions pour votre business.

A/B Testing : l’arme secrète des meilleurs marketers

75 % des sites ayant un trafic supérieur à 1 million de visiteurs font de l’A/B testing. PPeut-être devriez-vous, vous aussi, faire disparaitre l'incertitude lors de vos décisions marketing.

Il est cependant vrai que l’A/B testing nécessite la mise en place d’un process strict et une période d’apprentissage. Vous devrez identifier les zones d’optimisation de votre site, prioriser votre roadmap, et comprendre un minimum les statistiques pour ne pas commettre d’erreur.

Mais n’ayez crainte, nous avons réuni toutes les ressources dont vous aurez besoin pour maitriser le sujet, avec les meilleurs contenus des plus grands experts de la discipline.

des sites à plus d'un million de visiteurs
font de l'A/B testing

Qu’est-ce que l’A/B testing ?

Définition : L’A/B testing est une expérience menée sur un site internet ou une application mobile (par exemple), qui permet de tester des hypothèses d'optimisations en les comparant avec une variante de référence. Il vous permet de voir ce qui fonctionne pour votre audience en vous basant sur l’analyse statistique des performances.

L’A/B testing peut également être appelé split testing, ou split URL testing. Dans un A/B test classique, les deux variations de vos pages sont sur la même URL. Dans le cas du split URL testing, la variante B est sur une URL distincte (vos visiteurs ne voient évidemment pas la différence).


Qu’est ce qu’un test multi-varié (MVT) ?

Dans certains cas, il est possible de tester plusieurs changements simultanément sur une page web : une bannière, un titre, une description ou encore une vidéo. Un test MVT vous permet de tester toutes ces optimisations en une seule fois.

Votre outil d’A/B testing générera autant de variantes qu’il y a de combinaisons pour déterminer laquelle a le plus grand impact sur vos taux de conversion.

Le problème d’un test MVT est qu’il nécessite d’avoir un volume énorme de trafic pour pouvoir tester toutes les variantes et obtenir la significativité statistique qui vous permettra de prendre des décisions informées. Si vous souhaitez en savoir plus sur les différences entre un test MVT et un test A/B/n, nous vous conseillons de lire cet article d’Hubspot.

Exemple avec une bannière et une image
(4 variantes, référence non représentée)


Test Bandit ou test à allocation dynamique de trafic (multi-armed bandit testing)

Dans un test bandit, un algorithme redirige graduellement et automatiquement une proportion croissante de votre trafic vers la variation gagnante..

Si vous souhaitez en savoir plus sur le multi-armed bandit testing, le meilleur article sur le sujet est de loin celui d’Alex Birkett pour le blog ConversionXL.


A/B/n testing

Un test A/B/n permet de tester n hypothèses d’optimisation de votre page. Vous pourriez par exemple tester 6 variantes de votre page en faisant un test A/B/C/D/E/F.

Quels sont les bénéfices de l’A/B testing ?

Pourquoi vous lancer dans l’A/B testing ? Ou une meilleure question serait : êtes-vous satisfait de la façon dont vous exploitez le trafic acquis à la sueur de votre front et de votre porte-monnaie ? Optimiser vos conversions est bien moins cher que d’acquérir du trafic, avec un ROI potentiel bien plus important. Et avec l’A/B testing les effets seront magnifiés. Mais l’A/B testing vous permet bien plus :

Apprendre en profondeur sur vos visiteurs à chaque test : l’impact des différents éléments de vos pages sur leurs comportements, besoins et habitudes

Supprimer le facteur risque et la subjectivité de vos prises de décisions en adoptant une culture du test et validant toutes vos hypothèses d’optimisation

Concentrer vos efforts (et votre argent) sur ce qui fonctionne le mieux pour l’ensemble de votre audience grâce à ce que vous aurez appris avec vos tests

Voici quelques exemples de questions auxquelles vous pourrez apporter des réponses fiables grâce à l’A/B testing :

Quels éléments de vos pages impactent vos ventes, conversions, ou le comportement de vos visiteurs ?

Quel est le nombre optimal de champs pour vos formulaires ?

Devriez-vous passer en production cette nouvelle fonctionnalité ?

Quel titre d’article génère le plus de partages ?

Quelle(s) partie(s) de votre tunnel de conversion sous-performe(nt) ?

Comment marche l’A/B testing ?

L’A/B testing vous permet de comparer la version existante de votre page à une (ou plusieurs) variante(s), faisant apparaitre l’optimisation que vous souhaitez tester (CTA, titre, élément...).

Votre audience est divisée en portions égales et exposée de manière aléatoire aux différentes variantes testées jusqu’à identifier la variante la plus performante pour les objectifs que vous vous êtes fixés (engagement, clic, mise au panier…), c’est-à-dire dont le taux de conversion est meilleur. Les performances sont ensuite analysées et comparées pour déterminer si oui ou non les changements que souhaitiez implémenter en valent la peine ou pas.

La discipline de l’optimisation de la conversion est indispensable à l’A/B testing

Qu’est-ce que l’optimisation des taux de conversion (ou CRO, acronyme en anglais de Conversion Rate Optimization) ?

Il s’agit de l’amélioration itérative et continue de votre site pour que plus de vos visiteurs complètent les actions que vous attendez d’eux.

Il peut s’agir d’un achat (ou “conversion”) ou encore de la collecte de coordonnées, faisant avancer vos visiteurs dans leur cycle de vie client.

Inconnu
Visiteur
Lead
Client
Ambassadeur
Attirer
Recruter
Convertir
Fidéliser

Avoir beaucoup de trafic est un atout indéniable, encore faut-il capitaliser dessus. C’est là que l’optimisation des taux de conversion prend tout son sens et sa valeur.

Comment faire de l’A/B testing : méthodologie et process

Comme toute expérimentation, l’A/B testing repose sur un process et une méthodologie rigoureux pour prioriser les idées et se concentrer sur les tests A/B les plus pertinents.

Chaque entreprise développe son propre process, mais il ressemble généralement à ceci :

1

Mesurez et analysez les performances de votre site pour identifier les zones d’optimisation et les opportunités de croissance.

2

Formulez une ou plusieurs hypothèse(s) d’optimisation (sujet très bien couvert par Craig Sullivan).

3

Priorisez vos idées de tests A/B : une des méthodes les plus utilisées est le PIE framework, créé par Widerfunnel.

Grâce à ce framework, vous pourrez classer vos idées de tests selon 3 critères notés de 1 à 10 pour déterminer par où commencer :

Potentiel ./10 : à combien évaluez-vous la marge d’amélioration sur cette (ces) page (s) ?

Impact (./10) : quelle est la valeur du trafic (volume, qualité) sur cette (ces) page(s) ?

Facilité de mise en place (./10) : quelle est la facilité de mise en place du test (10 = très facile, 1 = très difficile) ?

En faisant la moyenne des 3 notes, vous saurez par quels tests commencer. (Il existe bien sûr d’autres frameworks de priorisation, à vous de trouver celui que vous préférez)

4

A/B testez les hypothèses les plus prioritaires.

5

Analysez et apprenez des résultats de vos tests A/B

6

Communiquez vos résultats en interne. Comme l’a expliqué Thomas Sauzedde, directeur général du routard.com, c’est un des facteurs clé du succès de vos efforts d’optimisation ! Il faut encourager les échanges et discussions pour générer de nouvelles idées de tests, sans oublier de toujours inclure l’équipe IT dans la boucle.

7

Recommencez !

Quoi tester ? Des idées d’A/B tests à la pelle

Vous pouvez absolument tout A/B tester sur votre site :

Titres

Bannières

Call to actions

Images

Social proof

Liens

Textes

Badges

Témoignages

Panier...

Mais de temps en temps, il faut stimuler la créativité et trouver de nouvelles sources d’inspiration. Voici donc quelques idées de tests pour vous aider.

Petit avertissement: ce qui a marché pour d’autres ne marchera pas nécessairement pour vous ! N’appliquez pas tous les tests que vous lirez ici sans prendre le temps de bien en analyser la pertinence pour votre situation et le cas échéant la manière de les adapter à votre business.

A/B testing : Bonnes (et mauvaises) pratiques

L’A/B testing peut être compliqué et s'avérer contre-productif si mal utilisé.

Sécurisez votre succès en apprenant sur les meilleures pratiques et erreurs à ne pas commettre.

Des livres pour aller plus loin

A/B Testing reporting & résultats

L’A/B testing permet de prendre des décisions informées ET d’apprendre. Votre reporting et la bonne lecture de vos résultats sont absolument essentiels pour obtenir un véritable ROI.

Comprendre les statistiques pour l’A/B testing

L’A/B testing est basé sur des méthodes de calculs statistiques. Vous n’avez pas besoin d’être data scientist pour réussir, mais quelques notions de mathématiques vous y aideront surement.

En A/B testing, Il existe 2 méthodes de calculs statistiques, qui répondent à deux besoins et enjeux différents. Voici comment nous abordons le sujet avec le moteur statistique de Kameleoon.

La méthode fréquentiste

Elle permet une lecture simple de la fiabilité des résultats grâce à un indicateur du taux de confiance : un taux de confiance de 95 % ou plus indique que vous avez 95 % de chance d'obtenir le même résultat si vous reproduisez l'expérience dans les mêmes conditions. La méthode a cependant une contrainte : elle est « à horizon fixe », c’est-à-dire que ce taux n’a de valeur pour juger de la fiabilité de des résultats qu’à la fin du test.

La méthode bayésienne

Elle indique une probabilité de résultats dès le lancement du test. Plus besoin d’attendre la fin d’un test pour voir se dessiner une tendance et interpréter les données. La méthode a cependant elle aussi ses exigences : savoir bien lire l’intervalle de confiance donnée aux estimations en cours de test. La confiance dans la probabilité qu’une variante soit donnée gagnante augmente à chaque conversion supplémentaire.

A/B testing : compétences clés & gouvernance

Pour mettre toutes les chances de votre côté, vous aurez besoin de compétences précises, que ce soit pour vous ou votre équipe : Web analytics et UX en sont des exemples.

Outils complémentaires pour maximiser les chances de succès de vos A/B tests

Qu’il s’agisse d’un outil de gestion de projet, de calcul de taille d’échantillon ou de durée de test, de toolkits pour vous assister dans la mise en place de vos process, les choix sont nombreux pour vous mettre en position de succès.

Quels blogs sur l’A/B testing devriez-vous lire ?

En France, la référence sur le sujet est Conversion Matters. (Disclaimer, c’est notre blog ! Mais nous sommes très fiers d’avoir réuni la plus grande communauté de marketeurs sur le sujet de l’optimisation de l’expérience utilisateur.) Si vous aimez lire en anglais, vous trouverez ci-dessous une liste des meilleurs blogs sur l’A/B testing et l’optimisation de la conversion dont les contenus vous permettront d’apprendre, de trouver l’inspiration, et devenir un vrai pro de l’A/B testing.

Les experts de l’A/B testing à suivre

Le monde de l’optimisation de la conversion évolue très rapidement, et suivre les experts qui en définissent le futur peut vous être utile. Vous trouverez ci-dessous la liste complète des comptes twitter des experts qui nous inspirent le plus.

Liste Twitter :

https://twitter.com/kameleoonrocks/lists/cro-experts/members

Vous souhaitez passer par une agence pour faire de l’A/B testing ?

Si vous n’avez pas les ressources internes, passer par une agence est un bon moyen de déployer votre stratégie d’A/B testing. Nous ne travaillons qu’avec les meilleures, et vous pouvez faire confiance à la liste ci dessous.

Note: Les équipes Kameleoon peuvent également vous accompagner dans la mise en place et l’exécution de votre stratégie d’optimisation. Pour en savoir plus, cliquez ici

Prêt à créer des expériences sur mesure ?