Pourquoi l’expérimentation ne se limite plus à l’AB testing
Il y a quelques semaines, Spotify a révélé que 75 % des actions menées dans le cadre de son programme d’expérimentation ne sont pas des A/B tests. Alors qu’on considère généralement que l’AB testing et l’expérimentation sont la même chose, cette information nous questionne sur la nature de ces expériences alternatives et sur leur importance pour les équipes Produit.
Force est de constater que l’expérimentation ne se limite plus à l’AB testing, surtout dans le cadre de l’expérimentation Mobile. Elle comprend désormais l’ensemble des pratiques qui contribuent au succès du lancement d’une nouvelle fonctionnalité et à l’optimisation de l’expérience utilisateurs.
Feature Flags : dérisquez vos pratiques
En tant que Product Manager, investir dans les feature flags n'est plus un luxe mais une nécessité si vous souhaitez comprendre l'impact de vos fonctionnalités sur vos métriques d'adoption et de rétention.
Lancer une nouvelle fonctionnalité sans feature flags revient à conduire une voiture sans ceinture de sécurité. C'est un comportement risqué et potentiellement désastreux. Avec un feature flag, vous placez un garde-fou devant chaque nouvelle fonctionnalité. Par l’ajout de cette simple ligne de code, vous pouvez activer ou désactiver instantanément la fonctionnalité si elle n’est pas suffisamment performante.
Sur application mobile, la correction d’une fonctionnalité buguée peut-être encore plus difficile que sur un format web. Il faut corriger la fonctionnalité, soumettre une mise à jour à l’app store, attendre l'approbation et compter sur les utilisateurs pour télécharger la nouvelle version, un processus qui peut prendre plusieurs jours et ralentir le cycle d’itération. Les feature flags vous permettent de réagir immédiatement et d’éviter ainsi de proposer une expérience utilisateur altérée jusqu’à la nouvelle version de l’application.
,
La bonne nouvelle, c'est que les coûts de développement supplémentaires sont quasiment nuls. En règle générale, implémenter des feature flags nécessite seulement l'ajout d'un simple segment de code IF/ELSE.
Frédéric de Todaro
CPO
,
Déploiement progressif et ciblé : gagnez en précision
Le déploiement progressif et/ou ciblé sont des pratiques indissociables de l'expérimentation. Il n'est pas surprenant qu'elles représentent une grande part des expériences menées par Spotify. Ces méthodes permettent aux Product Managers de déployer progressivement une fonctionnalité auprès d'un sous-ensemble d'utilisateurs précis. Grâce à ce processus, vous pouvez mesurer soigneusement l'impact de la fonctionnalité sur vos KPI, tout en recueillant des informations précieuses qui guideront vos itérations et votre stratégie d'expérimentation future.
Cette approche stratégique permet, non seulement de minimiser les risques, mais aussi de maximiser le potentiel de réussite en garantissant que les fonctionnalités sont testées et optimisées de manière approfondie avant d'atteindre un public plus large.
,
Ces pratiques peuvent aussi être utilisées pour démontrer la valeur de vos expériences à vos responsables. Vous pourrez ainsi mettre en place en toute confiance vos premiers tests A/B, armé des données obtenues grâce à ces premiers déploiements.
Frédéric de Todaro
CPO
,
A/B Testing : testez uniquement le nécessaire
,
Jim Barksdale, ancien CEO de Netscape, a un jour dit : “Si on a des données, regardons ces données. Si on n’a que des opinions, suivons la mienne.” Moi, je dirais plutôt : “Si on a déjà des données pertinentes, inutile de lancer un test. Si on n’a que des opinions, place à l’expérimentation.
Frédéric de Todaro
CPO
,
Chaque idée ne mérite pas d’être testée. Testez seulement lorsque vous doutez du succès d'une fonctionnalité ou qu'elle s'aligne sur des objectifs stratégiques. N’A/B testez pas chaque modification de votre produit, comme si vous n’aviez aucune connaissance de votre utilisateur final. Lorsque vous avez déjà des données, préférez des tests qualitatifs comme les tests utilisateurs et les entretiens individuels qui vous permettent d’obtenir des informations plus nuancées sur le comportement et les préférences de vos utilisateurs.
L’A/B testing est l’un des outils de l’expérimentation mais il est essentiel que vous équilibriez les méthodes quantitatives et qualitatives pour valider efficacement vos hypothèses. Il vous faudra parfois privilégier la rapidité plutôt que l'exhaustivité. En vous concentrant sur la réalisation de tests A/B significatifs, vous pourrez optimiser l’utilisation de votre temps et de vos ressources pour faciliter l’amélioration et la croissance de votre produit.
En 2024, l’expérimentation est essentielle au développement d’une application mobile. Elle est garante d’une innovation positive et de la satisfaction des utilisateurs. En adoptant une approche globale de l'expérimentation et en exploitant pleinement le potentiel des feature flags, de la Progressive delivery et de l’A/B testing, vous pourrez libérer tout le potentiel de votre Produit.
Cet article est la traduction d’un article écrit en anglais par notre CPO, Frédéric de Todaro, publié sur Substack, “Maximizing Mobile App Experimentation: Moving Beyond A/B Testing”.
Pour aller plus loin sur le Mobile App Testing et l’expérimentation mobile, lisez notre article sur le sujet avec Booking.com, suivez-nous sur LinkedIn ou demandez-nous une démo.
