La bonne offre au bon moment avec l’IA : l’approche d’Orange

Le groupe Orange France est le leader français des télécoms. Il rassemble les marques Orange (23 millions de visiteurs uniques) et Sosh (23 millions de visiteurs uniques). La grande majorité du trafic sur ces sites est issue du mobile avec une part de 53% des visiteurs pour Orange et 68% pour Sosh.

La pratique de l’expérimentation est montée en puissance depuis 2017 avec la mise en place d’un centre d’expertise CRO dédié à l’accompagnement des équipes et à la diffusion de la culture de l’expérimentation.

Des outils de pointe pour une amélioration continue chez Orange France

La cellule CRO Orange France accompagne les équipes Produit dans une vraie démarche d’amélioration continue. La cellule s’est entourée d’une stack technique de pointe. Deux plateformes sont essentielles dans leur pratique quotidienne :

• Kameleoon : pour mener toutes les expérimentations et personnalisations de la marque, y compris sur les pages SPA.
• Contentsquare : pour détecter des problématiques ou creuser l’analyse des résultats d’un test.

D’autres outils sont aussi utilisés pour soutenir leurs efforts comme GA4 pour la collecte de données ou Get Feedback, récemment remplacé par Qualtrics, pour rassembler des insights clients.

Comment Orange itère ses A/B tests avec l’intégration Kameleoon x Contentsquare‍

Orange privilégie une approche méthodique en analysant systématiquement les résultats de ses tests. Cette rigueur leur permet d’optimiser et d’itérer efficacement.

‍Par exemple, après avoir comparé deux formulations pour une offre réservée aux clients dans leur espace personnel, les équipes ont approfondi leur analyse avec Contentsquare. Résultat : 1 visiteur sur 5 ne remarque pas l’offre. Pour y remédier, un nouveau test est lancé afin d’évaluer l’impact d’un repositionnement plus haut sur la page. L’objectif ? Vérifier que la visibilité accrue de l’offre n’altère pas les interactions avec les autres liens présents. On veut s’assurer qu’aucun des KPI n’est dégradé. L’utilisation conjointe de Contentsquare et Kameleoon permet aux équipes d’Orange d’accélérer le passage de l’insight à l’action. Cette réactivité est essentielle pour optimiser les conversions

Orange personnalise l’expérience de ses visiteurs en temps réel grâce à l’IA

Orange nourrit l’algorithme IA de Kameleoon avec la data comportementale de ses visiteurs

Orange propose une remise de 10 €/mois sur son offre “Série Spéciale Livebox Fibre”, mais souhaite la réserver aux visiteurs indécis. Cette approche permet de préserver l’expérience des visiteurs non intéressés tout en évitant d’accorder une réduction à ceux déjà convaincus, protégeant ainsi sa marge.

Pour cela, les algorithmes de Kameleoon analysent le comportement des visiteurs sur le site d’Orange pendant quelques semaines. Une fois entraînés, ils sont capables d’identifier trois types d’audiences et d’estimer avec précision leur probabilité de conversion en temps réel.

‍Valider la pertinence du ciblage prédictif

Une fois le calibrage terminé, Orange vérifie l’efficacité d’une personnalisation basée sur l’IA en procédant à un split test comparant trois variations :

• Variation originale : Aucun code promo n’est affiché (version de contrôle).
• Variation 1 : Un code promo est proposé par défaut à tous les visiteurs.
• Variation 2 : Un code promo est affiché uniquement pour les visiteurs identifiés en temps réel comme indécis par l’IA.

Ce test permet d’évaluer la pertinence et l’impact de la personnalisation IA sur les conversions.

‍Orange préserve ses marges en réservant son code promo aux visiteurs hésitants

Sans l’IA, 68 % des achats incluent l’utilisation d’un code promo, contre seulement 25 % avec l’IA. Ce taux d’utilisation plus faible permet de mieux préserver la marge, car les visiteurs les plus motivés paient le prix plein.

À la fin du test, les résultats montrent que l’IA améliore la pertinence de la distribution des codes promos, entraînant une augmentation du taux de conversion avec l’IA de 11,6% par rapport à la variation originale (pas de code promo) et 7,6% par rapport à la variation 1 (code promo proposé par défaut).

Les prochains défis de l’expérimentation chez Orange

Cette première expérience de personnalisation basée sur l’IA marque le début d’une stratégie plus large visant à offrir des parcours sur mesure à chaque utilisateur Orange. La marque prévoit notamment d’aller plus loin en intégrant des modules de recommandation produit.

Forte de plus de 5 ans d’expertise, la cellule CRO d’Orange a atteint un niveau de maturité qui lui permet désormais de relever des défis plus ambitieux. Prochaine étape : déployer de nouvelles campagnes d’expérimentation sur les applications Orange et MySosh.

Orange France is the leading telecom provider in France, bringing together the Orange brand (23 million unique visitors) and Sosh (23 million unique visitors). The majority of traffic on these sites comes from mobile users, accounting for 53% of visitors for Orange and 68% for Sosh.

Since 2017, their experimentation has gained momentum with the launch of a dedicated CRO expertise center, supporting teams and promoting a culture of experimentation.

Cutting-edge tools for continuous improvement at Orange France

• Kameleoon — To conduct all experiments and personalization initiatives, including on SPA pages.
• Contentsquare — To detect issues and analyze test results in depth.

Additional tools like GA4 (for data collection) and Qualtrics (formerly Get Feedback, for gathering customer insights) also enhance their efforts.

How Orange iterates A/B tests 
with Kameleoon x Contentsquare‍

‍Orange follows a methodical approach, systematically analyzing test results to optimize and iterate efficiently.

‍For example, after testing two different phrasings for an exclusive customer offer in their personal space, the team used Contentsquare to dig deeper. The result? 1 in 5 visitors didn’t even notice the offer.

To address this, a new test was launched to assess the impact of placing the offer higher on the page. The objective? Ensure that greater visibility doesn’t negatively impact interactions with other links.

By combining Contentsquare and Kameleoon, Orange accelerates the process from insight to action, a crucial factor in optimizing conversions.

Orange personalizes the visitor experience in real time with AI

Feeding Kameleoon’s AI with behavioral data

‍Orange offers a €10/month discount on its "Livebox Fibre" plan but wants to reserve it only for hesitant visitors. This approach preserves the experience for uninterested visitors, and avoids giving discounts to already-convinced buyers, protecting profit margins.

To achieve this, Kameleoon’s AI analyzes visitor behavior on the Orange site over several weeks. Once trained, the algorithm can identify three audience types, and predict conversion probability in real time.

‍Validating the accuracy of predictive targeting

‍Once the model was calibrated, Orange tested the effectiveness of AI-driven personalization through a split test with three variations:

• ‍Original version – No promo code displayed (control group).
• ‍Variation 1 – A promo code is shown to all visitors by default.
• ‍Variation 2 – A promo code is displayed only to visitors identified in real time as hesitant by AI.

‍This test aimed to measure the impact and relevance of AI-based personalization on conversions.

‍AI helps Orange protect its margins by targeting only hesitant visitors

‍Without AI, 68% of purchases included a promo code. With AI, only 25% of purchases used a promo code. By reducing unnecessary discounting, Orange preserved its margins, ensuring that only truly hesitant buyers received the incentive.

At the end of the test, the results showed a +11.6% increase in conversion rate vs. original (no promo code) and a +7.6% increase in conversion rate vs. Variation 1 (promo offered to everyone).

The future of experimentation at Orange

‍This first AI-driven personalization experience marks the beginning of a broader strategy to offer tailor-made experiences to each Orange user. The company now plans to go further by integrating product recommendation modules.

With 5+ years of CRO expertise, the Orange CRO team has reached a level of maturity that allows it to tackle even bigger challenges. Next step? Expanding AI experimentation to the Orange and MySosh apps.

Orange France is the leading telecom provider in France, bringing together the Orange brand (23 million unique visitors) and Sosh (23 million unique visitors). The majority of traffic on these sites comes from mobile users, accounting for 53% of visitors for Orange and 68% for Sosh.

Since 2017, their experimentation has gained momentum with the launch of a dedicated CRO expertise center, supporting teams and promoting a culture of experimentation.

Cutting-edge tools for continuous improvement at Orange France

• Kameleoon — To conduct all experiments and personalization initiatives, including on SPA pages.
• Contentsquare — To detect issues and analyze test results in depth.

Additional tools like GA4 (for data collection) and Qualtrics (formerly Get Feedback, for gathering customer insights) also enhance their efforts.

How Orange iterates A/B tests 
with Kameleoon x Contentsquare‍

‍Orange follows a methodical approach, systematically analyzing test results to optimize and iterate efficiently.

‍For example, after testing two different phrasings for an exclusive customer offer in their personal space, the team used Contentsquare to dig deeper. The result? 1 in 5 visitors didn’t even notice the offer.

To address this, a new test was launched to assess the impact of placing the offer higher on the page. The objective? Ensure that greater visibility doesn’t negatively impact interactions with other links.

By combining Contentsquare and Kameleoon, Orange accelerates the process from insight to action, a crucial factor in optimizing conversions.

Orange personalizes the visitor experience in real time with AI

Feeding Kameleoon’s AI with behavioral data

‍Orange offers a €10/month discount on its "Livebox Fibre" plan but wants to reserve it only for hesitant visitors. This approach preserves the experience for uninterested visitors, and avoids giving discounts to already-convinced buyers, protecting profit margins.

To achieve this, Kameleoon’s AI analyzes visitor behavior on the Orange site over several weeks. Once trained, the algorithm can identify three audience types, and predict conversion probability in real time.

‍Validating the accuracy of predictive targeting

‍Once the model was calibrated, Orange tested the effectiveness of AI-driven personalization through a split test with three variations:

• ‍Original version – No promo code displayed (control group).
• ‍Variation 1 – A promo code is shown to all visitors by default.
• ‍Variation 2 – A promo code is displayed only to visitors identified in real time as hesitant by AI.

‍This test aimed to measure the impact and relevance of AI-based personalization on conversions.

‍AI helps Orange protect its margins by targeting only hesitant visitors

‍Without AI, 68% of purchases included a promo code. With AI, only 25% of purchases used a promo code. By reducing unnecessary discounting, Orange preserved its margins, ensuring that only truly hesitant buyers received the incentive.

At the end of the test, the results showed a +11.6% increase in conversion rate vs. original (no promo code) and a +7.6% increase in conversion rate vs. Variation 1 (promo offered to everyone).

The future of experimentation at Orange

‍This first AI-driven personalization experience marks the beginning of a broader strategy to offer tailor-made experiences to each Orange user. The company now plans to go further by integrating product recommendation modules.

With 5+ years of CRO expertise, the Orange CRO team has reached a level of maturity that allows it to tackle even bigger challenges. Next step? Expanding AI experimentation to the Orange and MySosh apps.