Quel est l’impact de l’IA sur l’analyse du comportement utilisateur ?

Expert en sciences comportementales, Florent Buisson est l’auteur de Behavioral Data Analysis with R and Python: Customer-Driven Data for Real Business Results. Après avoir créé et dirigé l’équipe de sciences comportementales chez Allstate Insurance, il a récemment supervisé l’expérimentation produit sur la marketplace en ligne Cars.com. 

Comment utiliser l’IA pour analyser le comportement des utilisateurs ? 

L’émergence et l’évolution des outils d’IA générative comme ChatGPT est fulgurante. Ces outils, déjà adoptés par les équipes UX, continuent de s'améliorer rapidement. 

Je privilégie Perplexity AI à Google Search, car ses réponses sont souvent plus précises et actualisées. Il y a peu, alors que je cherchais un outil de modélisation pour ma stratégie marketing, j’ai utilisé Perplexity AI pour évaluer “Robyn”. Ses réponses m’ont guidé dans mes recherches et m’ont permis de faire un choix éclairé. 

L’IA générative ouvre des perspectives inédites pour explorer et comprendre le comportement des utilisateurs. Elle permet de simuler les réactions d’une audience cible à une enquête ou une expérience grâce au “monitoring synthétique”. Cela vous offre une première piste pour évaluer les performances de votre site. 

Peut-on faire confiance à l’IA pour préparer l’analyse des données utilisateur ? 

On dit souvent que les Data Scientists consacrent 80 % de leur temps à nettoyer et préparer les données, et seulement 20 % à les analyser. Malheureusement, envoyer un fichier CSV à ChatGPT et lui demander de nettoyer les données pour vous ne vous dispensera pas d’une partie du travail de préparation. 

Le terme “nettoyage des données” est trompeur. Il ne s’agit pas de séparer les données "bonnes" des "mauvaises", mais de construire un modèle mental clair des données et de leur origine. Ce modèle guide ensuite leur transformation pour les rendre exploitables. 

Un humain reste essentiel pour affiner ce modèle. Par exemple, des données manquantes peuvent être dues à un bug ou au refus d’un utilisateur de partager des informations. Dans ce cas, supprimer ces lignes pourrait fausser l’analyse en excluant les utilisateurs soucieux de leur vie privée. 

Autre exemple : alors que je travaillais sur une variable de prix, j’ai repéré deux pics à 1 000 $ et 100 000 $, hors de la distribution normale autour de 10 000 $. Ces anomalies, probablement dues à des erreurs, nécessitent un jugement humain pour être corrigées. 

Repassez systématiquement après l’IA. Elle n’est pas encore assez fiable pour être utilisée sans supervision. 

L’IA permet-elle de réduire les biais lors de l’analyse comportementale ? 

Contrairement aux l’idées reçues, l’IA n’est pas neutre. Elle peut reproduire les biais contenus dans ses données d’entraînement. 

Travaillant avec une équipe RH sur un algorithme de recrutement, nous avons constaté que certains préjugés présents dans les décisions passées influençaient le modèle. Nous avons donc vérifié les variables pour éviter toute discrimination basée sur l’origine ou le genre. Croire en l’impartialité d’un algorithme sans vérification relève d’un techno-utopisme. Toutefois, l’IA est moins biaisée lorsqu’on omet volontairement certaines données sensibles (nom, genre, ethnie). 

Analysez les biais potentiels dans vos données d’entraînement et ne vous reposez pas uniquement sur l’IA générative. 

Comment éviter des mauvaises réponses de l’IA ? 

Les outils d’IA générative peuvent produire des réponses inexactes ou même inventées, connues sous le nom d’“hallucinations”. Ces erreurs, souvent convaincantes, peuvent induire en erreur, même des utilisateurs avertis. 

Un jour, ChatGPT m’a fourni une réponse détaillée sur un article scientifique fictif. Bien que vigilant, je n’ai rien remarqué à ce moment-là. Ce n’est qu’après avoir perdu du temps sur cette piste que j’ai compris l’erreur.

J’aime comparer les débuts de l’IA avec ceux du GPS. Les instructions données peuvent comporter des erreurs, on a donc pris l’habitude de vérifier rapidement le trajet pour éviter de passer par un itinéraire peu pratique ou se retrouver bloqué par des travaux. L’IA, comme un GPS, doit être utilisée avec précaution. Apprenez à anticiper ses erreurs tout en tirant profit de ses avantages. 

Utilisez l’IA pour formuler des hypothèses ou générer du code, mais validez systématiquement les résultats. La vraie question est : « Mon système humain-machine est-il précis ? » 

Peut-on utiliser l’IA pour une “analyse de sentiment” à partir de données utilisateurs qualitatives ? 

Rappelez-vous : l’IA générative produit des réponses à partir de sa base de données et vos instructions. Elle ne fonctionne pas comme un véritable algorithme NLP. 

Pour identifier des émotions dominantes dans des avis clients, vous pouvez demander à l’IA de détecter les sentiments prédominants dans le texte. Cependant, ses limites face aux subtilités humaines peuvent compromettre la précision. 

Une autre possibilité est de lui demander quels types de mots reviennent le plus souvent pour en déduire vous-même les sentiments prédominants. Amazon, par exemple, affiche un résumé des avis d’utilisateurs sur ses pages Produit sous forme de mots clés. L’IA propose une vue d’ensemble sous forme d’un nuage de mots amélioré basé sur la fréquence des mots ou synonymes utilisés dans les avis. 

Les dernières versions de ChatGPT adoptent une approche en plusieurs étapes : elles traduisent votre demande en code, exécutent ce code sur les données que vous lui fournissez, puis traduisent les résultats en langage compréhensible et en graphiques. Cela peut vous faire gagner du temps, mais la qualité des résultats dépend du modèle d’apprentissage. Vous devez vous assurer de la précision du modèle et savoir distinguer les vrais et les faux positifs. 

Je suis convaincu que l’IA générative, comme les générations précédentes de logiciels et d’outils, est une véritable avancée : aucun comptable ne pourrait aujourd’hui se passer d’Excel ! Cependant, il faut faire preuve de prudence, n’oubliez pas votre jugement critique et affinez votre “data sense”, votre compréhension des données pures. Demandez-vous toujours ce qu’elles signifient (ou pas) et n’oubliez pas que les données doivent toujours être interprétées dans leur contexte pour mieux comprendre les comportements utilisateurs.