Vérifiez la visibilité de votre entreprise dans l’IA
Gratuit, sans carte bancaire.
Principaux résultats de l’étude Semly
La visibilité d’une marque dans l’IA doit être étudiée en fonction des besoins de la personne qui pose la question et du déroulement de son dialogue avec le modèle. L’apparition d’une marque dans une réponse générale ne prouve pas encore que le système la recommande à une personne à laquelle son offre convient. Dans la méthode Semly, Leon joue le rôle d’un utilisateur défini par un persona et construit le contexte dans la conversation avant de poser la question d’achat cible.
Chez Semly, nous développons cette approche avec l’agent IA Leon. Pendant six mois, nous avons mené des recherches et des expériences sur les requêtes adressées à ChatGPT et Gemini. Le jeu de données fourni pour ce rapport couvre 1,2 million de requêtes, 24 enregistrements agrégés et 12 paires de comparaison. L’analyse comprend six cohortes et deux approches de préparation des contenus : sans persona et avec persona.
Le délai moyen pour atteindre le même objectif de visibilité était de 100 jours sans persona et de 70 jours avec persona. Cela représente une réduction de 30%, soit 30 jours en moyenne. La pertinence des contenus est passée de 61,5% à 77,5% - une hausse de 16 points de pourcentage. L’écart évolue dans le même sens dans les deux systèmes.
Ces résultats soutiennent l’usage de personas pour planifier les contenus et analyser la visibilité. Ils permettent un brief plus précis : à qui s’adresse le contenu, quels critères de choix doit-il expliquer et à quelles objections doit-il répondre ? La répétabilité des réponses et l’effet sur la conversion nécessitent des indicateurs distincts ; ce jeu de données ne permet pas de chiffrer ces effets.
| Information | Valeur | Base |
|---|---|---|
| Périmètre | Six mois, ChatGPT et Gemini | Description de l’étude Semly |
| Requêtes du jeu de données | 1 200 000 | Somme des compteurs au début et à la fin de la mesure |
| Structure comparative | 24 enregistrements, 12 paires | 6 cohortes × 2 systèmes × 2 approches |
| Délai moyen jusqu’à l’objectif | 100 contre 70 jours | Réduction de 30% |
| Pertinence des contenus | 61,5% contre 77,5% | Écart de 16 points de pourcentage ; 1200 évaluations par approche |
| Répétabilité et conversion | Aucun indicateur chiffré dans les données | Domaines d’évaluation distincts |
Pourquoi la question seule ne décrit pas les besoins du client
La question « Où acheter des chaussures de course confortables ? » ne précise ni le terrain, ni l’expérience, ni le budget, ni l’usage prévu. La recommandation peut donc concerner une large catégorie de produits, alors que la marque doit savoir si elle touche un coureur de loisir en forêt, un débutant sur route ou un participant à des compétitions.
L’information « Je cours surtout pour le plaisir sur des sentiers forestiers et cherche des chaussures pour de courtes séances » précise la situation. Dans l’approche Semly, Leon peut introduire ce contexte en début de conversation, puis poser la question cible après avoir interprété la réponse. Le besoin d’achat principal reste le même, mais les conditions de mesure incluent le persona, l’intention et les messages précédents. Cela compte pour interpréter une hausse ou une baisse de visibilité.
Le persona définit le rôle et le scénario de l’utilisateur que Leon emploie dans son dialogue avec le modèle. L’agent y construit son propre contexte, rapprochant l’étude de l’usage humain d’un chat. Il ne reconstitue pas l’historique d’un utilisateur réel particulier. Il convient de partir des besoins et contraintes liés au produit. L’âge, le genre ou d’autres caractéristiques démographiques doivent être justifiés par le scénario étudié.
Les recommandations officielles d’OpenAI et de Google indiquent qu’un contexte pertinent aide à définir la tâche et ses contraintes [1][2]. Cela constitue une base pour concevoir les requêtes.
Comment l’agent IA Leon relie la connaissance de la marque au contexte de l’utilisateur
Leon crée des personas à partir de sa connaissance de la marque, de ses produits, services et contenus existants. Il joue ensuite, dans l’étude, le rôle d’un utilisateur correspondant au profil choisi. Il entame une conversation, se présente au modèle et interprète sa réponse. Il identifie ainsi le moment où il peut poser le prompt cible avec contexte et intention. Le résultat répond à une question pratique : l’IA prend-elle en compte la marque dans la conversation d’un utilisateur dont les besoins correspondent à l’offre ?
Ce rôle relie la veille à la planification des contenus. Les réponses permettent de repérer les critères de choix, objections et informations que le modèle utilise pour justifier ses recommandations. Si le site de la marque manque d’informations pour un scénario, l’analyse peut conduire à un brief destiné à compléter les contenus.
Leon mène la conversation dans le rôle de l’utilisateur
L’étude conduite par Leon suit le déroulement d’une conversation. L’agent se présente d’abord au modèle dans le rôle de l’utilisateur étudié, conformément au persona choisi. Il introduit ainsi sa situation et ses besoins. Après réception de la réponse, il la lit et l’interprète au regard de l’objectif de la conversation.
L’interprétation de la réponse fait partie du fonctionnement de l’agent. Leon évalue s’il peut passer à la question cible. Le moment dépend du déroulement du dialogue et de la réponse reçue. Le prompt cible contient le contexte et l’intention de l’utilisateur et intervient alors que le modèle dispose déjà d’informations antérieures sur lui.
Cette manière d’interroger le modèle se rapproche de l’utilisation humaine d’un chat. Une personne expose sa situation, lit la réponse et formule la question suivante en conséquence. Leon assume ce rôle dans l’étude, ce qui permet d’analyser la recommandation de marque au sein d’une conversation qui se développe.
L’intention décrit la décision que l’utilisateur souhaite prendre. Dans l’exemple de course, le contexte peut être une pratique de loisir sur des sentiers forestiers et l’intention, choisir puis acheter des chaussures adaptées. Leon demande une recommandation après avoir interprété la réponse précédente et déterminé qu’il peut poser la question cible.
L’historique complet de la conversation devient pertinent pour interpréter le résultat. Une même question finale peut produire des réponses différentes si les messages précédents introduisent d’autres besoins. L’étude doit donc identifier le prompt cible et la conversation dans laquelle il a été posé.
La description du processus explique le rôle de Leon et le rapprochement avec un échange sur un chat. Les agrégats fournis n’isolent toutefois pas l’effet de la présentation, de l’interprétation de la réponse ou du choix du moment de la question. Nous n’attribuons séparément les résultats de 30% et de 16 points de pourcentage à aucune de ces étapes.
| Étape du dialogue | Action de Leon | Intérêt pour l’étude |
|---|---|---|
| Présentation | Adopte le rôle de l’utilisateur selon le persona et commence le dialogue | Introduit sa situation et ses besoins |
| Réponse du modèle | Reçoit et interprète la réponse | Tient compte du déroulement du dialogue |
| Décision sur la question suivante | Identifie quand poser le prompt cible | Adapte le moment à la réponse |
| Prompt avec intention | Pose la question cible avec contexte et intention dans cette conversation | Permet d’évaluer la recommandation dans le contexte de l’utilisateur |
Ce que signifie un délai réduit de 30%
Le jeu de données retient un niveau initial commun de visibilité de 20% et un objectif commun de 40%. La visibilité est le nombre de réponses recommandant la marque divisé par le nombre de requêtes. Cela représente une progression de 20 points de pourcentage. Les approches décrivent la préparation des contenus ; les résultats sont évalués avec le même objectif et le même panel de questions, selon les hypothèses du jeu de données.
Le délai moyen est de 100 jours sans persona et de 70 jours avec persona. La réduction se calcule ainsi : (100 - 70) / 100 × 100%, soit 30%. L’écart est de 30 jours. La formulation précise est « un délai réduit de 30% pour atteindre le même objectif ».
Pour une équipe qui développe la visibilité, cela peut signifier un cycle plus court entre l’identification des besoins et le résultat visé. L’interprétation opérationnelle compte : des contenus mieux ciblés peuvent réduire les révisions successives. Les données n’isolent cependant ni le temps de travail éditorial ni les causes individuelles de l’écart ; nous n’attribuons pas tout l’effet à la seule automatisation de Leon.
Les données fournissent le niveau initial, le niveau final et le délai jusqu’à l’objectif, sans série quotidienne de visibilité. Le graphique représente donc le temps pour atteindre un résultat commun. Nous n’en tirons pas une courbe qui laisserait penser que l’effet augmente uniformément.
Graphique 1. Délai moyen pour atteindre l’objectif commun de 40% de visibilité : 100 et 70 jours. Base : 12 paires comparatives dans les données Semly. Écart : 30 jours, soit une réduction de 30%.
Pertinence des contenus et précision des réponses : deux mesures distinctes
La pertinence désigne la part des contenus évalués considérés comme adaptés aux besoins du persona. Chaque enregistrement contient 100 évaluations. Sans persona, le total est de 738 contenus pertinents sur 1200 ; avec persona, de 930 sur 1200. Cela correspond à 61,5% et à 77,5%.
L’écart est de 16 points de pourcentage. La hausse relative par rapport au niveau initial de 61,5% est d’environ 26,0%. Il s’agit de deux descriptions du même ensemble, avec des unités différentes. La différence en points de pourcentage reste la mesure principale dans le texte et le graphique.
La pertinence d’un contenu ne signifie pas que la réponse du modèle est vraie. Une réponse peut correspondre aux besoins et contenir une caractéristique produit erronée. La précision doit donc être évaluée séparément : le modèle respecte-t-il les exigences, la recommandation est-elle adaptée et les informations sont-elles étayées par des sources ?
Le résultat de 77,5% indique une part plus élevée de contenus répondant aux besoins dans l’approche avec persona. Il permet de parler d’une sélection plus pertinente dans ce jeu de données. Seuls des agrégats étant disponibles, sans évaluations individuelles ni grille détaillée, le rapport ne revendique pas de significativité statistique et n’assimile pas pertinence à exactitude factuelle de toutes les réponses d’IA.
Graphique 2. Pertinence des contenus : 61,5% et 77,5%, soit 16 points de pourcentage d’écart. Base : 1200 évaluations par approche dans les données Semly. Cet indicateur mesure l’adéquation aux besoins du persona ; ce n’est pas un taux de conversion.
Résultats de ChatGPT et Gemini
Pour ChatGPT, le délai moyen jusqu’à l’objectif est de 95 jours sans persona et de 66,5 jours avec persona. Pour Gemini, il est de 105 et de 73,5 jours. Cela représente une réduction de 30% dans les deux systèmes. La comparaison montre le même sens de l’écart dans les groupes analysés.
La pertinence des contenus de ChatGPT est de 60,5% sans persona et de 76,5% avec persona. Pour Gemini, elle est de 62,5% et de 78,5%. Dans chaque système, l’écart est de 16 points de pourcentage. Chaque combinaison de système et d’approche comprend 600 évaluations.
La séparation par système permet de vérifier si la moyenne globale masque des résultats différents. Dans ces données, les écarts entre approches sont cohérents pour ChatGPT et Gemini. Il ne s’agit pas d’un classement de qualité des modèles eux-mêmes : les délais et la pertinence décrivent les actions et contenus étudiés.
En pratique, il est utile de maintenir un profil de visibilité distinct pour chaque système. Les mêmes contenus et besoins peuvent être présentés différemment. Les recommandations de Leon peuvent alors être évaluées pour un système et un scénario précis, sans réduire toute la présence d’une marque à un seul chiffre.
Graphique 3. Délai moyen jusqu’à l’objectif commun dans ChatGPT et Gemini. Base : 6 paires comparatives par système, données Semly. Le résultat décrit les approches étudiées et non un classement de qualité des modèles.
| Système d’IA | Délai sans / avec persona | Pertinence sans / avec persona |
|---|---|---|
| ChatGPT | 95 / 66,5 jours | 60,5% / 76,5% |
| Gemini | 105 / 73,5 jours | 62,5% / 78,5% |
Résultats dans les six cohortes
Le jeu de données comprend les cohortes M1-M6. Le délai moyen, calculé pour les deux systèmes dans chaque cohorte, est de 75, 85, 95, 105, 115 et 125 jours sans persona. Avec persona, il est de 52,5, 59,5, 66,5, 73,5, 80,5 et 87,5 jours.
L’écart apparaît pour les délais courts comme pour les délais longs. Il est de 22,5 jours dans M1 et de 37,5 jours dans M6. Dans toutes les paires fournies, le délai avec persona représente 70% du délai sans persona. Nous montrons explicitement cette relation constante sans la considérer comme une mesure de répétabilité des réponses.
M1-M6 décrivent des cohortes, pas six relevés successifs de visibilité d’une seule marque. L’augmentation des délais ne doit pas être interprétée comme une baisse d’efficacité au fil des mois. L’analyse de saisonnalité et d’évolution nécessite des dates calendaires et des relevés quotidiens ou hebdomadaires.
Une évaluation complète devrait aussi signaler les cas n’ayant pas atteint le seuil avant la fin de l’observation. Le jeu de données ne distingue pas ces cas. Ce point doit être pris en compte dans les comparaisons futures.
Graphique 4. Délai jusqu’à l’objectif dans six cohortes, moyenne de deux systèmes, données Semly. M1-M6 ne constituent pas une série mensuelle de visibilité d’une seule marque.
La même question pour plusieurs personas
Dans nos travaux, nous avons également étudié la même question de base pour plusieurs personas. Leon joue le rôle d’un utilisateur correspondant à chaque profil et dialogue avant de poser la question cible. Cela permet de voir comment besoins, intention et contexte antérieur influencent les recommandations et les informations utiles à l’achat. Pour les chaussures de course, on peut comparer un débutant sur route, un coureur de loisir en forêt et une personne effectuant des séances longues en terrain naturel. La matrice ci-dessous illustre la méthode ; ce n’est pas une transcription des réponses de l’étude.
Pour chaque réponse, il est utile de noter les marques recommandées, arguments de choix, exigences techniques, objections et URL citées. L’ensemble révèle les informations communes à plusieurs scénarios et celles propres à un besoin. Le brief peut ainsi associer un socle commun et des sections répondant aux différences.
Semly utilise ces observations pour formuler des recommandations de contenu plus pertinentes. Toutefois, les données fournies ne comprennent ni identifiants de personas, ni prompts complets, ni réponses des modèles. Le rapport n’attribue donc aucun effet chiffré à un persona précis et ne classe pas les marques qu’il recommande.
| Scénario illustratif | Questions pour analyser la réponse | Contenus possibles |
|---|---|---|
| Débutant, courtes distances sur route | Le confort et l’ajustement sont-ils mentionnés ? | Choix d’une première paire, pointure et usage |
| Course de loisir sur sentiers forestiers | La réponse tient-elle compte du terrain et de l’adhérence ? | Conditions du terrain et comparaison des semelles |
| Séances plus longues en terrain naturel | Quelles contraintes et caractéristiques le modèle identifie-t-il ? | Comparaison de solutions pour un effort prolongé |
Transformer les réponses de plusieurs personas en brief de contenu
La conversation peut fournir des éléments pour le brief avant la recommandation finale. Une réponse antérieure peut révéler des critères à expliquer, et la question cible de Leon les relie à l’intention de l’utilisateur. L’analyse du dialogue complet aide à trouver des contenus utiles aux différentes étapes de la décision.
Il faut d’abord distinguer les critères de choix des noms de marques. Une simple liste d’entreprises recommandées n’explique pas leur présence. Pour la rédaction, il est plus utile de savoir qu’un utilisateur a besoin de comparer des usages, de comprendre la compatibilité ou de disposer de conditions de retour claires.
Ces besoins doivent ensuite être comparés aux contenus de la marque. L’absence d’une réponse importante peut justifier la mise à jour d’une page. Des différences entre publics peuvent justifier une section ou une comparaison dédiée. La décision doit reposer sur l’utilité pour les personnes, plutôt que sur la multiplication mécanique de pages pour chaque persona.
Un brief peut comprendre le scénario de l’utilisateur, la décision à prendre, les critères principaux, des données produit vérifiables, les objections et les sources. Si l’analyse concerne les sentiers forestiers, le contenu doit expliquer l’usage du produit et ses limites.
Un contenu préparé ainsi peut être plus pertinent pour une personne arrivant depuis une réponse d’IA. Cela soutient l’hypothèse d’une meilleure conversion. La confirmer nécessite toutefois de comparer le comportement des utilisateurs et les résultats commerciaux après mise en œuvre.
La répétabilité exige des mesures répétées
Une description stable du persona et des règles de dialogue cohérentes facilitent la comparaison des mesures. Puisque Leon interprète la réponse avant la question cible, il faut aussi contrôler l’historique et les règles de décision. La répétabilité du processus et la concordance des réponses finales doivent être mesurées séparément.
Le test proposé doit conserver la version du modèle, le mode de recherche, la langue, la localisation et les règles d’ouverture des sessions. Il convient de comparer les conversations complètes avec le même persona et objectif, ainsi que les réponses dans un contexte reconstitué à l’identique. La première comparaison évalue la variation du processus entier, la seconde celle de la réponse finale. Les panels de base et avec personas doivent fonctionner en parallèle.
On peut mesurer la stabilité de la présence de marque, la concordance entre ensembles de marques recommandées et celle des sources citées. Pour deux ensembles A et B, une mesure simple est la part des marques communes dans l’ensemble de toutes les marques des deux réponses. Si les deux ensembles sont vides, une règle de présentation spécifique est nécessaire.
La répétabilité au sein d’un persona et les différences entre personas répondent à des questions distinctes. Des recommandations stables pour un profil peuvent coexister avec des différences nettes entre profils. Les descriptions structurées de Leon favorisent des conditions de requête plus cohérentes. Les données ne mesurant pas la concordance de réponses successives, nous ne chiffrons pas d’amélioration de répétabilité.
Comment vérifier l’effet sur la conversion
La mesure commerciale doit distinguer la présence de la marque dans une réponse, la citation de son site, la visite et l’action accomplie. Chaque étape nécessite un indicateur. Le nombre de recommandations n’est pas celui des visites, et le nombre de visites n’est pas celui des achats.
Après mise en œuvre, il est utile de suivre les sessions issues de sources IA identifiables, l’engagement, les demandes commerciales, les transactions et le chiffre d’affaires. Une partie du trafic peut ne pas avoir de source clairement identifiable ; le périmètre des sessions attribuées doit donc être décrit. Le taux de conversion doit utiliser un dénominateur explicite, par exemple les sessions qualifiées.
Comparer des pages ou groupes de contenus similaires avec une définition de conversion et une fenêtre d’observation constantes améliore la fiabilité. Les autres changements, tels que promotions, prix, disponibilité et campagnes, doivent être consignés. Sinon, une hausse des ventes peut être attribuée à tort à la stratégie de contenu.
Le rapport formule donc une hypothèse précise : des contenus liés aux besoins réels peuvent aider à décider. L’ampleur de l’effet sur les ventes reste à mesurer. Le tableur ne contient ni sessions, ni prospects, ni transactions.
Ce qu’un changement de méthode implique pour les résultats de visibilité
Les personas et les conversations de Leon modifient les conditions d’interrogation des modèles. La réponse au prompt cible tient aussi compte des messages précédents. Le résultat peut augmenter si la marque répond mieux aux besoins, ou diminuer si le système choisit une autre offre. Les comparaisons doivent intégrer la formulation de la question et la construction du contexte.
L’approche la plus transparente consiste à montrer côte à côte les résultats du panel de base et du panel avec personas. Si une moyenne globale est nécessaire, les poids des personas doivent reposer sur des hypothèses explicites concernant le public. Des poids égaux constituent une option analytique simple, sans prouver que chaque groupe représente la même part de la demande réelle.
L’adéquation aux besoins importe aussi lors du choix des personas. Un profil conçu uniquement du point de vue de l’offre peut omettre des freins à l’achat ou des situations où le produit convient mal. Il faut inclure des scénarios exigeants, plutôt que limiter le panel aux utilisateurs auxquels la marque se recommande facilement.
Synthèse du rapport
L’étude Semly montre que les personas aident à mieux adapter les contenus aux besoins et à réduire le délai de développement de la visibilité dans l’IA. Dans les données analysées, le délai moyen était de 100 jours sans persona et de 70 jours avec persona - 30% de moins. La pertinence est passée de 61,5% à 77,5%, soit 16 points de pourcentage. Le même sens d’écart a été observé dans ChatGPT et Gemini.
Leon donne à cette approche la forme d’un dialogue. L’agent joue le rôle de l’utilisateur : il se présente selon le persona, interprète la réponse du modèle et identifie quand poser la question cible avec contexte et intention. Semly analyse ainsi les recommandations dans des conditions plus proches de l’usage humain d’un chat.
Interroger la même question de base avec plusieurs personas fait apparaître des critères de choix, objections et besoins d’information différents. Ces observations peuvent alimenter des briefs, comparaisons et contenus plus précis pour aider à décider. La pertinence accrue soutient cette démarche ; l’effet sur la conversion nécessite une mesure distincte des comportements et résultats commerciaux.
Des personas et règles de conversation cohérents fournissent une base pour un suivi comparable. La répétabilité des réponses doit néanmoins être évaluée au fil de nouvelles mesures tenant compte de l’historique et des conditions de requête. Les résultats ne chiffrent ni une amélioration de répétabilité ni une hausse de conversion.
Pour les marques, la conséquence pratique est claire : étudier à qui et dans quelle situation l’IA recommande une offre, puis utiliser ces informations pour développer les contenus. Semly relie ainsi un outil de veille sur la visibilité à la recherche sur le contexte, l’intention et les recommandations des modèles.
Sources
Document Semly : « Plus d’un million de requêtes, six mois de recherche. Pourquoi Semly introduit les personas dans le suivi de la visibilité dans l’IA », complété par la description des conversations de Leon - sources sur l’agent et les travaux de recherche.
[1] OpenAI, Prompt engineering. Recommandations sur l’apport d’un contexte pertinent dans les requêtes. https://developers.openai.com/api/docs/guides/prompt-engineering
[2] Google AI for Developers, Prompt design strategies. Recommandations sur le contexte et les contraintes de la tâche. https://ai.google.dev/gemini-api/docs/prompting-strategies
[3] Franziska Weeber, Vera Neplenbroek, Jan Batzner, Sebastian Padó, One Persona, Many Cues, Different Results: How Sociodemographic Cues Impact LLM Personalization, ACL 2026. https://aclanthology.org/2026.acl-long.2079/
Partager :
