Vérifiez la visibilité de votre entreprise dans l’IA
Gratuit, sans carte bancaire.
Davantage de citations après une révision est un signal encourageant, mais ne prouve pas encore son efficacité. Pendant la même période, les réponses du système, les sources des concurrents ou la méthode de mesure peuvent avoir changé. Pour évaluer la mise à jour, il faut un état initial documenté et des règles de comparaison claires.
Le protocole suivant est une proposition de travail pour les équipes marketing. Il porte sur les réponses observables de systèmes d’IA sélectionnés. Il ne décrit pas leurs mécanismes de classement et ne suppose pas que le suivi établisse à lui seul un lien de causalité.
Que mesurer lorsque vous modifiez un seul article ?
Choisissez un résultat principal lié à l’objectif du changement. Si vous enrichissez un guide pour qu’il serve plus souvent de source aux réponses aux clients, le pourcentage de réponses citant l’URL précise du guide est un objectif pertinent. Si vous évaluez des recommandations de produits, un lien vers l’article peut ne pas suffire à répondre à votre question commerciale.
Pour ce protocole, utilisez cette définition : taux de citation de l’URL étudiée = nombre de réponses correctement obtenues comportant au moins une citation visible de cette URL / nombre total de réponses correctement obtenues dans l’ensemble étudié × 100%.
Une réponse contenant trois liens vers la ressource étudiée compte une seule fois. Définissez à l’avance comment reconnaître les redirections et supprimer les paramètres de suivi. Enregistrez séparément les citations d’autres pages du même domaine. Ainsi, une hausse des citations de la page d’accueil ne sera pas interprétée comme un succès de la mise à jour du guide.
Une réponse valide sans citation visible de l’URL étudiée vaut zéro pour cet indicateur. Une erreur de récupération, une panne ou un résultat vide correspond à une donnée manquante. Si l’interface affiche un lien associé dont le rôle est incertain, classez-le séparément plutôt que de le compter automatiquement comme citation.
Mesurez le lien visible vers la source. Son absence ne prouve pas que le modèle ignore le contenu. Ce test ne mesure ni la part de l’ensemble du marché ni les requêtes réelles de tous les utilisateurs.
Nous présentons davantage d’indicateurs dans le guide pour mesurer la visibilité d’une marque dans l’IA. Ici, nous évaluons une seule modification éditoriale.
Documentez le protocole avant de publier la modification
Un plan court préparé avant les mesures limite le choix de questions et de dates en fonction du résultat souhaité. Définissez aussi la conduite à tenir si le résultat reste indéterminé. Ne changez pas le critère de réussite après la première mesure favorable.
| Champ du protocole | Éléments à consigner |
|---|---|
| Hypothèse et modification | Effet attendu et partie de l’article modifiée, par exemple l’ajout d’un tableau des conditions d’intégration. |
| Unité modifiée | URL précise ou groupe de pages liées ; liste des pages modifiées et non modifiées. |
| Questions | Liste fixe de questions naturelles des clients et association de chacune à une ressource et une intention. |
| Conditions de mesure | Système, produit ou interface, version du modèle disponible, mode de recherche, langue, marché, calendrier et répétitions. |
| Résultat principal | Définition unique, règles d’identification des URL et critères pour les réponses valides et les données manquantes. |
| Comparaison et durée | Ressource de comparaison, période initiale, date de déploiement, transition et fin de l’observation. |
| Décision | Amélioration pertinente pour l’activité, limites empêchant de conclure et date de répétition du test. |
Les questions doivent également correspondre au contenu avant sa mise à jour. N’ajoutez pas uniquement des questions auxquelles le nouveau paragraphe répond mot pour mot. Un exemple neutre serait : « Quelles conditions faut-il remplir pour connecter une boutique en ligne à un système de gestion d’entrepôt ? ». L’instruction « Réponds à partir de notre nouvel article » teste le respect d’une consigne, pas la probabilité naturelle de sélection d’une source.
Séparez les questions contenant le nom de la marque des autres. Gardez la même formulation dans les deux périodes. Pour les mesures manuelles, ouvrez de nouvelles conversations et sauvegardez la première réponse avant de demander d’autres sources. Traitez les résultats de l’API et de l’application grand public comme des séries distinctes.
Établissez l’état initial et le calendrier
Une réponse avant et une après la modification ne montrent pas les fluctuations naturelles. Réalisez plusieurs mesures réparties dans le temps, avec les mêmes questions et une fréquence similaire. Conservez les réponses complètes, les liens, les horaires et les informations disponibles sur le mode et le modèle.
Un exemple de calendrier opérationnel pourrait comprendre :
- deux semaines de mesures initiales avant la mise à jour ;
- la sauvegarde de l’ancienne version et la date de déploiement du nouveau contenu ;
- une semaine de transition définie à l’avance et présentée séparément ;
- deux semaines d’observation après la modification, puis une évaluation à une date fixée.
Il s’agit d’un exemple d’organisation, pas d’un délai recommandé par les fournisseurs. Adaptez les périodes à la fréquence des mesures et à la variabilité des résultats. Une semaine de transition ne garantit pas que les systèmes aient récupéré la nouvelle version. Les journaux d’accès ou informations d’indexation disponibles constituent des indices complémentaires d’accès, pas une preuve d’utilisation du contenu dans une réponse précise.
N’arrêtez pas le test immédiatement après une mesure favorable. Si le produit, le mode de recherche ou la collecte des réponses change, signalez la rupture de comparabilité. Au besoin, commencez une nouvelle série au lieu de fusionner des conditions différentes dans un résultat unique.
Indiquez séparément, pour chaque période, les mesures prévues, les réponses valides et les données manquantes. Si les réponses aux questions difficiles manquent surtout après la mise à jour, la hausse du taux de citation peut venir de la composition des données. Si les absences diffèrent, comparez aussi un ensemble commun de questions avec une couverture similaire.
Distinguez la mise à jour des changements de contexte
Ajoutez une ressource de comparaison : un guide ou un groupe de pages similaire que vous ne modifiez pas pendant le test. Il doit répondre à une intention proche, présenter une saisonnalité comparable et être mesuré dans les mêmes conditions. Avant le déploiement, examinez la trajectoire des deux séries, pas seulement leurs moyennes.
La modification est attribuée à une page ou à un groupe de pages ; la répartition des groupes doit donc se faire à ce niveau. Deux ensembles de questions menant à la même page actualisée ne constituent pas un groupe de comparaison indépendant. Le même problème se pose si une modification du modèle de page commun touche les deux ressources ou si de nouveaux liens internes affectent la page de comparaison.
Dans un test plus large, vous pouvez sélectionner aléatoirement certaines pages comparables à modifier, puis actualiser les autres après l’observation. Une seule paire d’articles doit être considérée comme un pilote. Répéter les questions augmente le nombre d’observations sans remplacer un plus grand nombre de pages indépendantes.
Tenez un journal des événements : campagne de relations publiques, nouvel avis, changement d’offre, refonte du site, panne ou modification du protocole de mesure. Une hausse simultanée dans les deux groupes peut indiquer une évolution commune. Les différences entre groupes demandent aussi une explication, surtout si un événement n’a touché qu’un groupe.
Modifiez le contenu de façon à pouvoir évaluer le changement
Définissez un périmètre cohérent, par exemple préciser les conditions d’intégration et ajouter un exemple vérifiable. Conservez les deux versions. Si vous changez simultanément le texte, l’URL, le titre, les liens et la promotion, vous évaluez l’ensemble des actions. Précisez-le dans l’hypothèse au lieu d’attribuer le résultat à un paragraphe.
La modification doit aider le lecteur : supprimer les informations obsolètes, expliquer les conditions ou fournir des éléments vérifiables. Dans ses conseils sur les fonctionnalités génératives de Google Search, Google souligne l’utilité, l’originalité et les fondamentaux du SEO. Les règles concernant le spam interdisent notamment la création de contenu à grande échelle principalement pour manipuler le classement. Ne créez pas de pages presque identiques pour chaque variante de question ni de consignes cachées imposant la recommandation d’une marque.
Les règles de Google concernent Google Search. Évaluez ChatGPT, Gemini Apps et Perplexity dans leurs propres environnements. Le travail d’actualisation lui-même est décrit dans notre base de connaissances : recyclage du contenu pour l’IA et les LLM (en polonais).
Calculez l’évolution : exemple avec un groupe de comparaison
Les chiffres suivants sont un exemple de calcul fictif. Ils ne proviennent ni d’une étude Semly ni d’une campagne client. Pour simplifier, ils concernent un système, des conditions constantes et une couverture identique des questions. Chaque période comprend, dans chaque groupe, 300 réponses valides issues de mesures répétées.
| Groupe | Avant la mise à jour | Après la mise à jour | Évolution |
|---|---|---|---|
| A : ressource actualisée | 60 / 300 = 20% | 105 / 300 = 35% | +15 points de pourcentage |
| B : ressource de comparaison | 60 / 300 = 20% | 75 / 300 = 25% | +5 points de pourcentage |
Graphique : données uniquement illustratives. La part des réponses valides citant l’URL étudiée est passée de 20% à 35% dans le groupe A et de 20% à 25% dans le groupe B. La différence des évolutions est de 10 points de pourcentage.
Calcul de la différence des évolutions : (35% − 20%) − (25% − 20%) = 10 points de pourcentage. Le groupe A seul montrerait une hausse de 15 points de pourcentage. Le groupe B révèle qu’une partie de l’amélioration s’est également produite pour la ressource non modifiée.
Cette comparaison s’inspire de la méthode des différences de différences. Une interprétation causale exige des hypothèses, notamment des trajectoires similaires des deux groupes en l’absence de mise à jour. La Banque mondiale explique les tendances parallèles et les limites de leur vérification. Dans cet exemple simplifié, les 10 points décrivent la différence des évolutions, pas automatiquement l’effet de la mise à jour.
Ne qualifiez pas le résultat de statistiquement significatif à partir du seul tableau. 300 réponses répétées ne représentent pas 300 utilisateurs ou pages indépendants. Les mesures des mêmes questions et ressources peuvent être dépendantes. L’évaluation de l’incertitude doit tenir compte de la structure des données et de l’attribution des mises à jour.
Examinez aussi la répartition du résultat. L’amélioration concerne-t-elle plusieurs questions ou une seule, souvent répétée ? Persiste-t-elle à d’autres dates ? Présentez les systèmes séparément. Un résultat agrégé peut être trompeur si la proportion des réponses de chaque système a changé.
Comment utiliser Semly pour cette mesure ?
Utilisez Semly pour suivre les questions, la présence de la marque et les sources indiquées dans les réponses. L’aperçu des réponses permet de revenir à une mesure précise et de vérifier si un lien mène à l’article étudié, à une autre page de votre domaine ou à une ressource externe. Les systèmes disponibles dépendent de l’abonnement et de la configuration du suivi.
Tenez un registre distinct des mises à jour : URL, version du contenu, date de déploiement, questions associées et ressource de comparaison. Rapprochez-le des réponses et sources des mêmes périodes. Le taux de citation défini ici est une proposition pour votre analyse, pas le nom d’un indicateur intégré ou d’une fonction d’expérimentation de Semly.
Séparez trois niveaux dans le rapport : citations de la ressource étudiée, mentions ou recommandations de la marque, puis trafic et conversions. Un changement à un niveau n’implique pas automatiquement un changement aux autres. Vérifiez les performances organiques dans Google Search Console et le comportement des visiteurs dans l’analytique du site, en tenant compte du périmètre et des limites de ces données.
Comment décider après le test ?
Évaluez d’abord la qualité de la mesure, puis l’ampleur du changement. Avant d’étendre la mise à jour à d’autres pages, vérifiez les points suivants :
- Les questions, le calendrier et les conditions sont comparables dans les deux périodes.
- Les données manquantes sont documentées et n’ont pas sensiblement modifié la composition de l’ensemble.
- Le résultat porte sur la bonne URL, pas sur n’importe quel lien du domaine.
- Le groupe de comparaison n’a subi ni la modification ni un effet indirect évident.
- Les événements simultanés connus et les changements de contexte sont consignés.
- L’amélioration apparaît dans plusieurs mesures et a été examinée par question.
- L’évaluation utilise le critère commercial fixé à l’avance.
- Le rapport distingue les observations des conclusions causales et précise l’étape suivante.
Si le résultat est favorable, persiste et ne présente pas de facteurs de confusion majeurs, testez une modification similaire sur d’autres ressources comparables. Si les deux groupes progressent de la même façon, cherchez une cause commune. Si les conditions ou la couverture des données ont changé, le résultat peut rester indéterminé. Ne pas détecter d’amélioration ne prouve pas que la modification ne sera jamais utile.
Une formulation fidèle à l’exemple serait : « Le taux de citation de la ressource A a augmenté de 15 points de pourcentage, contre 5 pour B. La différence des évolutions est de 10 points de pourcentage. Ce résultat concerne les questions étudiées et doit être reproduit sur davantage de ressources. »
FAQ : tester la mise à jour d’un article dans l’IA
Vérifier une réponse le lendemain suffit-il ?
Cette mesure peut être une première observation. L’évaluation exige un état initial, des mesures répétées et des conditions comparables. Il n’existe pas de délai universel après lequel chaque système utilise la nouvelle version d’une page.
Que faire sans article similaire pour comparer ?
Vous pouvez observer les résultats avant et après, mais signalez clairement l’absence de groupe de comparaison. Vous montrez alors une évolution temporelle et des événements associés. La base pour attribuer le résultat à la mise à jour est plus faible.
300 réponses suffisent-elles pour un test fiable ?
Il n’existe pas de nombre universel. La variabilité, le nombre de pages indépendantes, les dépendances entre mesures et l’ampleur du changement recherché comptent. Le nombre 300 sert uniquement à illustrer le calcul.
Davantage de citations signifie-t-il davantage de ventes ?
Une citation est une source observée dans une réponse d’IA. Les ventes exigent une mesure distincte du comportement des clients et des conversions. Présentez les résultats séparément au lieu de déduire le chiffre d’affaires du seul taux de citation.
Ce protocole est-il une instruction officielle de Google ?
Il s’agit d’une proposition de mesure destinée aux lecteurs de Semly. Les références à Google concernent la qualité du contenu et les règles de recherche. Google n’approuve ici ni le calendrier, ni la taille de l’échantillon, ni la méthode d’évaluation.
Partager :
