Pourquoi nous mesurons avec des intervalles de confiance

Le problème : la machine ne répond jamais deux fois pareil

Un moteur de réponse est non déterministe. Posez-lui la même question deux fois, vous obtenez deux réponses différentes, parfois avec des sources différentes. Ce n’est pas un défaut, c’est sa conception.

Conséquence directe pour la mesure : demander une fois « qui est cité ? » n’est pas relever un compteur. C’est tirer une carte. Votre marque citée dans ce tirage, ou absente de ce tirage, ne dit presque rien de votre situation réelle.

Ce qu’on fait à la place : échantillonner, puis encadrer

Notre réponse tient en deux règles techniques, gravées dans le produit.

D’abord, chaque question de votre corpus est posée au minimum 5 fois par moteur et par fenêtre de mesure. Cinq tirages ne font pas une vérité, mais ils font une estimation dont on connaît l’incertitude.

Ensuite, chaque taux s’affiche avec sa fourchette. « Cité 3 fois sur 5 » ne devient pas « 60 % » : ça devient « probablement entre 23 % et 88 % ». Cette fourchette est l’intervalle de confiance. Elle est large ? Oui. C’est la vérité d’un échantillon de 5, et l’afficher est la seule façon honnête de la présenter. Pour une même question, plus les fenêtres s’accumulent, plus sa fourchette se resserre. Pour votre taux sur tout le marché, c’est le nombre de questions qui la resserre : chaque question pèse autant.

À quoi ça sert dans la vraie vie : ne pas raconter d’histoires

Imaginez deux fenêtres successives : 40 % puis 50 % de citations. Sans fourchette, c’est un progrès, on félicite l’équipe, on renouvelle le budget. Avec la fourchette de l’écart, calculée sur les mêmes questions d’une fenêtre à l’autre, ces dix points passent par zéro : rien ne prouve que quoi que ce soit ait changé. La bonne conclusion est « on ne peut pas encore conclure », et notre rapport la dit telle quelle.

C’est le cœur de l’image photo contre film. Une fenêtre est une photo, avec son grain. La succession des fenêtres fait le film. Les décisions se prennent sur le film, jamais sur la comparaison brute de deux photos.

Pourquoi si peu d’outils le font

Parce que la fourchette coûte deux fois. Elle coûte en calcul : chaque point de mesure est multiplié par 5 au minimum, et chaque observation a un prix, que nous enregistrons ligne par ligne. Et elle coûte en confort commercial : « entre 23 % et 88 % » se vend moins bien que « 60 % ». Nous assumons les deux coûts, parce qu’un chiffre sec qui bouge tout seul d’une semaine à l’autre finit toujours par se retourner contre celui qui l’a vendu.

Ce que l’intervalle ne répare pas

Une fourchette honnête sur une mauvaise question reste une mauvaise mesure. Si votre corpus de questions ne ressemble pas à ce que vos clients demandent vraiment, l’intervalle encadrera avec précision un chiffre sans intérêt. C’est pourquoi la construction du corpus (les vraies questions, dans les vrais mots des clients) précède toute mesure chez nous. La statistique encadre l’incertitude ; elle ne remplace pas le jugement sur ce qui vaut d’être mesuré.

Dans un rapport Citence, tout ce que vous lisez suit ces règles : citations mesurées en séries, fourchette affichée, et la mention explicite « trop tôt pour conclure » quand c’est la vérité. Si un outil vous montre un pourcentage sec, vous savez maintenant quelle question lui poser : combien de tirages, et quelle fourchette ?