Cas client · Mesure d'efficacité publicitaire
Comment nous mesurons l'impact des campagnes publicitaires sur les ventes en magasin, pour l'un de nos clients
Une campagne drive-to-store, et un modèle Time-Based Regression appliqué aux ventes en caisse
Synthèse
L'analyse établit que la publicité a généré +18 % de ventes incrémentales sur les rayons mis en avant.
Niveau de confiance élevé · intervalle à 95 % : [ +3 % | +32 % ]
La comparaison simple à l'année dernière est un peu naïve : elle cache beaucoup de paramètres, la dynamique propre du magasin d'une année sur l'autre, l'évolution de l'assortiment, le calendrier commercial, les effets extérieurs à la campagne. Isoler la part qui revient à la publicité demande une approche data science.
C'est ce que ce type d'analyse rend possible. Une fois le socle en place, il sert à arbitrer les investissements et à répondre aux questions que le magasin se pose vraiment : une remise de 30 % est-elle gagnante, faut-il monter le budget d'un levier, une opération vaut-elle ce qu'elle coûte.
Voici comment nous avons fait
1Constat et périmètre de l'analyse
Un commerce de détail investit en publicité Google et Meta pour faire venir des clients dans son magasin. Les campagnes sont orientées vers la visite en point de vente, et les annonces mettent en avant les produits d'une partie des rayons seulement. La question du dirigeant est simple : combien de clients et combien de chiffre d'affaires cette publicité a-t-elle apportés que le magasin n'aurait pas faits sans elle ?
Répondre à cette question demande un point de comparaison : ce que le magasin aurait fait sans la campagne. Le point de vente étant unique, ce point de comparaison se construit dans le temps, à partir de l'historique du magasin lui-même. C'est le rôle du modèle, et c'est l'objet de la section suivante.
L'indicateur retenu est le nombre d'acheteurs, c'est-à-dire de tickets contenant au moins un article d'un rayon mis en avant. C'est la mesure la plus robuste : elle résiste aux changements de marque et de prix. Le chiffre d'affaires en est déduit, au panier moyen de la période.
Les grandes étapes de l'analyse
- Cadrage. La question, l'indicateur et la fenêtre de mesure, arrêtés avant la campagne.
- Données. L'historique quotidien des ventes par rayon, enrichi du contexte du magasin.
- Modèle. Retenir les rayons témoins qui se trompent le moins hors campagne.
- Validation, puis mesure. Vérifier l'erreur du modèle sur des périodes sans campagne, puis lire l'écart sur la fenêtre de diffusion.
Côté données, l'analyse demande des ventes quotidiennes par rayon, le contexte interne du magasin (calendrier des promotions et des soldes, temps forts) et un historique assez long pour que le modèle apprenne la vie normale du point de vente : ici, 18 mois.
2La méthode
On construit un jumeau des rayons exposés à partir des rayons du magasin que la campagne n'a pas touchés. Ces rayons vivent la même vie que les autres : même météo, même fréquentation, mêmes week-ends, même saison. Le modèle capte ces régularités sur l'historique de caisse et s'en sert pour prédire ce que les rayons mis en avant auraient fait sans publicité. C'est le contrefactuel, et la mesure est ensuite une soustraction : ce qui s'est réellement passé en caisse, moins ce que le modèle prédit.
La démarche est un Time-Based Regression, méthode publiée par Google en 2017 (Kerman, Wang et Vaver), conçue pour les tests où l'on ne dispose que de peu d'unités de contrôle : l'inférence s'y lit dans le temps plutôt que dans l'espace. Adaptée ici sur quatre points : un coefficient par rayon témoin plutôt qu'un seul sur leur somme, un lien logarithmique plutôt qu'une relation linéaire, l'ajout du calendrier commercial, et des rayons témoins choisis sur leur comportement hors campagne plutôt qu'appariés à l'avance.
Le modèle est une équation apprise sur les données. Ce ne sont pas des coefficients choisis : ils sont estimés par le calcul, en cherchant la combinaison qui reproduit le mieux les journées d'ouverture qui précèdent la campagne.
Le travail de cadrage amont a comparé toutes les combinaisons de rayons témoins possibles, et le trio retenu n'est pas le plus corrélé aux rayons exposés : c'est celui qui se trompe le moins sur des périodes sans campagne. Un rayon très corrélé mais qui porte sa propre dynamique est un mauvais témoin, et la corrélation ne le dit pas.
Ce que le modèle absorbe
Les rayons témoins absorbent tout ce qui touche le magasin dans son ensemble : météo, fréquentation de la galerie, jours fériés, pression concurrentielle. Le calendrier absorbe le rythme hebdomadaire, la saisonnalité du sport et la progression du magasin d'une année sur l'autre. Les opérations absorbent les soldes et les temps forts commerciaux. Tout cela sort de la comparaison avant qu'on ne mesure quoi que ce soit.
Validation et confiance du modèle
Le modèle est testé sur 29 périodes de contrôle de même durée, prises avant la campagne, où aucune publicité n'était en place. Sur ces périodes il trouve −2 %, un écart quasi nul : le modèle est proche de la réalité. Et aucune de ces 29 périodes n'atteint le niveau observé pendant la campagne.
C'est ce qui donne le droit de lire un écart pendant la diffusion. Sans cette étape, un écart de quelques pourcents ne se distingue pas du bruit normal du magasin.
3L'analyse de l'efficacité publicitaire
Le modèle suit la réalité, sur toute la profondeur disponible
L'écart s'ouvre au lancement et se referme à la coupure
Les acheteurs supplémentaires, cumulés jour après jour
Le résultat de la mesure
+18 %
de ventes incrémentales sur les rayons mis en avant
Fourchette à 95 % : +3 % à +32 %
Niveau de confiance élevé
La fourchette est entièrement au-dessus de zéro. Forme illustrative : l'intervalle vient de la dispersion mesurée sur 29 périodes de contrôle, pas d'une hypothèse de normalité.
Les signaux de performance sont nets, autour de +18 %, pour un ROAS estimé supérieur à 4. Cette estimation intègre les effets que le périmètre mesuré ne compte pas : les achats faits sur les autres rayons par les clients venus grâce à la publicité, et les clients recrutés qui reviendront. Sur le seul périmètre strictement mesuré, le rapport est plus bas.
Deux lectures des mêmes ventes
| La lecture | Ce qu'elle annonce |
|---|---|
| La comparaison à l'an dernier sur la même période, à périmètre de rayons identique | +40 % |
| La mesure ce que le modèle attribue à la publicité, tout le reste étant neutralisé | +18 % |
Le +40 % est réel, mais il n'est pas exploitable tel quel : il additionne la publicité, la progression naturelle du magasin, un assortiment plus profond que l'an dernier et le décalage du calendrier commercial entre les deux années. La méthode existe pour trier là-dedans. Elle donne un chiffre plus bas, qui ne retient que ce qui vient de la publicité.
Ce que disent les régies
En parallèle du modèle, les données de régie ont été reprises : diffusion, clics, demandes d'itinéraire vers le magasin et estimation de visites. Elles ne mesurent pas la même chose que la caisse, et elles ne captent qu'une partie des passages réels : c'est une vue basse. Elles vont dans le même sens que la mesure, les demandes d'itinéraire et les visites estimées progressant pendant la diffusion.
4La conclusion
La publicité a fonctionné. Trois lectures indépendantes convergent : le modèle mesure +18 % de chiffre d'affaires sur les rayons mis en avant, l'effet suit exactement le calendrier de diffusion, et les signaux de régie confirment une intention de visite en magasin.
Un chiffre volontairement prudent
Le +18 % ne compte que le chiffre d'affaires réalisé sur les rayons mis en avant. Un client venu pour un produit mis en avant achète aussi, souvent, un article d'un autre rayon : tout cela est hors du périmètre mesuré.
Deux effets non comptés vont dans le même sens : les ventes réalisées sur les autres rayons par les clients venus grâce à la publicité, et les clients recrutés qui reviendront. L'effet réel est donc supérieur au chiffre publié, sans qu'on puisse le quantifier avec les données disponibles.
Opportunité pour le client
Le socle d'analyse est en place et réutilisable directement sur les prochaines campagnes. Trois usages s'ouvrent.
- Accélérer l'investissement publicitaire sur des bases mesurées, et non sur une intuition ou sur une comparaison à l'an dernier.
- Arbitrer les opérations commerciales. La même mécanique répond à d'autres questions : ce qu'une remise apporte réellement, ce qu'un temps fort produit, ce que vaut un levier face à un autre.
- Faire de la mesure un réflexe. Le modèle est calibré sur ce magasin : la prochaine campagne s'évalue sans repartir de zéro.
5Remarques et limites
| Neutralisé par construction | Non neutralisé |
|---|---|
| Météo, fréquentation de la galerie, pression concurrentielle, soldes, ambiance commerciale du mois. Ces facteurs touchent les rayons témoins autant que les rayons mis en avant : ils sortent de la comparaison. | Un événement extérieur simultané au lancement. Deux événements qui commencent le même jour ne peuvent être séparés par aucune méthode. Le chiffre porte sur la période telle qu'elle s'est présentée. |
| Le niveau de stock et la profondeur d'assortiment. Le modèle apprend sur les mois qui précèdent la campagne : une amélioration survenue avant est déjà dans son apprentissage. C'est ce que la comparaison brute à l'an dernier ne sait pas faire. | L'effet sur les autres rayons du magasin. Les données disponibles ne permettent pas de le trancher dans un sens ni dans l'autre. |
Une vérification complémentaire a porté sur les états de stock. Les rayons exposés portaient un stock sensiblement supérieur à celui de l'année précédente, mais cette hausse ne se retrouve pas dans les ventes hors campagne. Rien n'indique donc que le stock explique l'effet mesuré, et la fenêtre de campagne se détache nettement du reste de l'année alors que le stock, lui, est élevé en permanence.
Le choix de la méthode
Le Time-Based Regression et la modélisation à partir de rayons témoins ne sont pas la seule voie. Ce choix découle d'une contrainte : un point de vente unique, donc aucune unité géographique à comparer. Sur un réseau de plusieurs magasins, nous aurions recommandé une approche géographique, où des zones exposées sont comparées à des zones tenues volontairement hors campagne. D'autres méthodes auraient également pu convenir. La méthode se choisit sur la structure des données disponibles, pas par préférence.
La spécification
Régression de Poisson à lien logarithmique, apprise sur 18 mois de ventes quotidiennes. La loi de Poisson est celle des comptages, le lien logarithmique rend les effets lisibles en pourcentage quel que soit le niveau de la journée. Entrées : trois rayons témoins, le calendrier (jour de semaine, saisonnalité, tendance) et les opérations commerciales du magasin.
L'intervalle
Il vient du comportement mesuré du modèle, non de ses hypothèses : le calcul complet est relancé sur 29 périodes de contrôle prises avant la campagne, et on lit la dispersion. Les rayons témoins ont été choisis sur une moitié de ces périodes, les chiffres de confiance calculés sur l'autre moitié.
Intervalle à 95 % : l'effet se situe entre +3 % et +32 %, pour une valeur centrale de +18 %. L'analyse a par ailleurs été rejouée avec CausalImpact, sur les mêmes données et les mêmes rayons témoins : deux implémentations indépendantes, même conclusion à 0,2 point près.
Ce qui reste incertain
- L'effet d'un événement extérieur simultané au lancement de la campagne, indissociable de son calendrier.
- L'effet sur les rayons non mesurés, que les données ne permettent pas de trancher.
- La saisonnalité de la fin de la période, qui ne repose que sur une seule occurrence antérieure.
Sources
Logiciel de caisse du magasin, ventes quotidiennes par rayon sur 18 mois · régies Google Ads et Meta Ads · calendrier commercial et états de stock fournis par le magasin. Les résultats sont publiés en pourcentages et en indices, sans valeur absolue.
Les offres EdgeAngel que ce cas mobilise
Mesure de l'efficacité publicitaireMMM, tests d'incrémentalité, mesure causale : établir ce que chaque levier apporte réellementModern Data StackLe socle qui rend la mesure possible : collecter, historiser et fiabiliser les données de venteCombien vos campagnes rapportent-elles vraiment ?
Ce dispositif de mesure se construit à partir de vos données de vente, pour un magasin unique comme pour un réseau. Un premier échange suffit pour dire si vos données permettent une mesure solide.
Parler de votre projet