Marketing mix modeling : ces 5 erreurs qui peuvent planter un projet
Dans cette keynote, Guillaume Bodin (Converteo) passe en revue certaines erreurs qui peuvent s'avérer fatale pour les marques qui se lancent dans des chantiers MMM. Entre la difficulté de choisir les bons sets de données et l'enjeu de la granularité, les écueils sont nombreux.
Category
🤖
TechnologieTranscription
00:00Bonjour à tous, je suis Guillaume Baudin, associé chez Converteo, peut-être en deux
00:08mots juste sur Converteo. On a un cabinet de conseil spécialisé sur les sujets de
00:12la data et de l'IA au service du marketing et du commerce. Je suis ici aujourd'hui pour
00:17vous parler de mesures. Mesures de l'efficacité des campagnes évidemment et juste peut-être
00:21pour planter le décor évidemment dans ce triptyque de la mesure plutôt côté annonceur
00:26évidemment mais pas exclusivement, de se dire finalement comment est-ce qu'aujourd'hui
00:29je peux optimiser mon activation, marketing, médias, acquisition avec différentes solutions.
00:36J'ai évidemment toutes les solutions d'attribution qui sont extrêmement liées à une solution
00:40déterministe qui est le cookie aujourd'hui, éventuellement l'ID demain, qui pose un certain
00:45nombre de biais, notamment tous les biais autour de la mesure offline, omni-canale.
00:49Tous les sujets autour de l'expérimentation, se dire finalement il y a tout un tas d'indicateurs
00:53qui sont présents dans plein de plateformes et donc forcément on peut affiner, optimiser,
00:58aller beaucoup plus loin dans le pilotage et donc continuer à expérimenter ce qui
01:01nécessite d'avoir tout un tas de protocoles pour pouvoir réussir à amender les performances
01:07et à les optimiser dans le temps. Et puis le sujet du marketing mix modeling. Et avant
01:12de rentrer sur les cinq erreurs que l'on constate très régulièrement sur cette offre-là
01:15et sur ces sujets, je préfère qu'on commence avec juste une définition pour qu'on soit
01:20tous au même niveau sur le sujet du marketing mix modeling.
01:24Le marketing mix modeling c'est une solution qui est statistique, contrairement au cookie
01:29qui est totalement déterministe, qui cherche à calculer d'un point de vue mathématique
01:32s'il y a une corrélation et un lien entre une action marketing, publicitaire, média,
01:37acquisition, influence, on peut imaginer tout un tas de scopes, avec une finalité qui est
01:42bien souvent le business mais qui peut être aussi d'autres choses. Ça peut être du trafic
01:45en point de vente, ça peut être une évolution d'un indicateur de marque. À chaque fois
01:51l'objectif c'est de se dire finalement, je cherche à savoir si ma publicité, si
01:55ma communication, si je prends là le cas du offline en orange ou du online en jaune,
02:01est-ce qu'elle a apporté un incrément en termes de business, est-ce qu'elle a apporté
02:04un incrément en termes de trafic sur mes points de vente éventuellement ou est-ce
02:07qu'elle a apporté de l'incrément sur ma notoriété. À quoi ça sert ? Ça sert évidemment
02:14à trois choses. Ça sert à mesurer, c'est le premier élément, réussir à mesurer tous
02:17les canaux à peu près de la même manière, que ce soit de la télé, que ce soit du search,
02:22que ce soit des campagnes display, réussir à les mesurer tous de la même manière pour
02:26pouvoir derrière prendre des enseignements et optimiser. Puisque c'est de la data, on
02:31peut aller encore au-delà puisqu'on peut se permettre de tirer des traits encore plus
02:33loin et de prédire et de se dire finalement je fais une analyse du passé avec tout ce
02:37que j'ai comme historique mais je suis capable de regarder si je peux aller beaucoup plus
02:40loin. Qu'est-ce qui se passe si je change une variable telle que mon investissement
02:44en télé et que je le mets sur les réseaux sociaux ? Quel impact ça aurait dans cette
02:49approche-là ? On en sort trois indicateurs de ce marketing mix modeling et ça quels
02:56que soient les variables que l'on intègre. On en sort une contribution. Est-ce que mon
03:01search a contribué à générer des ventes ? Est-ce que mon search a généré du trafic
03:05en point de vente ? Quel est son rôle dans cette équation-là ? On en sort du retour
03:09sur investissement évidemment et encore plus pour des variables qui ont évidemment des
03:13montants d'investissement. Derrière pour des variables qui n'en ont pas forcément il faut
03:16le calculer. Si je prends de l'influence, quel est le media value de mon influence ? Qu'est-ce
03:22que ça permet de générer ? Et puis derrière surtout en fait j'ai de la saturation. Pour
03:27un euro investi supplémentaire est-ce que vraiment je peux aller chercher de l'efficacité
03:30supplémentaire ou est-ce qu'en réalité non ? Je sature et donc j'ai peut-être intérêt à
03:34repenser l'équation autrement et ça pour chacune des variables que j'intègre. C'est ça finalement
03:39le marketing mix modeling, c'est pouvoir mesurer l'ensemble des facteurs marketing,
03:43médias, acquisitions, publicitaires qui permettent de générer du business. Maintenant face à ça,
03:49c'est des projets qui sont maintenant très historiques, on en entend tous parler depuis
03:53des années. Quelque chose qui a commencé dans les années 70, beaucoup dans le CPG FMCG et qui
03:58redevient évidemment à la mode à l'heure où le cookie a tendance à s'effondrer, à l'heure où on
04:03est dans un contexte macroéconomique complexe sur lequel forcément on a envie d'optimiser ses
04:07investissements et aller plus loin pour pouvoir être sûr d'avoir de la performance. C'est quelque
04:13chose qui est très présent maintenant chez beaucoup d'annonceurs et puis beaucoup d'autres
04:16annonceurs qui l'ont programmé pour les années à venir et donc on va rentrer un peu dans les
04:21écueils de ce que l'on voit le plus fréquemment sur ces sujets là et donc on a sélectionné cinq
04:25écueils les plus les plus frappants. Le premier comme c'est un modèle statistique finalement c'est
04:31qu'on peut oublier des variables et donc ça c'est un impact qui est assez significatif. Ici on a un
04:36exemple globalement donc là j'ai un modèle économétrique qui a tourné qui sort que j'ai
04:42des résultats qui sont naturels qu'on appelle baseline qui sont générés parce que finalement
04:47c'est une marque qui est établie dans le cas présent et j'ai mon efficacité médiatique qui apporte 25%
04:53d'incréments de business à cette entreprise. Quand on zoom ensuite dans les 25% on a un modèle où
04:58finalement on a oublié d'intégrer la télé pour plein de raisons. Pour plein de raisons parce que
05:03peut-être qu'il y a eu un changement d'agence et que reconstituer l'historique c'était compliqué.
05:08Peut-être que la donnée n'était pas de bonne qualité, elle était compliquée à intégrer et
05:12donc forcément ça donne des résultats avec quelques canaux. Imaginons que j'ai dix canaux,
05:17ce sera même peut-être plus facile que cet exemple là, j'ai dix canaux pour se répartir 25% en
05:20réalité. À partir du moment où je rajoute un qui a un impact significatif qui sera du coup le
05:25onzième, j'ai toujours potentiellement 25% à me répartir mais cette fois-ci avec un onzième. Il y a
05:30un onzième qui en plus de ça dans certains cas de figure peut avoir de l'impact très fort. Dans
05:34cet exemple évidemment c'est que des chiffres qui sont fictifs mais cet exemple là sur la télé,
05:38si on se dit que la télé a un impact très significatif pour ce modèle là, elle vient
05:43finalement récupérer des contributions d'autres canaux qui étaient déjà établis et donc forcément
05:47ça fausse complètement la manière de lire les choses. Tout ça pour dire que ce cas d'usage là
05:52c'est quelque chose que l'on voit très fréquemment où on se dit finalement j'aurais bien analysé les
05:57choses autrement, j'aurais bien rajouté une variable, j'aurais bien aimé rentrer dans de la
06:00granularité mais malheureusement je n'avais pas anticipé et donc ça change complètement la
06:05lecture des choses donc c'est important de penser le cadrage dès le début et l'ensemble des données
06:10qu'on souhaite intégrer. Le deuxième élément c'est que très souvent historiquement dans l'ensemble
06:15de ces projets il y a un décalage très fort entre l'analyse et l'opération et bien souvent
06:21finalement on arrive avec un résultat qui est très macro, peut-être trop macro, qui intéresse
06:26énormément des membres du comex mais qui quand on rentre dans le détail peut poser des problèmes,
06:30peut poser des problèmes beaucoup plus aux équipes opérationnelles. L'exemple le plus fréquent que
06:35l'on voit vraiment dans quasiment tout l'MMM historique c'est que finalement ça descend pas
06:40assez bas et donc là j'ai un exemple sur lequel j'arrive à avoir une valeur, une contribution à
06:46un ROI pour chacun, chacune des grandes tactiques, grandes familles qui ont été activées sauf que
06:51derrière en fait qu'est ce que j'en fais ? Ok on me dit que le social, potentiellement ça me fait
06:55de l'incrément, que j'ai du ROI, intellectuellement je me dis bah tiens je vais peut-être accélérer dessus,
06:59ok mais j'en fais quoi en fait ? Est-ce que c'est de l'influence ? Est-ce que c'est mon organique ? Est-ce
07:04que c'est un patch post qui est là plutôt pour vendre, expliquer ma marque et travailler ma
07:08considération ? Est-ce que c'est plutôt du drive to store ? Est-ce que c'est du drive to web ? Je le
07:12sais pas, je suis à l'aveugle. Donc c'est important évidemment d'intégrer des équipes opérationnelles
07:16pour réfléchir à la manière de l'opérer et se dire finalement qu'est ce que je veux en sortir
07:22de cette approche là ? Et jusqu'où je peux la rendre opérationnelle ? Et on peut descendre
07:25aujourd'hui de plus en plus bas. Le troisième écueil que l'on voit assez fréquemment c'est que
07:30les résultats peuvent être mal interprétés. Ça rejoint un peu le premier point finalement, c'est
07:35de se dire je regarde les résultats sous un prisme en réalité, à partir du moment où je fais une analyse
07:39quelle qu'elle soit en réalité, la data je peux toujours lui faire dire ce que je veux en termes
07:43de résultats. Si je regarde un modèle qui est basé exclusivement sur du chiffre d'affaires d'une
07:48entreprise, évidemment j'ai des canaux qui vont être assez normalement exclus en termes de retour
07:56sur investissement, même d'identification du chiffre d'affaires incrémental que ça a pu
08:00générer. Si je le regarde sous d'autres prismes, je peux avoir évidemment un autre regard. Le risque
08:06c'est de se dire j'ai fait un modèle sur du chiffre d'affaires, je vois que ma campagne de
08:13sponsor télé de Koh-Lanta par exemple n'a pas fonctionné. Elle ne génère pas de chiffre d'affaires
08:18incrémentale, en tout cas elle n'en explique pas. Tout de suite je me dis en fait là je peux
08:23récupérer 500 000, 1 million, 2 millions d'euros d'investissement sur ma période et le réinvestir
08:28ailleurs. Mais peut-être qu'en réalité si on fait tourner un modèle sous un autre prisme, sous un
08:33prisme peut-être un peu plus long terme que très court terme de génération de chiffre d'affaires,
08:37je peux identifier des résultats autrement. Et donc là c'est un autre exemple sur lequel on fait
08:42tourner un modèle cette fois-ci sur des indicateurs de marques, notoriété spontanée, assisté,
08:46considérations etc. Et là on se rend compte que tout d'un coup en fait le sponsoring télé c'était
08:50quelque chose qui était extrêmement fort parce que c'était une répétition de messages qui était
08:54clé et qui travaille sur du long terme la connaissance de la marque. Et donc finalement
08:59est-ce que j'ai intérêt à la couper ? Ici je me dis que oui potentiellement, ici j'y réfléchis
09:05peut-être autrement et je repense ma stratégie peut-être différemment. Quatrième écueil qui
09:12en découle un petit peu c'est finalement de se dire dans un calcul mathématique est-ce que je
09:16traite tous les canaux de la même manière ? Parce que l'approche c'est de réussir à évaluer tout
09:20le monde, que ce soit du online, du offline, de la télé, de la presse, de l'affichage, du search, des
09:26réseaux sociaux, du display, de la vidéo etc. Et finalement en fait ils sont tous spécifiques.
09:31Est-ce que je dois les traiter totalement de la même manière dans les calculs ? Dans 90% des
09:36modèles que l'on voit c'est quasiment toujours le cas alors qu'en fait ils ont tous des spécificités
09:40très fortes. Je vais en donner deux qui sont assez marquantes. Je prends ma télé
09:45évidemment que je cherche à faire du reach a priori dans beaucoup de cas de figure. Je prends mon
09:50marketing relationnel d'email en fait en termes de base de données elle est finie par nature. Alors
09:56oui elle peut évoluer positivement et heureusement mais en soit si j'ai 3 millions de personnes dans
10:01ma base j'en ai 3 millions dans ma base et donc je peux pas aller en chercher plus. Donc forcément
10:06je suis limité. Est-ce que je dois le traiter de la même manière que la télé qui est capable de
10:09toucher plusieurs millions ? C'est une vraie question et donc ça forcément peut-être que non. L'approche
10:16est de le traiter et de s'adapter à chacun des canaux qui ont des spécificités et ça c'est
10:21valable pour tous les canaux. J'ai pris deux canaux qui étaient un peu différents mais si je prends le
10:24search par exemple qui est plutôt en bas du tunnel. Est-ce que je le traite de la même manière ? Est-ce
10:28que je traite la marque, leur marque, le shopping de la même manière ? Peut-être pas. Ils jouent un
10:33rôle à un moment dans le parcours et donc forcément il faut les apprécier d'une bonne
10:37manière. Ce qui nous fait arriver sur le cinquième point en fait c'est que tous ces sujets-là de
10:41marketing mix modeling on le prend sous un prisme qui est très connaissance du marketing et de son
10:47optimisation mais c'est un sujet qui est très data en réalité. Et donc le dernier écueil que l'on
10:52remonte évidemment c'est de ne pas s'intéresser aux modèles et se dire ben moi je suis directeur de
10:55la communication, je suis directeur média, je suis directeur marketing, ça me dépasse un peu tous
11:00ces sujets là. Sauf qu'en fait derrière c'est du calcul mathématique et il existe trois grandes
11:06familles, il en existe plus en réalité mais il existe au moins trois grandes familles de modèles.
11:10Et puis derrière il existe même des paquets d'open source qui sont proposés entre autres par
11:13Google et Meta. Est-ce que je les apprécie de la même manière ? Est-ce qu'ils font la même chose ?
11:17Peut-être pas totalement. Je vais peut-être pas forcément tous les détailler mais peut-être un
11:22élément saillant, si je prends de l'ABM qui est de l'account based marketing, son objectif c'est
11:27de simuler des parcours consommateurs, prospects, clients et de se dire quelle relation il va avoir
11:32avec un parcours où il va être confronté à deux publicités, dix publicités, des publicités en
11:38affichage, en presse, en télé. Et donc forcément il va avoir finalement une capacité à faire de
11:45l'ordonnancement des canaux, un peu moins sur une vision par contre de mesure directe du chiffre
11:50d'affaires incrémental. Si je prends le cas de l'approche bayésienne qui est en plus d'ailleurs
11:53celle proposée par Google, celle-ci elle permet de se poser toutes les questions du chiffre d'affaires
11:59incrémental mais potentiellement suivant à qui je la confie elle peut avoir un biais. Son biais
12:04c'est que derrière je peux mettre des priorités à chacune des variables et à chacun des canaux.
12:09Je peux dire par nature je sais que d'un point de vue analytics mon search est un ROI de 20 et donc
12:17je peux lui dire en fait dans le calcul mathématique que tu vas faire par du principe que mon search
12:21il va être entre 18 et 22. En fait je rajoute un biais énorme dans ce cas de figure là, en tout
12:26cas sur un premier modèle je peux rajouter un biais énorme si je me trompe dans l'information
12:31que je lui transmets. Par contre ça peut avoir des avantages celui-ci c'est de se dire finalement
12:35j'ai déjà fait un modèle où j'ai laissé libre cours pour identifier le bon retour sur investissement
12:39et la bonne contribution mais par contre en temps de je veux refaire le modèle pour faire une mise
12:45à jour un trimestre après un semestre après un an après et donc là par contre j'ai des enseignements
12:50qui sont riches que je peux intégrer. Si je sais que ma télé a fait entre 8 et 10 potentiellement
12:56je vais peut-être la mettre entre 7 et 11 pour pas qu'elle parte totalement dans tous les sens.
13:04Finalement en conclusion ce sujet là du marketing UX modeling c'est la composante de trois éléments.
13:09C'est un projet data, c'est un projet data qui est un peu structurant et suivant la granularité qu'on a envie d'avoir il faut l'anticiper
13:16ce qui veut dire que c'est aussi un projet qui est très conseil en réalité il faut réussir à mettre tout le monde autour
13:20d'une table. Si je veux savoir l'efficacité de la promo du prix
13:23par rapport à mes médias c'est des choses qui sont possibles il faut pouvoir prendre toutes ces considérations là en amont.
13:29Et puis c'est du calcul mathématique et sur lequel il faut s'y intéresser un tout petit peu parce que on peut rajouter des biais très fort
13:34suivant l'approche que l'on prend.
13:36Ce qui fait qu'au final nous notre recommandation
13:39généralement c'est de choisir le bon partenaire et de réfléchir à pourquoi est-ce que je vais aller vers une solution plutôt qu'une autre.
13:46Voilà c'est tout pour moi merci beaucoup.