Catégorie
🤖
TechnologieTranscription
00:00 Voilà. Alors on va passer à la présentation de Clara Jean de l'école
00:05 de management de Grenoble.
00:07 Vous êtes professeure assistant en système d'information donc à
00:12 Grenoble et vos recherches portent notamment sous les biais
00:15 algorithmiques.
00:16 Vous allez nous présenter un papier "Compromis dans l'automatisation
00:20 de la conformité réglementaire des plateformes par algorithme,
00:24 preuve de la pandémie de Covid-19".
00:27 C'est ça ?
00:28 - C'est bien ça.
00:29 - Merci.
00:30 C'est un papier co-écrit je crois.
00:31 - C'est exactement ça.
00:32 Donc bonjour à toutes et à tous.
00:35 Tout d'abord je tiens à remercier l'ARCOM et ses membres de l'organisation
00:38 de cette journée et merci pour cette présentation.
00:42 Donc ici nous allons donc aujourd'hui, je vais vous présenter un travail
00:50 qui a été co-écrit avec Vincent Lefraire et Gracia Cecere de l'Institut
00:55 Humane Télécom Business School et également en collaboration avec
00:58 Catherine Tucker du MIT Sloan School of Management.
01:02 Et aujourd'hui nous allons voir un petit peu si ces algorithmes peuvent
01:07 être utilisés comme moyens, comme outils de régulation du contenu
01:11 publicitaire en ligne.
01:12 Donc pour mettre un petit peu de contexte à notre étude, ici il a été
01:18 déjà évoqué lors des deux présentations précédentes que les
01:22 plateformes sont soumises à davantage de pression avec un besoin de plus
01:27 de transparence ici sur le contrôle des contenus qui sont faits,
01:31 qui est fait pardon, sur leurs plateformes.
01:34 En particulier une attention toute particulière sur la publicité qui
01:39 porte sur le champ politique.
01:42 Étant donné que pour le moment nous n'avons pas de régulation au
01:47 niveau mondial de la publicité, les plateformes définissent leurs
01:51 propres règles pour réguler et monitorer le contenu qui apparaît sur
01:58 leur plateforme.
01:59 Et étant donné le volume de publicité ici présent, elles utilisent très
02:05 souvent des algorithmes.
02:07 Ici l'utilisation d'algorithmes peut représenter un enjeu pour ces
02:12 plateformes.
02:13 Premièrement parce que les données utilisées en input ne sont pas toujours
02:18 ici pertinentes ou bien parce que les résultats fournis par ces algorithmes
02:23 ne sont pas vraiment appropriés.
02:25 Donc ici la question que l'on va tout simplement poser c'est est-ce que
02:29 les algorithmes peuvent être utilisés tout simplement comme outil de
02:34 régulation des contenus publicitaires en ligne.
02:37 Nous allons nous intéresser au contexte de la publicité en ligne et
02:43 en particulier nous allons tout simplement montrer ici en quelques
02:49 lignes pour résumer que ces algorithmes donnent lieu à ce qu'on appelle
02:53 des faux positifs qui se traduit tout simplement par de la misclassification
02:57 de publicité.
02:58 Et en l'occurrence cette misclassification de publicité a donné
03:03 lieu dans le cadre de la pandémie de Covid-19 à disqualifier des publicités
03:08 et à ne plus les afficher aux utilisateurs.
03:11 Et cet effet est principalement dominant pour les organisations
03:14 gouvernementales ce qui est un petit peu paradoxal.
03:17 On a évoqué la désinformation tout à l'heure et ce sont en général
03:21 des organisations qui sont les moins susceptibles de diffuser de la
03:25 désinformation.
03:26 Donc pour agamenter un petit peu le contexte évoqué précédemment
03:31 il n'y a pas à l'heure actuelle de régulation très explicite sur la
03:37 régulation de contenu publicitaire politique sur Internet.
03:41 Par conséquent les plateformes et c'est en particulier le cas de la
03:46 plateforme que nous allons étudier aujourd'hui ex-Facebook et aujourd'hui
03:49 Meta, utilisent tout simplement des régulations qui sont développées
03:53 dans un contexte analogique qui régule le contenu ici politique
03:58 notamment la télévision aux États-Unis.
04:01 Et donc ces plateformes utilisent ces régulations qui sont développées
04:05 dans un contexte analogique et les met en place en ligne.
04:10 Ici pour davantage de transparence comme ça a été également évoqué
04:15 tout à l'heure et suite à la pression des commissions de la Commission
04:19 européenne sur assurer que les utilisateurs puissent bien
04:22 comprendre le but et l'objectif d'une publicité et éviter la
04:25 désinformation.
04:26 Elles incitent donc ces plateformes à plus de transparence et une des
04:31 réponses de ces plateformes c'est de mettre à disposition ces
04:35 publicités à travers des publicités, des librairies publiques qui
04:39 permettent tout simplement de consulter la publicité qui a été réalisée
04:43 et qui est à l'origine du financement de cette publicité.
04:45 Enfin étant donné le volume de publicité sur ces plateformes
04:51 elles utilisent des algorithmes pour justement automatiser
04:54 l'évaluation de contenu.
04:56 Dans le cadre de Facebook il y a plusieurs catégories de publicité
05:01 on va dire deux majeures, une catégorie qui regroupe toutes
05:05 les publicités et une catégorie plus précise, plus spécifique qui
05:09 s'appelle "Social Issue Election and Politics" qui a pour objectif
05:15 de tout simplement davantage contrôler les publicités qui appartiennent
05:19 aux champs politiques.
05:20 Donc il faut savoir que pour réaliser une publicité dans cette catégorie
05:26 il faut d'abord avoir réalisé un processus d'autorisation par la
05:30 plateforme afin d'obtenir un label qui permet de tout simplement
05:33 indiquer qui a financé ce contenu publicitaire.
05:37 Ici ce processus d'autorisation est basé sur des règles traditionnelles,
05:44 des règles politiques traditionnelles et l'origine du paiement doit
05:50 être clairement identifiable.
05:52 Ici il est important de noter que Facebook indique clairement que
05:57 les publicités liées à la Covid-19 ne rentraient pas toutes dans cette
06:01 catégorie, uniquement celles qui mentionnaient un contexte politique.
06:06 Donc nous nous sommes donc intéressés ici à cette catégorie et afin
06:13 de clarifier un petit peu ici les rôles des différents agents et
06:17 des différents outils sur cette plateforme.
06:19 Il faut savoir qu'en tant que publicitaire pour réaliser une
06:22 publicité on a souvent recours au Facebook Ad Manager.
06:26 Donc on va réaliser notre publicité et puis le publicitaire doit
06:30 choisir compte tenu des règles disponibles et émises par Facebook
06:35 si cette publicité tombe dans le champ de cette catégorie à savoir
06:38 une catégorie d'ordre politique.
06:40 Donc pour l'indiquer le publicitaire doit cocher une case et ce qui va
06:45 nous intéresser ici c'est davantage l'étape numéro deux à savoir
06:49 la vérification par l'algorithme du choix qui a été fait par le publicitaire.
06:54 Ici l'algorithme va lui-même décider si selon lui compte tenu des règles
06:59 émises par Facebook si le contenu qui a été soumis par un publicitaire
07:03 relève ou non du champ politique et donc relève ou non ici de la
07:08 politique de cette catégorie.
07:11 Donc ici il faut savoir que si l'algorithme décide que selon lui
07:18 la publicité tombe dans cette catégorie, la publicité fait l'objet
07:23 d'une régulation supplémentaire qui doit tout simplement qui consiste
07:27 à indiquer qui a financé cette publicité.
07:29 Si l'organisation qui a financé cette publicité n'est pas disponible
07:35 dans ce cas là la publicité est disqualifiée et elle n'est plus
07:37 montrée aux utilisateurs.
07:38 Donc ici ce qui nous intéresse c'est l'étape numéro deux et vous avez
07:43 ici un exemple d'une publicité qui a été disqualifiée sur Facebook
07:46 qui a été réalisée par le gouvernement du Royaume-Uni et afin
07:51 d'indiquer tout simplement que cette publicité n'était pas en conformité
07:54 avec les règles de cette catégorie.
07:57 Vous avez tout en haut de la publicité "This ad ran without a disclaimer"
08:01 qui indique tout simplement que le gouvernement ici du Royaume-Uni
08:06 n'était pas en conformité selon l'algorithme puisque selon
08:11 l'algorithme cette publicité a une dimension politique.
08:17 Donc nous avons collecté des données relatives aux publicités qui
08:23 portaient sur la pandémie de Covid-19.
08:25 Nous avons utilisé l'API donc Application Programming Interface
08:29 de la Facebook Ad Library et donc nous avons collecté les publicités
08:33 dans cette catégorie spéciale.
08:36 Nous avons collecté des données qui ont été réalisées aux Etats-Unis
08:41 et en Europe entre janvier et juin 2020 et nous avons utilisé ici
08:46 comme mots clés de recherche "coronavirus" et "covid" qui étaient
08:49 les mots les plus utilisés sur Google Trends à ce moment-là.
08:52 Pour agrémenter davantage ici les informations que nous avons,
08:56 nous voulions un petit peu savoir qui étaient ces individus,
08:59 ces organisations qui réalisaient ces publicités et donc nous avons
09:03 par moyen de web scrapping collecté des informations complémentaires
09:08 disponibles sur la page Facebook de ces publicitaires.
09:11 Et enfin, afin de comparer tout simplement des advertisers,
09:16 des publicitaires qui étaient actifs de manière égalitaire ici
09:20 sur les publicités, nous avons considéré uniquement
09:23 les publicitaires qui ont réalisé au moins deux publicités liées
09:26 à la Covid-19.
09:28 Enfin, nous avons également collecté les données qui n'étaient pas
09:32 reliées à cette pandémie mais qui étaient également réalisées
09:35 par ces mêmes advertisers, par ces mêmes publicitaires,
09:37 afin d'avoir un contrefactuel.
09:40 Donc la question qu'on peut se poser tout simplement,
09:44 c'est quelle est la précision ici de la classification qui est faite
09:48 par l'algorithme, à savoir est-ce qu'une publicité doit tomber
09:50 dans cette catégorie particulière ou plutôt tomber dans la catégorie
09:55 "All Ads".
09:56 Donc ici, nous avons utilisé une plateforme, Amazon Mechanical Turk,
10:02 où nous avons soumis à 100 individus sur cette plateforme les règles
10:10 tout simplement de Facebook concernant ces contribs politiques
10:13 et tout simplement, nous leur avons demandé si selon eux,
10:17 basé sur les 100 publicités portant sur le Covid qui avaient été
10:21 disqualifiées par l'algorithme, est-ce que ces publicités
10:24 relevaient de cette catégorie ou non.
10:25 Nous avons pris des individus qui avaient un taux d'approbation
10:29 de plus de 99% pour s'assurer de la qualité ici des individus
10:33 et des réponses que nous allions avoir.
10:35 Et ici, une publicité est considérée comme politique si la majorité
10:39 des individus la classifie comme politique.
10:42 Ici, on voit d'ores et déjà et c'est quelque chose qui a déjà été
10:45 montré dans la littérature auparavant, en particulier en système
10:48 d'information et en informatique, la présence de faux positifs.
10:52 Nous avons 12% des publicités qui sont considérées comme non politiques
10:56 par ces individus et la majorité d'entre eux, 94% d'entre eux
11:03 quasiment sont sûrs ici de leur choix.
11:05 Nous avons au préalable vérifié que ces individus étaient bien
11:09 en capacité de comprendre les règles qui étaient évoquées,
11:12 où nous avons soumis cinq publicités qui étaient clairement
11:16 politiques et sur ces cinq publicités clairement politiques,
11:20 la totalité ont été classifiées comme politiques par ces individus.
11:23 Donc, ça marche, merci.
11:26 La différence ici de classification entre les humains et les
11:31 algorithmes pose la question de la qualité de la classification
11:38 par l'algorithme de certaines publicités dans une catégorie.
11:40 Et nous voulions voir les conséquences de cette classification
11:44 ou de cette misclassification en termes de diffusion de contenu.
11:47 Donc, nous sommes intéressés au taux de disqualification des publicités.
11:52 Et l'on peut voir ici que les publicités portant sur la COVID-19,
11:55 ce sont celles qui se sont faits le plus disqualifiées,
11:58 donc qui n'ont pas été diffusées auprès des utilisateurs.
12:01 Si on s'intéresse davantage aux organisations à l'origine de ces
12:06 publicités, on observe un résultat un petit peu surprenant qui est
12:09 que parmi ces organisations, les organisations gouvernementales,
12:15 par exemple le Parlement européen ou la Commission européenne,
12:18 qui ont réalisé des publicités sur la COVID-19, se font plus
12:21 bannir que les autres.
12:23 Ce qui est un petit peu contre-intuitif,
12:24 étant donné qu'en général, ce sont des organisations qui sont
12:27 les moins susceptibles de diffuser de la désinformation.
12:29 Enfin, on s'est posé un petit peu la question à savoir,
12:34 parce que ce sont ici des organisations qui ne connaissent pas
12:37 vraiment comment fonctionnent Facebook et les règles de Facebook.
12:40 Et donc, nous avons utilisé le Verified Badge qui a été introduit
12:44 par Facebook en 2013, tout simplement, qui permet de vérifier
12:50 si les publicitaires qui ont l'habitude de réaliser des publicités
12:53 dans cette catégorie expérimentent le même taux de disqualification
12:57 que les autres.
12:58 Et on voit ici que c'est le cas.
13:00 Tout simplement, ici, il semblerait que ce ne soit
13:04 pas un manque de connaissance des règles de la plateforme,
13:07 puisque qu'ils soient vérifiés, donc qu'ils aient l'habitude ou pas
13:10 de réaliser des publicités dans cette catégorie,
13:12 le taux de disqualification est le même.
13:14 Par ailleurs, on voit que cet effet est un petit peu plus fort
13:20 pour les organisations, ici, gouvernementales européennes,
13:23 qui peuvent s'expliquer par le fait que Facebook applique
13:26 de manière mondiale une régulation basée ici sur leur propre contexte
13:33 analogique et qui est basé aux Etats-Unis.
13:36 Donc, il peut être un "truc" un petit peu moins connu
13:40 des organisations, ici, européennes.
13:43 La deuxième partie, on s'est posé la question,
13:48 est-ce que ces publicités contiennent tout simplement
13:50 des propos trompeurs qui pouvaient justifier le fait que ces publicités
13:55 aient été disqualifiées par l'algorithme ?
13:57 Donc, nous avons sélectionné un échantillon aléatoire
14:00 de 1 000 publicités disqualifiées portant sur la Covid-19
14:04 et nous avons utilisé comme critère, ici, pour distinguer
14:07 les propos trompeurs ou les propos erronés,
14:13 tout simplement les items, les éléments fournis
14:16 par l'Australian Competition and Consumer Commission
14:18 et également ceux de la FTC.
14:21 Et on voit que seulement 5 % des publicités
14:23 pourraient contenir potentiellement des informations
14:28 qui pourraient induire, ici, l'utilisateur en erreur.
14:31 Il faut noter, ici, que toutes ces publicités
14:34 sont réalisées par des organisations non gouvernementales.
14:38 Merci.
14:41 Enfin, on peut se poser un petit peu la question
14:43 de la portée de cette disqualification
14:46 puisque, une fois que la publicité est disqualifiée,
14:49 le publicitaire peut resommettre sa publicité.
14:52 Donc, on pourrait se dire que l'étendue est moindre.
14:56 Malheureusement, ce n'est pas le cas.
14:58 Seulement 30 % des publicités disqualifiées sont ressoumises,
15:01 suggérant vraiment une limite, ici, d'accès à l'information
15:04 de la part de l'utilisateur.
15:05 Et parmi les publicités qui sont ressoumises,
15:09 ici, la majorité reste disqualifiée,
15:11 donc ne sont toujours pas affichées auprès de l'utilisateur.
15:15 Il est important de noter que les organisations
15:18 non gouvernementales sont celles qui sont les plus susceptibles
15:21 de comprendre les règles, ici, de méta,
15:23 étant donné que ce sont celles qui ont un taux de ressoumission
15:26 et de publication, à la fin, plus élevé que les autres.
15:29 Donc, enfin, pour finir, ici, nous avons également vérifié
15:34 si ces résultats pouvaient être expliqués
15:36 par la taille des publicitaires ou par leur expérience.
15:38 Ce n'est pas le cas.
15:40 Et nous avons également réalisé que nous avions estimé,
15:42 on va dire, sous-estimé un petit peu l'effet
15:46 quand on considère une publicité,
15:48 la version unique d'une publicité,
15:50 puisqu'elle peut être dupliquée
15:52 en fonction des critères de ciblage
15:55 et les taux de disqualification sont bien plus importants.
15:58 Presque 5 % pour les publicités Covid
16:01 et presque 6,30 % pour les publicités Covid
16:04 réalisées par les organisations gouvernementales.
16:07 Et je crois que je suis hors temps.
16:08 -C'est bon. Merci beaucoup.
16:10 -Merci. -Merci à vous.
16:12 (...)