Mercredi 31 mai 2023, SMART TECH reçoit Agnès Delaborde (responsable du Département Évaluation de l’intelligence artificielle et Cybersécurité, LNE)
Category
🗞
NewsTranscription
00:00 ...
00:05 -Je suis en compagnie d'Agnès Delaborne.
00:08 Merci d'être avec nous en plateau dans "Smartech".
00:11 Vous êtes la responsable du département
00:13 évaluation de l'intelligence artificielle
00:16 et cybersécurité du LNE,
00:17 Laboratoire National de Métrologie et d'Essai.
00:21 Ca veut dire qu'on sait aujourd'hui mesurer, évaluer,
00:24 lier les algorithmes.
00:26 Qu'est-ce qu'on sait faire en la matière ?
00:29 -Oui, j'avais noté en introduction que vous pensez que l'on sait.
00:32 J'ai envie de dire qu'on sait de mieux en mieux.
00:35 Tout n'est encore pas couvert, tout n'est pas encore garanti,
00:39 mais en tout cas, c'est l'essence même de notre travail au LNE.
00:43 -Que mesurez-vous, très concrètement ?
00:45 -Ce qui peut être mesuré, c'est-à-dire du côté de l'IA,
00:49 pas grand-chose, si on prend le sens métrologique du terme,
00:52 de la mesure, on va prendre un mètre ruban.
00:55 Là, on n'est pas exactement dans les mêmes considérations.
01:00 On sait que par rapport à l'IA, il y a des questions de performance,
01:03 donc s'assurer que le système réalise bien la tâche prévue.
01:07 Ca a un impact économique.
01:09 Est-ce que le produit est bon, par exemple ?
01:11 Est-ce qu'il répond à ce que le fabricant voulait faire ?
01:15 Mais on va estimer, on n'emploiera pas forcément mesurer,
01:19 pour rester précis, ce qu'on va essayer d'estimer,
01:23 de quantifier, de qualifier.
01:25 Ca va être également des aspects un peu plus subtils
01:28 et difficiles à observer, du type...
01:31 la sécurité, au sens "sûreté de fonctionnement" d'un système.
01:35 Est-ce que ça ne va pas occasionner des dommages ?
01:39 On va également se pencher sur des questions
01:43 qui vont être plus proches de l'éthique.
01:45 Pareil, ce terme "éthique", on fait très attention,
01:48 il est beaucoup employé.
01:49 Donc on va parler peut-être d'impact sociétal,
01:53 s'assurer que l'IA ne va pas porter préjudice
01:57 aux citoyens, par exemple, aux consommateurs,
02:00 ou même au public, qui n'a rien demandé
02:03 et qui n'utilise pas l'IA, mais qui pourrait être impacté.
02:06 -Il y a beaucoup de choses dans ce que vous dites.
02:09 On va prendre les choses une par une.
02:11 Est-ce que ça vous demande d'avoir accès
02:13 au secret de fabrication, à l'algorithme ?
02:17 -Pas toujours. -Pas toujours.
02:18 -Pas toujours, parce qu'on a la possibilité de l'avoir
02:22 dans le cadre de nos différents échanges avec l'industrie,
02:25 selon le type de contrat, selon le type de projet.
02:28 Parfois, on a accès, on peut interagir
02:31 avec les développeurs, on peut être dans le secret
02:33 de la fabrication.
02:35 -Si une entreprise vient vous voir,
02:37 par exemple, pour certifier une IA ou un algorithme.
02:40 -Evaluer ou certifier.
02:42 Et dans ces cas de figure,
02:44 oui, on peut avoir accès à certains types d'éléments.
02:47 Par contre, très souvent, même si on ouvre la boîte,
02:51 on se trouve face à des systèmes tellement complexes,
02:53 des réseaux de neurones,
02:55 on aura beau les voir et les regarder à l'intérieur,
02:58 ça ne va pas plus nous indiquer.
03:00 Dans l'idée, on a une approche qui est plutôt boîte noire
03:03 de l'évaluation, où on sait qu'on va contrôler
03:06 tout ce qu'on donne en entrée, tous les stimuli en entrée.
03:09 On met le système dans un environnement particulier
03:12 et ce qu'on va observer, à la fin, c'est la sortie.
03:15 Et ce mécanisme en boîte noire
03:18 ne présuppose pas qu'on sache exactement ce qu'il y a dedans,
03:21 mais ce qu'on va observer, c'est, pour une entrée donnée,
03:25 est-ce que le résultat est acceptable ou pas ?
03:28 -Est-ce que vous pouvez nous donner quelques exemples
03:31 de travaux très précis sur lesquels vous avez pu avancer,
03:35 des projets qu'on vous a confiés,
03:37 sur lesquels on vous a demandé d'évaluer
03:40 des IA ?
03:41 -Oui, et juste avant,
03:42 vous avez mentionné la question de la certification.
03:45 J'espère qu'on reviendra dessus,
03:47 mais la grosse différence, pour nous,
03:49 c'est deux activités différentes.
03:51 L'idée d'évaluer, là, on va juste observer
03:54 les performances, le comportement du système,
03:57 mais on ne porte pas de jugement.
03:59 On observe, on donne des résultats, et c'est tout.
04:02 La certification, c'est le côté "mettre un tampon" et "valider".
04:06 Dans la démarche, c'est tout à fait différent
04:09 et c'est très clivé chez nous.
04:11 C'est pas les mêmes procédés.
04:12 Je vais rester du côté évaluation.
04:14 On pourra parler de la certification.
04:17 Du côté de l'évaluation, au sein de mon département,
04:20 dans les différents travaux qu'on a pu réaliser,
04:23 ceux qui m'ont marqué le plus
04:26 et qui vont montrer la diversité de notre champ d'action,
04:29 ça va être du côté de la robotique agricole.
04:32 C'est intéressant, du point de vue de l'IA,
04:34 car ce sont des machines autonomes.
04:37 Il y a des morceaux d'IA,
04:38 une prise de décision automatisée
04:40 à certains endroits du système.
04:43 On a travaillé sur l'estimation
04:46 de la sécurité, de la sûreté de fonctionnement de ces systèmes.
04:49 -Sûreté, c'est-à-dire sécurité physique ?
04:52 -Sécurité physique, absence de dommages,
04:54 que le tracteur automatisé n'aille pas traverser une route.
04:58 Et là, nos travaux étaient...
05:00 On n'a pas estimé s'ils sont sûrs ou pas.
05:03 On a travaillé à estimer, avec différents industriels,
05:06 différents fabricants français de robots agricoles,
05:10 d'essayer d'estimer quels pourraient être les dommages causés.
05:14 C'est intéressant dans le rôle du LNE,
05:16 puisqu'on est un tiers indépendant.
05:18 On a pour vocation de rassurer et protéger les consommateurs
05:23 et aider l'industrie à être en conformité,
05:26 à ne pas faire n'importe quoi.
05:27 Ils n'ont pas envie de faire n'importe quoi,
05:30 et on leur donne des outils.
05:32 Et là, l'idée de circonscrire un peu le champ
05:34 de quels peuvent être potentiellement les dommages,
05:37 ça permet également, le mot est un peu fort,
05:40 mais aussi de décharlataniser...
05:42 Je viens de créer le mot.
05:44 La scène de l'IA, où il y a beaucoup de peur,
05:47 portée par les médias très forts,
05:49 on le voit bien sur les réseaux sociaux,
05:52 beaucoup de peur, et là, notre travail était de se dire
05:55 concrètement quels peuvent être les risques,
05:58 qu'est-ce qui peut être raisonnablement prévisible ?
06:01 C'est un type d'approche.
06:03 On fait d'autres travaux dans le cadre desquels
06:06 on apporte notre pierre pour la constitution
06:08 des référentiels d'évaluation.
06:10 On travaille notamment pour l'Agence européenne
06:13 de la sécurité de l'aviation.
06:15 Des travaux qui sont publics depuis peu,
06:19 qui viennent d'être publiés,
06:21 qui, eux, veulent être en mesure d'homologuer,
06:25 de valider les systèmes par apprentissage automatique,
06:29 une des branches de l'IA,
06:32 qui vont être utilisés dans ce domaine.
06:35 Ils ont un référentiel qui est extrêmement bien construit,
06:38 extrêmement abouti.
06:40 Ils ont identifié qu'il y avait certains manques
06:42 qui avaient besoin d'être explorés.
06:44 Par exemple, nos travaux, à l'heure actuelle,
06:47 étaient d'être en mesure de disposer d'outils
06:50 pour qualifier les données,
06:52 c'est-à-dire s'assurer que les données utilisées par l'IA
06:55 étaient de suffisamment bonne qualité.
06:57 -Alors, quel est le bilan, le premier bilan,
07:00 que vous pouvez tirer des différentes évaluations
07:03 que vous avez menées ?
07:04 Est-ce qu'on progresse en matière d'intelligence artificielle
07:08 ? -Je parlais que du point de vue de l'évaluateur.
07:11 Est-ce qu'on progresse du côté de l'IA en termes de développement ?
07:14 Je ne sais pas.
07:16 En tout cas, en termes d'évaluation,
07:18 de capacité de contrôle, de maîtriser l'IA,
07:21 je trouve qu'on progresse.
07:23 Au niveau français, au niveau européen, bien sûr,
07:26 avec l'arrivée de l'EIAct.
07:27 On va dans une direction où,
07:29 même si encore très récemment, avec ChadGPT, etc.,
07:33 il y a eu une levée de bouclier assez phénoménale
07:37 d'un point de vue médiatique
07:38 par rapport aux performances incroyables de ces systèmes
07:42 et la peur qu'elles ne soient plus maîtrisables.
07:45 J'ai envie de dire...
07:47 L'EIAct...
07:49 -Vous n'êtes pas inquiète par les IA génératives ?
07:52 C'est pas un sujet de préoccupation ?
07:54 -Si. -Ah, quand même.
07:55 -C'est un sujet énorme de préoccupation.
07:58 -Qui soulève pas mal de questions.
08:00 -Oui, mais c'est un sujet sur lequel on veut absolument
08:04 rester confiant, on veut apaiser.
08:06 C'est notre fonction.
08:08 Oui, il y a des enjeux énormes,
08:10 on ne diminue pas du tout l'impact
08:14 que ça pourrait avoir,
08:15 les difficultés d'évaluation liées à ces systèmes.
08:18 Par contre, on veut être apaisants,
08:20 dans la mesure où il y a une dynamique
08:23 qui a déjà été initiée, notamment avec un poids lourd,
08:26 l'EIAct, la réglementation européenne,
08:29 qui pose des bases extraordinairement saines.
08:31 -Qui sont aussi remises en question.
08:34 -Il faut le tenir bon.
08:35 Hier, déjà, en plateau, on avait deux chercheurs en EIA
08:38 avec lesquels on a essayé, justement,
08:40 de démystifier quand même tout un tas de fantasmes
08:43 autour des EIAs génératives,
08:45 mais où on a aussi posé les questions
08:48 et regardé quelles étaient les réponses
08:50 qu'on pouvait apporter.
08:52 Notamment, la réglementation européenne
08:54 est jugée quand même assez difficile,
08:58 en tout cas pour créer une EIA générative européenne.
09:03 -Ca semble plus complexe.
09:04 On a l'inquiétude du côté de Jean-Noël Barraud,
09:07 le ministre du Numérique, qui a dit qu'à ce stade,
09:10 la position que le Parlement a prise sur l'EIA est excessive.
09:14 -Excessive ? -Oui, ce sont ces mots.
09:19 -Je ne sais pas en quoi c'est excessif,
09:22 donc je ne vais pas m'exprimer là-dessus.
09:24 -Vous participez...
09:26 Enfin, je veux dire, l'ELNE est partie prenante
09:28 sur cette réglementation européenne ?
09:31 -Oui, sur le suivi de la réglementation,
09:33 sur les consultations associées,
09:35 sur les travaux normatifs également
09:37 pour la création de normes harmonisées.
09:39 Euh...
09:41 Moi, je remarque une chose,
09:42 c'est que l'EIA Act, je ne sais pas à quel point
09:45 il sera parfaitement applicable pour les EIA génératives.
09:49 -Oui. -Je ne sais pas,
09:50 j'ai envie de dire,
09:51 attendons d'avoir un peu de maturité,
09:54 je serai assez positive dans la mesure
09:56 où l'EIA Act a posé beaucoup de fondements simples,
10:01 robustes, déjà éprouvés,
10:02 la notion de marque H&E,
10:04 qui est connue depuis 30 ans dans l'industrie,
10:06 qui est saine.
10:08 Euh...
10:09 On voit déjà, donc, un changement de mentalité
10:12 par rapport à l'EIA,
10:13 l'EIA qui n'était pas réglementé,
10:16 qui était plus du domaine des chercheurs, je pense,
10:19 même si, évidemment, les secteurs industriels
10:21 s'en emparent très fortement.
10:23 Là, l'EIA Act vient et dit,
10:25 "Bon, on le met dans un cadre réglementaire
10:27 "qui est déjà connu."
10:29 Ca élimine beaucoup de parasitages,
10:32 on va dire, de...
10:33 Comment ?
10:34 Ce que la technique peut faire ou ne pas faire.
10:37 Là, on revient à des règles simples,
10:39 des risques prévisibles,
10:41 un système avec des organismes tiers,
10:43 notifiés, une notion de marque H&E.
10:45 On revient à des fondements
10:47 qui, à mon avis, devraient faciliter le travail.
10:50 -De toute façon, tout le monde attend cette réglementation,
10:53 y compris ceux qui travaillent sur ces déploiements,
10:58 parce qu'on est tous bien conscients
11:00 qu'il va falloir un cadre.
11:01 Quels sont, je dirais, les grands points de vigilance
11:05 sur lesquels le LNE pourrait apporter
11:08 des réponses, justement ?
11:10 -Des points de vigilance sur lesquels on peut apporter des réponses ?
11:16 Vous voulez reformuler ? Je vois des points de vigilance
11:19 et les réponses qu'on pourrait apporter.
11:22 Je vais traiter la question à ma sauce.
11:24 Dans les points de vigilance,
11:26 ce qu'on observe, c'est que là, on sait qu'on l'attend.
11:29 Pour 2025, il sera applicable.
11:31 L'industrie devra être prête en 2025.
11:35 On voit énormément d'effervescence,
11:39 parfois, peut-être un peu dans tous les sens,
11:42 des gens qui veulent se mettre en conformité,
11:44 des fabricants qui veulent se mettre en conformité,
11:47 mais au final, ils ne savent pas trop à quoi,
11:50 ce qui sera applicable à eux.
11:52 Ils ont peut-être des difficultés à maîtriser le texte,
11:55 un texte qui n'est pas figé.
11:57 Beaucoup d'effervescence de ce côté-là,
11:59 de l'effervescence du côté
12:01 de tous les mécanismes de certification volontaire
12:05 qui seront utiles, pas utiles, qui sont...
12:08 Bref, il y a une... -C'est une incertitude.
12:10 -Oui. Et face à l'incertitude et à la panique,
12:13 c'est le risque de déviance ou d'aller trop loin
12:16 ou que certains secteurs économiques
12:19 se retrouvent bloqués en se disant
12:21 "la réglementation va nous tomber dessus, mon Dieu, quelle horreur",
12:25 que peut-être il faudrait relativiser.
12:27 Dans nos travaux au LNE,
12:28 c'est justement de trouver le bon compromis,
12:31 faire attention, d'une part,
12:33 que l'IA reste maîtrisable, contrôlable,
12:35 mais pas aller trop loin.
12:37 L'idée même de la réglementation européenne,
12:40 c'est de ne pas surréglementer.
12:42 On ne va pas aller surcontrôler non plus.
12:44 -Les grandes règles sur lesquelles repose la confiance
12:47 qu'on pourra avoir dans ces algorithmes
12:50 et l'intelligence artificielle,
12:51 qu'elles sont-elles ?
12:53 On entend des grands principes comme ça,
12:55 éthiques, du côté d'un organisme comme le LNE,
12:58 qui est un laboratoire qui nous aide
13:00 à travailler sur ces normes de main
13:02 et ces réglementations.
13:04 Quelles sont, je dirais, les grandes règles
13:07 que devraient suivre les algorithmes et les IA ?
13:09 -Celles de l'IA Act.
13:13 -Non, on ne les connaît pas par coeur.
13:15 -On ne les connaît pas par coeur.
13:17 -Je pense que personne ne connaît son contenu précisément,
13:21 derrière la caméra.
13:22 -En tout cas.
13:23 Est-ce que vous pouvez nous donner quelques principes ?
13:26 Je vous ai donné un exemple.
13:28 Que les IA soient toujours au service de l'homme.
13:31 Est-ce qu'il y a d'autres choses qui vous semblent importantes
13:34 à marquer dans une réglementation européenne ?
13:37 -Je ramenais à l'IA Act,
13:39 parce que le gros avantage, c'est que ça part,
13:41 et on le voit dans le préambule du texte,
13:44 et je tiens à noter que les fabricants
13:46 devront connaître le contenu de l'IA Act.
13:48 Ils devront y être conformes.
13:50 Mais à un moment, qu'ils l'ouvrent,
13:52 c'est que, justement, être au service de l'homme
13:55 ou ne pas avoir d'impact négatif, ne pas être préjudiciable, etc.,
13:58 ce sont des objectifs très haut niveau.
14:01 -L'explicabilité, par exemple, peut en faire partie ?
14:04 -Non, on pourra y venir.
14:05 -Pourquoi ? Parce que le temps file, vous savez.
14:08 -D'accord. Et donc, ces grands principes,
14:10 l'avantage de l'IA Act, c'est que ces objectifs généraux
14:14 sont déclinés en exigence très simple.
14:16 Ca sera, par exemple, maîtriser vos données,
14:19 votre processus de collecte.
14:20 Faites bien attention à la façon dont vous testez votre système.
14:24 C'est un ensemble comme ça d'éléments, d'instructions,
14:27 un peu plus clairs et plus simples.
14:29 Parce que dire qu'un système d'IA ne doit pas impacter négativement,
14:33 c'est beau, si tout le monde le veut,
14:35 mais là, ça donne quelques éléments plus concrets.
14:38 -Très bien. Est-ce que le LNE pourrait être sollicité demain
14:41 pour auditer les algorithmes des grandes plateformes,
14:44 comme on a prévu ?
14:45 -On a déjà travaillé pour la Commission européenne
14:48 sur le cadre d'un contrat.
14:50 Ils voulaient faire une analyse en amont
14:52 des capacités d'audit des grandes plateformes.
14:55 Donc, on a publié...
14:57 On a rédigé pour eux un très, très long rapport,
15:00 une étude détaillée de ces capacités d'audit.
15:03 Ce qui veut dire que, par la suite, évidemment,
15:06 vu nos missions, on pourrait tout à fait le réaliser
15:09 pour le compte des organismes de surveillance européens.
15:13 -Alors, vous êtes entrée au LNE en 2017,
15:17 il y a bientôt six ans, en tant qu'ingénieur de recherche.
15:20 Avant, vous étiez chercheur au CNRS et à l'université Paris 4 Sorbonne.
15:24 Vos travaux portaient principalement sur la robotique,
15:28 l'interaction homme-robot.
15:30 Aujourd'hui, vous êtes donc à ce poste.
15:33 Vous succédez à Guillaume Averin,
15:35 qui a pris en charge la stratégie nationale
15:38 pour l'intelligence artificielle, qui est venue sur ce plateau
15:41 avant vous. Vous continuez à travailler ensemble.
15:44 Quel est le lien qui est tissé
15:47 entre un institut de certification,
15:52 un laboratoire qui travaille sur les normes de demain
15:56 et puis les politiques menées au niveau national et européen
16:01 en matière d'intelligence artificielle ?
16:04 -Le LNE est sous tutelle du ministère de l'Industrie.
16:08 Donc, le lien avec le gouvernement est constant.
16:10 Nos missions sont fixées par l'Etat.
16:13 Les liens avec Guillaume Averin,
16:16 naturellement, on se connaissait.
16:18 Évidemment, les liens se poursuivent.
16:20 Après, là où il y a une limite qui est posée,
16:24 c'est qu'il a une autre mission, maintenant,
16:27 qui doit couvrir l'intégralité de l'IA,
16:30 de la scène IA en France.
16:32 Donc, évidemment, il y a un certain cloisonnement,
16:35 maintenant, avec les activités du LNE.
16:37 Donc, bon, par rapport à ça, nous, ce qu'on sait,
16:40 c'est qu'au moins, Guillaume Averin, de par son passé,
16:44 est conscient de ses problématiques,
16:47 de ses problématiques de contrôle de l'IA,
16:49 et qu'il sait, je ne vais pas parler pour lui,
16:52 mais on sait ce qu'il sait,
16:54 ses problématiques de maîtrise et de contrôle de l'IA.
16:58 -Et aussi d'impact de la réglementation
17:02 sur l'industrie ?
17:03 -Pleinement conscient, le LNE est orienté industrie.
17:08 Donc, ce qu'on a observé en premier,
17:10 quel sera cet impact ?
17:11 Positif, négatif, et nous, on essaie de limiter cet impact.
17:15 Que ce ne soit pas trop dur pour le secteur de l'IA
17:17 de se mettre en conformité.
17:19 -Et vous avez le sentiment qu'on a avancé,
17:22 ces 10 dernières années, autour des garde-fous,
17:25 la manière dont, justement, on peut réussir à maîtriser,
17:28 à mieux contrôler le déploiement des IA ?
17:31 -Je suis désolée d'être redondante,
17:33 mais oui, les IA actent.
17:34 C'est...
17:36 -C'est quelque chose que vous attendez,
17:38 car pour l'instant, il n'est pas encore en vigueur.
17:41 -Tout à fait. J'attends avec impatience
17:43 qu'on ait passé ce phénomène d'effervescence.
17:46 -Qu'on a gagné en maturité sur le sujet.
17:48 -Et qu'on gagne encore plus en maturité,
17:51 qu'il devienne applicable, que tout s'apaise
17:53 et que ça rentre dans les mœurs.
17:55 -Merci, Agnès Delaborde. -Avec grand plaisir.
17:58 -Vous êtes la responsable du département évaluation
18:01 de l'IA et cybersécurité du LNE.
18:03 Merci d'avoir répondu à toutes mes questions.
18:06 On va marquer une pause.
18:07 On va parler de game business, de l'industrie du jeu vidéo
18:10 avec Guillaume Monteux.