II. Enseignement de la philosophie et intelligence artificielle, Eric LE COQUIL

Projet EEE

Conférence et échanges inter-lycéens franco-européens diffusés le 23/11/ 2023 sur la plateforme du Projet Europe, Éducation, École : https://projet-eee.eu/diffusion-en-direct-564/ Dossier pédagogique :  https://projet-eee.eu/wp-content/uploads/2023/11/eee.23-24_Enseignement_de_la_philosophie_Intelligence_artificielle_Eric_Le_Coquil.pdf Présentation générale :  https://projet-eee.eu/wp-content/uploads/2023/03/eee.2023-2024_Education_information_intelligence_artificielle.pdf  Agora européenne des lycées : programme 2023-2024 : - https://projet-eee.eu/programme-de-lannee-2023-2024-11419/ - https://projet-eee.eu/wp-content/uploads/2023/10/EEE_Agora_europeenne_des_lycees_2023-2024_Presentation.pdf Cours en vidéo classés par thèmes : https://projet-eee.eu/cours-classes-par-themes/ E.E.E. sur Dailymotion : http://www.dailymotion.com/projeteee Podcast du Projet EEE : https://soundcloud.com/podcastprojeteee https://www.deezer.com/fr/show/634442

Transcript

00:00 [Musique]

00:13 Bonjour à tous,

00:15 soyez les bienvenus sur la plateforme du projet Europe éducation et école

00:20 qui ce matin a le plaisir d'accueillir pour une matinée de réflexion

00:26 monsieur Eric Lecoquille, inspecteur de philosophie dans l'académie de Créteil et d'Orléans-Tours.

00:35 Je suis très heureux, cher monsieur Lecoquille, de vous accueillir en compagnie de nos collègues

00:40 et de leurs élèves à Varna, à Charolles, à Décine, à Hambourg, à Rome

00:48 et je ne voudrais pas oublier évidemment tous ceux qui vous suivent également de façon un petit peu anonyme.

00:56 Nous vous souhaitons la bienvenue sur notre plateforme pour nous aider à comprendre

01:02 comment on peut enseigner la philosophie aujourd'hui alors que l'intelligence artificielle

01:08 avec ses moyens assez exceptionnels s'impose un peu partout dans tous les établissements scolaires

01:15 où on fait de la philosophie. Nous sommes en France, nous sommes aussi en Europe

01:19 et votre analyse du problème que pose cette irruption dans l'intelligence artificielle

01:26 nous aiderait à mieux peut-être mener nos travaux.

01:30 Merci donc aussi à Antoine Châtelet et à Jean-Luc Capard de nous permettre la diffusion de ce programme.

01:36 La parole est à vous, merci.

01:38 J'adresse tout d'abord évidemment des remerciements très chaleureux à tous les acteurs du projet Europe Éducation École

01:48 et aux participants à ce projet, en particulier à vous Monsieur Michalewski pour cette invitation.

01:56 Alors effectivement je vais essayer de dire quelque chose de cette question des rapports

02:02 entre enseignement de philosophie et intelligence artificielle.

02:05 C'est une question bien entendu extrêmement nouvelle, difficile, encore obscure,

02:12 sous bien des aspects parce que les IA sont des systèmes extrêmement complexes

02:22 qui ont été mis au point empiriquement et dont les propriétés et les performances

02:30 échappent encore très largement à l'explication scientifique

02:36 et notamment à l'analyse mathématique de ces performances.

02:42 Je pense aux travaux du mathématicien Stéphane Malat qui est professeur au Collège de France

02:48 et on peut trouver ses conférences facilement sur internet.

02:52 Bon elles sont un peu difficiles parce que ce sont des mathématiques de très haut vol évidemment

02:56 mais il explique très clairement que les mathématiques sont actuellement dans la capacité totale

03:02 de théoriser les propriétés des intelligences artificielles

03:07 ou plutôt des systèmes techniques que l'on rassemble sous ce syntagme intelligence artificielle

03:15 parce que c'est aussi une difficulté, j'y reviendrai dans quelques instants.

03:18 Autrement dit on sait que ça marche pour un certain nombre de tâches

03:24 mais on n'arrive pas encore à expliquer pourquoi.

03:28 Il faut donc être extrêmement modeste dans la réflexion qu'on développe autour de ces nouveaux outils.

03:36 Alors je n'ai pas prévu d'expliquer les principes scientifiques de ce qu'il est convenu d'appeler

03:41 intelligence artificielle, j'en dirai quelques mots au passage ou au besoin

03:47 puisque ça n'est pas directement l'objet de mon propos.

03:52 Je renvoie sur ces questions plus générales à la bibliographie que j'ai donnée dans mon dossier pédagogique

04:00 et aux quelques ouvrages qu'elle mentionne qui sont pour certains des ouvrages un peu longs ou un peu difficiles

04:06 mais qui ont le mérite de donner des éléments de clarification sur un certain nombre de points.

04:17 Donc je considère simplement les agents conversationnels en ligne

04:22 puisque c'est la forme d'intelligence artificielle qui nous intéresse pour notre affaire

04:29 comme un fait existant qu'on peut décrire, des outils qui ont des propriétés étonnantes

04:39 mais aussi des limites très évidentes et qu'on peut décrire,

04:43 dont on peut analyser les conséquences et les enjeux,

04:47 notamment dans le cadre d'un enseignement de philosophie tel qu'il existe dans les lycées français,

04:55 que ce soit des lycées du territoire français métropolitain ou des lycées français à l'étranger.

05:02 Vous avez lu, j'imagine, l'introduction de mon dossier pédagogique,

05:11 j'en reprends très rapidement les grandes lignes.

05:14 D'abord il y a un contexte évidemment avec l'irruption de cet agent conversationnel

05:21 qui s'appelle ChatGPT en novembre,

05:24 donc mis en ligne, ouvert au public en novembre 2022.

05:28 Et donc très peu de temps après, j'ai reçu des réactions de collègues de philosophie de mes académies

05:38 qui exprimaient une inquiétude très vive concernant les conséquences de l'ouverture publique de ces outils,

05:47 notamment sur le travail des élèves.

05:50 Et je ne suis absolument pas spécialiste de la question de l'intelligence artificielle au départ,

05:57 mais j'ai été contraint de m'y intéresser pour essayer de comprendre ce qui était en train de se passer

06:02 et puis pour essayer d'aider les collègues à construire des repères.

06:07 Sur cette question très nouvelle.

06:10 Alors donc, je me contente deuxièmement de reformuler très rapidement la série de difficultés qui se posent

06:19 et qui m'ont été adressées,

06:23 qui tient en une série de trois ou quatre questions relativement simples.

06:30 La première est de savoir si les agents conversationnels en ligne

06:34 qui sont mis maintenant à disposition de tout le monde, à commencer par les élèves,

06:39 risquent de rendre impossible l'apprentissage de la philosophie

06:43 par un effet de substitution de leur usage au travail de réflexion personnelle

06:49 que les élèves ont à faire dans les travaux qui leur sont donnés.

06:53 En particulier, l'inquiétude des professeurs porte sur la dissertation, principalement.

06:59 Que se passe-t-il si les élèves se mettent à faire faire leur dissertation par des intelligences artificielles

07:06 au lieu de les faire eux-mêmes ?

07:08 Et comment on peut affronter cette difficulté si elle se pose ou lorsqu'elle se pose ?

07:15 Est-ce qu'il faut interdire leur usage aux élèves ?

07:18 Est-ce qu'il faut bannir l'intelligence artificielle des classes de philosophie ?

07:21 Ou bien est-ce que les collègues auraient meilleur intérêt à prendre en compte

07:26 pleinement l'existence de ces outils ?

07:31 Et dans cette seconde hypothèse, c'est la troisième grande question me semble-t-il,

07:38 comment l'existence des agents conversationnels peut-elle conduire à repenser en partie

07:45 la pédagogie de notre discipline et à reprendre en particulier la pédagogie de ces deux exercices canoniques

07:59 qui sont les nôtres et qui sont au cœur du problème, parce qu'ils sont au cœur de l'apprentissage de la philosophie.

08:06 Je veux bien entendu parler de la dissertation et d'explication de textes.

08:10 Il y a toute une réflexion à mener évidemment sur ces deux formes pédagogiques en tant qu'elles constituent des exercices.

08:19 Et vous allez voir que dans mon propos, la notion d'exercice va jouer un rôle théorique tout à fait central

08:26 puisqu'on peut tout à fait théoriser philosophiquement la notion d'exercice.

08:30 C'est ce que je vais essayer de faire pour l'essentiel aujourd'hui.

08:35 Ce système de difficultés que je viens de formuler ne concerne pas seulement les professeurs, je le souligne.

08:46 Il concerne également directement les élèves, c'est-à-dire leur pratique scolaire au pluriel.

08:53 Et donc les élèves gagneront bien entendu à réfléchir à ces questions et à y réfléchir avec leurs professeurs

09:01 parce que c'est une question qui renvoie évidemment à un certain nombre de notions au programme de philosophie,

09:07 par exemple la technique.

09:09 Et donc réfléchir sur les intelligences artificielles plus généralement, sur leurs propriétés,

09:14 ça peut être un objet pédagogique pour un cours de philosophie sur la technique notamment.

09:21 J'entre en matière un peu directement en faisant à présent une sorte de tableau général

09:29 des grands enjeux de cette question.

09:35 Le premier enjeu est assez évident.

09:39 Il s'agit de savoir, je vais le dire en utilisant une formulation un peu provocatrice,

09:48 il s'agit de savoir tout d'abord si l'apprentissage de la philosophie est soluble dans l'intelligence artificielle.

09:55 C'est-à-dire est-ce qu'on peut craindre une dissolution des cadres de l'enseignement de la philosophie

10:03 tels qu'ils existent jusqu'à maintenant à cause de l'intrusion de l'intelligence artificielle dans notre affaire.

10:11 Et ce que je vais essayer de montrer, c'est qu'en réalité nous n'avons peut-être rien à craindre

10:18 pour un certain nombre de raisons que j'essaierai de faire valoir.

10:23 C'est-à-dire mon objectif est de donner à l'enseignement de la philosophie une position de force dans cette affaire.

10:32 Et donc je vais parler essentiellement de ça dans la suite de mon propos.

10:37 Mais je considère aussi trois autres couches de problèmes dont je parlerai beaucoup moins directement.

10:46 En revanche, si les élèves ou les participants veulent m'interroger sur ces points,

10:51 je pourrais tout à fait répondre.

10:53 Et donc c'est pour cette raison que je les mentionne très très rapidement.

10:57 Le deuxième, c'est la question de l'autorité.

11:01 Je veux dire la question du statut d'auteur.

11:04 Qu'est-ce que change l'existence des agents conversationnels disponibles sur l'Internet

11:10 à l'ambition et à l'entreprise qui est celle d'un enseignement de philosophie

11:14 d'essayer de rendre les élèves auteurs de leurs propres pensées.

11:18 Vous voyez, je prends autorité en ce sens-là.

11:22 Qu'est-ce que c'est qu'être un auteur ?

11:26 Et qu'est-ce que ça change pour les professeurs de devoir accompagner les élèves dans cet apprentissage

11:36 à devenir l'auteur de sa propre pensée,

11:39 compte tenu de l'existence d'outils dont on croit qu'ils peuvent produire de la pensée à la place des élèves.

11:47 Bon, évidemment, ça c'est une question qui renvoie, je dirais, au cadre juridique de l'institution,

11:54 puisque ça renvoie à la problématique de l'attitude qui consiste à faire faire ses devoirs par une intelligence artificielle,

12:02 ce que les professeurs vont interpréter comme de la tricherie,

12:06 vont qualifier comme étant une forme de plagiat.

12:10 On sait que le problème existe déjà avec les corrigés de dissertations qui existent en ligne.

12:16 Est-ce que l'application d'une catégorie comme celle-là, par exemple, est pertinente ?

12:23 Dans quel cadre juridique on se situe ?

12:27 Pourquoi je fais intervenir le droit ici ?

12:29 Parce que être auteur, c'est une condition juridique qui est régie par un droit d'auteur.

12:37 Et donc, qu'en est-il de cette question-là dans le cadre du système éducatif par rapport à ce problème ?

12:44 On sait très bien que les performances de l'IA mettent en question le droit des auteurs des données qui sont utilisées pour les entraîner.

12:53 Troisième couche de problème, il ne suffit pas de montrer que l'intelligence artificielle est peu capable de faire de la philosophie,

13:04 ou n'en est pas capable du tout.

13:06 Il faudrait essayer de comprendre pourquoi.

13:08 Et là, ça renvoie à deux questions.

13:13 Ça renvoie à la nature des données qui sont utilisées, des données d'entraînement qui sont utilisées par les intelligences artificielles

13:20 et qui sont prélevées sur l'Internet et notamment sur les réseaux sociaux.

13:25 Et donc, dont on pourrait penser qu'elles expriment le bon sens le plus commun.

13:32 Et du coup, on pourrait se poser la question suivante, parce que les intelligences artificielles utilisent des données de sens commun,

13:40 c'est-à-dire qui relèvent de la pensée ordinaire ou de la réflexion ordinaire ou des opinions ordinaires de tout à chacun,

13:48 est-ce que ça la rend capable de produire dans les textes qu'elle génère du sens commun à un niveau comparable

13:57 de ce qui est requis dans le cadre d'une réflexion philosophique ?

14:02 Ça n'est pas du tout une question facile et évidente.

14:06 Il faudrait beaucoup de temps pour la traiter.

14:08 Et puis, le deuxième aspect, c'est la question de la bêtise.

14:12 La bêtise des intelligences artificielles, puisque on a très bien vu dès le début, par exemple,

14:19 qu'un agent conversationnel comme Chad Jepiti était capable de bêtise.

14:24 C'est-à-dire, lorsqu'on l'interrogeait au début, avant qu'il ne soit censuré par ses administrateurs,

14:34 et c'est arrivé très rapidement, il était capable de développer, si on l'interrogeait correctement,

14:39 des propos racistes, des propos antisémites, des propos sexistes, homophobes, etc.

14:45 À tel point que l'entreprise OpenAI qui porte Chad Jepiti a été obligée de brider l'intelligence artificielle

14:57 pour l'empêcher d'apporter des réponses de cette nature.

15:00 Et on peut se demander ce qui, dans le système de fonctionnement, fait que c'est possible.

15:06 Des choses comme ça.

15:08 Donc, il y a une nécessité d'explication.

15:11 Et puis, le quatrième et dernier point, peut-être que j'aurai le temps de l'aborder un petit peu,

15:17 c'est la question de savoir si, malgré toutes ces difficultés,

15:22 on pourrait imaginer des usages de l'intelligence artificielle dans une classe de philosophie,

15:29 je veux dire, des usages pédagogiques.

15:33 C'est-à-dire, est-ce que des professeurs de philosophie pourraient intégrer,

15:39 d'une façon ou d'une autre, dans leur enseignement,

15:42 des travaux, des exercices, qui utiliseraient les agents conversationnels ?

15:50 Bon. Voilà.

15:52 Alors, c'est un vaste champ, vous voyez, je tenais à en balayer toute l'étendue,

15:58 c'est un vaste champ de réflexion, mais je n'aurai le temps aujourd'hui que de traiter le premier point.

16:03 C'est-à-dire, la question de principe, au fond,

16:07 est-ce que la philosophie encourt un risque de dissolution,

16:15 en tout cas son enseignement,

16:17 est-ce qu'il encourt un risque de dissolution à cause des intelligences artificielles ?

16:23 Alors, il y a un certain nombre de points précis que je voudrais aborder

16:29 pour essayer de répondre à cette question qui est une question inquiétante.

16:36 Tout d'abord, je voudrais souligner que les agents conversationnels en ligne

16:40 n'ont pas été conçus à des fins pédagogiques,

16:44 et que donc, ce ne sont pas des outils pensés pour l'apprentissage et pour l'enseignement.

16:52 Et donc, c'est un problème de tenter de les employer à des fins

17:00 pour lesquelles ils n'ont pas été conçus.

17:03 Que cet emploi soit fait par des élèves,

17:07 dans le cadre, spontanément, de manière un peu sauvage comme ça,

17:11 dans le cadre de leur travail scolaire,

17:13 ou qu'il soit fait par des professeurs d'ailleurs en classe,

17:16 qui s'exposeraient ainsi à employer des outils qui n'ont pas été faits pour cela.

17:21 Et donc, se pose la question des conséquences

17:26 qui pourraient découler de la substitution de la machine à l'élève.

17:33 C'est-à-dire, est-ce qu'on ne risque pas de constater une absence d'effet d'apprentissage ?

17:39 Si vous utilisez un outil qui n'a pas été fait pour l'apprentissage,

17:43 vous pouvez vous attendre à ce qu'il ne produise pas d'effet de cette nature.

17:47 Et ça peut même être pire, on peut peut-être craindre des effets de désapprentissage.

17:55 C'est assez évident, si vous faites faire vos devoirs par une machine,

17:59 vous ne les faites plus vous-même,

18:01 et donc vos capacités de rédaction et de réflexion sous forme écrite,

18:07 faute de pratique, risquent de s'émousser.

18:17 Du reste, en l'état actuel de leur performance,

18:25 il n'y a pas de différence de nature,

18:31 il n'y a pas de saut de nature entre les intelligences artificielles

18:36 et les autres systèmes techniques.

18:39 Tous les spécialistes de l'intelligence artificielle le disent.

18:45 On est dans une situation où les progrès de ces outils-là sont fulgurants,

18:50 mais on n'en est pas encore au basculement dans ce qui serait des systèmes

18:56 qui équivaudraient exactement à l'intelligence humaine.

19:01 Et on pourrait poser la question aux parents d'élèves,

19:06 en leur demandant s'ils seraient prêts à confier l'éducation de leurs enfants

19:11 à leur aspirateur.

19:14 Imaginez confier un enseignement de philosophie à une intelligence artificielle

19:21 en l'état actuel de celle-ci, ce serait faire à peu près la même chose.

19:26 Il faut souligner les difficultés en quelque sorte de structure

19:32 au point de vue pédagogique qui sont liées à cette idée,

19:36 avec des outils qui ne sont pas faits pour l'enseignement.

19:39 Et donc, il faut d'abord poser un principe qui est celui de la plus grande prudence

19:45 dans les usages.

19:46 Deuxième point, ces outils, qu'est-ce que c'est les agents conversationnels en ligne ?

19:53 Ce sont des générateurs de textes.

19:56 Ce sont des générateurs de textes.

19:59 Et alors, ils se caractérisent par quoi ?

20:02 Et ça saute aux yeux dès qu'on essaie de les utiliser.

20:07 Ils se caractérisent par la correction de leur langue.

20:13 Ils ont des capacités rédactionnelles étonnantes.

20:19 Ils produisent des textes qui sont parfaitement rédigés.

20:22 Beaucoup mieux disent certains professeurs que les textes qui sont rédigés

20:30 par un certain nombre d'élèves.

20:33 Et donc, il y a une sorte d'effet de chatoiement rédactionnel, vous voyez,

20:38 à première vue, qui est très impressionnant et qui explique aussi

20:42 les craintes des professeurs et qui leur fait dire comment, à partir de là,

20:47 pourrions-nous faire la différence, si ce n'est peut-être à leur désavantage,

20:52 entre un texte produit par une intelligence artificielle et un texte produit

20:56 par des élèves, surtout s'il s'agit de bons élèves au fond.

21:02 La différence est très difficile à faire.

21:04 L'illusion est presque parfaite.

21:06 On a l'impression que ça a été écrit par un être humain,

21:10 ou que ça aurait pu l'être.

21:12 Le problème, c'est que cette illusion ne fait pas très long feu

21:16 dès qu'on examine le contenu effectif de ces textes avec un peu d'attention

21:22 et de rigueur.

21:23 C'est ce qu'un certain nombre d'entre nous, inspecteurs de philosophie,

21:27 ont été amenés à faire suite à la session 2023 du baccalauréat,

21:32 puisqu'il se trouve que nous avons trouvé des cas de fraude

21:37 dans des copies produites par des intelligences artificielles

21:42 très manifestement et qui ont dû être traitées par l'institution.

21:49 Alors, qu'est-ce qu'on constate ?

21:50 Et puis, on a fait faire aussi des copies à chaque GPT

21:54 pour voir ce que ça pouvait donner.

21:56 Alors, qu'est-ce qu'on constate ?

21:58 Premièrement, que les agents conversationnels sont capables

22:01 de produire des argumentaires organisés et formulés

22:04 dans un français très soutenu,

22:06 mais que cela ne garantit nullement la qualité philosophique de ces textes,

22:12 proprement philosophique de ces textes,

22:15 ni même leur caractère philosophique tout court.

22:19 J'y reviendrai dans un instant.

22:21 Et ça s'explique, d'une certaine manière,

22:24 parce que ces agents conversationnels n'ont pas été particulièrement

22:29 entraînés par leurs concepteurs à produire des textes philosophiques.

22:32 Et les données à partir desquelles ils travaillent

22:35 ne portent pas spécialement sur de la philosophie.

22:38 Et d'ailleurs, aucune procédure dans l'utilisation de ces outils

22:44 ne permet de les contraindre à n'utiliser que des données

22:47 à caractère philosophique,

22:49 à supposer qu'ils en possèdent, qu'ils soient pertinents.

22:53 Et donc, on observe très clairement dans les textes produits

22:57 les conséquences de cet état de fait,

23:00 c'est-à-dire des effets de stéréotypie et de formalisme rédactionnel.

23:09 C'est-à-dire, il est très manifeste que Chadjipiti, par exemple,

23:14 a des tics de rédaction.

23:16 Par exemple, quand il décrit des propriétés,

23:20 il les formule toujours par groupe de trois.

23:25 Il y a un rythme ternaire permanent

23:28 qui permet de reconnaître facilement un texte produit par cet outil.

23:34 Et puis, le texte est écrit dans un style

23:37 complètement impersonnel et insipide.

23:40 Ça aussi, c'est caractéristique.

23:44 Un élève, même qui a un peu de difficulté en philosophie,

23:48 a un style d'écriture, incontestablement.

23:51 La machine n'en a aucun.

23:53 C'est-à-dire, tous les textes qu'elle se produit, de ce point de vue,

23:56 se ressemblent comme des clones, ce qu'ils sont du reste.

24:00 Deuxièmement, tous les arguments,

24:04 ou presque, produits par l'agent conversationnel

24:08 sont des arguments factuels.

24:11 C'est-à-dire qu'il y a une incapacité conceptuelle manifeste de ces outils.

24:16 Je vous donne un exemple sur le sujet tombé au bac,

24:19 l'un des sujets tombés au bac général l'année dernière,

24:21 "Transformer la nature, est-ce gagné en liberté ?"

24:24 Voilà le type d'argument qu'on trouve, que produit l'intelligence artificielle.

24:30 Je cite, "La transformation de la nature est souvent motivée

24:33 par une volonté de maîtrise."

24:35 Il s'agit d'un fait psychologique.

24:38 Mais, vous voyez, aucun argument produit par la machine

24:42 n'interroge ce que signifie transformer la nature.

24:45 À aucun moment.

24:47 Autre exemple, je cite, "Les progrès scientifiques et technologiques

24:51 nous offrent la possibilité de surmonter les contraintes naturelles

24:55 et de façonner notre environnement selon nos besoins et nos désirs."

24:59 Autre argument factuel.

25:01 Troisième exemple, je cite, "En poursuivant notre quête de maîtrise,

25:05 nous avons également créé de nouveaux défis

25:08 et des entraves à notre liberté."

25:11 Bon, mais évidemment, jamais la notion de liberté n'est interrogée.

25:17 Voilà.

25:19 Et tous les arguments sont de ce type.

25:22 La machine est en outre caractérisée par son tempérament doxographique.

25:27 Lorsqu'on lui demande de produire des références philosophiques,

25:33 elle produit des listes de références.

25:41 Et donc, il y a une incapacité réflexive.

25:46 Il n'y a aucune liberté de penser.

25:48 Il y a une servilité de la machine.

25:50 C'est-à-dire, ça se présente sous la forme,

25:52 "Platon pense ceci, Descartes pense cela, Kant pense cela, etc."

25:58 Et ce qui est précisément une manière de faire

26:02 que les professeurs apprennent à leurs élèves à ne pas utiliser,

26:07 parce qu'elle est improductive philosophiquement.

26:11 Il y a aussi des fantaisies référentielles.

26:15 C'est-à-dire, l'intelligence artificielle,

26:18 quand on lui demande de citer un auteur, ne le cite pas.

26:21 Mais elle fait un résumé de ce qui se dit sur Internet de cet auteur.

26:31 Elle pratique volontiers le politiquement correct.

26:37 C'est-à-dire qu'elle ne convoque que des arguments qui ne phasent personne.

26:45 Donc, il y a une incapacité critique de l'intelligence artificielle.

26:49 Et donc, elle n'invente rien.

26:53 Elle reprend ce qui se dit sur les réseaux sociaux

26:58 ou dans les sources qu'elle a utilisées pour s'entraîner.

27:02 Et c'est l'écueil de la banalité.

27:04 Il n'y a aucune créativité philosophique.

27:07 Il n'y a aucune imagination.

27:09 Il n'y a pas de création d'idées.

27:12 Et donc, c'est une grande déception.

27:15 Une très, très grande déception.

27:17 Une fois qu'on a passé le mirage de la qualité de l'expression,

27:23 c'est une très grande déception philosophique.

27:26 Alors, voilà.

27:33 C'est un premier moment, monsieur Michalewski.

27:36 Est-ce que vous pensez qu'on peut faire à ce moment une pause

27:40 et ouvrir les questions ?

27:41 Si vous souhaitez que les questions vous soient posées maintenant,

27:44 on peut très bien les présenter.

27:47 Je me tourne donc vers le lycée Châteaubriand à Rome.

27:53 Est-ce que les élèves de madame Evelyne Olléon qui sont là

27:57 souhaiteraient prendre la parole tout de suite ou dans deux, trois minutes ?

28:01 Vous me faites un signe, activez votre micro, bien entendu,

28:05 et nous vous écouterons avec plaisir.

28:08 Très bien.

28:09 On vous donne la parole.

28:11 Allez-y.

28:13 Oui, bonjour, monsieur Sloa.

28:16 Je crois que Gabrielle a déjà une première question.

28:18 Les autres questions arriveront peut-être au fur et à mesure.

28:21 Du moment en tant qu'enseignante, ça y est, j'ai eu mes premières copies

28:24 faites à la maison par Chachupiti, mais les élèves ont été très déçus.

28:28 Je m'en suis rendue compte immédiatement, je crois,

28:30 comme vous venez de le dire, monsieur Lecoquille, d'abord par un style

28:35 insupportable, des copies très lisses et avec des formules creuses

28:39 et du bavardage stérile.

28:40 Voilà, j'espère que la lecture de quelques passages de ces copies

28:44 dissuadera les autres de réitérer.

28:49 C'est de l'information, il n'y a pas d'interrogation,

28:51 il n'y a pas de pensée.

28:52 Je crois que les élèves l'ont vite compris.

28:54 Gabrielle.

28:55 Moi, ma question était juste sur l'introduction, justement,

28:58 parce qu'on parle d'intelligence artificielle qui peut…

29:01 Vous parliez justement du fait qu'elle peut produire de la pensée

29:04 ou encore du fait qu'elle peut s'approcher, même sans égaler

29:09 l'intelligence humaine.

29:11 Mais est-ce que tout ce fait que ce n'est qu'un générateur de textes

29:15 et qu'il n'a pas de capacité philosophique, de réflexion

29:18 ou de critique, est-ce que ça ne fait pas plutôt

29:21 de cette intelligence artificielle une mémoire artificielle,

29:24 plutôt qu'une intelligence comme elle ne crée rien ?

29:27 Alors, d'une certaine manière, oui.

29:30 D'une certaine manière, oui, puisque l'intelligence artificielle

29:36 ne produit rien qui ne puisse l'être à partir des données

29:41 qu'on lui a fournies.

29:44 Et puis, deuxième argument qui va dans le sens de ce que vous suggérez,

29:52 c'est que le résultat…

29:59 C'est un système dit de « deep learning »,

30:03 en français d'apprentissage profond,

30:06 qui est fondé sur une méthode d'apprentissage supervisée.

30:13 Autrement dit, on lui apprend,

30:18 on lui a appris avant de l'ouvrir au grand public,

30:21 à construire des réponses à des questions

30:25 en cherchant dans ces données celles qui se rapprochent le plus

30:32 d'un modèle qui lui a été fourni.

30:35 C'est ça le principe de l'apprentissage supervisé.

30:39 Et donc, ça renvoie au troisième champ de réflexion

30:45 que j'avais identifié, c'est-à-dire à la question de la bêtise.

30:48 C'est-à-dire que l'agent conversationnel cherche,

30:53 donc rédige un texte en cherchant quel est le mot suivant le plus probable

30:59 compte tenu du modèle qui lui est fourni par ces données.

31:05 Et donc, elle cherche, elle filtre les données qu'elle utilise

31:11 pour chercher celles qui confirment le mieux ce modèle.

31:16 Et donc, on a l'impression qu'elle fonctionne

31:21 dans une espèce de dynamique d'autoconfirmation.

31:24 Or, on sait très bien, et c'est un fait qui est à la fois établi

31:31 et examiné par la psychologie cognitive,

31:36 on sait très bien que la confirmation,

31:39 que les processus de raisonnement par confirmation

31:44 comportent des formes de biais psychologiques.

31:49 C'est-à-dire, même un être humain qui réfléchit

31:54 sans forcément avoir un souci très fort d'exercer son esprit critique

32:00 et l'esprit critique, ça s'exerce toujours sur nos propres idées,

32:04 c'est ce que je vais expliquer dans la deuxième partie de mon propos,

32:07 et bien a tendance à sélectionner dans les faits,

32:11 dans les informations qu'il trouve,

32:15 plutôt de préférence celles qui confirment ce qu'il croit déjà.

32:20 Et on a l'impression que l'intelligence artificielle est victime,

32:24 en tout cas que les agents conversationnels sont victimes

32:28 un peu du même type de biais.

32:32 Je donne un exemple très simple.

32:35 Maintenant, Chadjipiti est bridé pour ne plus pouvoir apporter

32:41 des réponses à des questions qui lui sont posées

32:44 qui comporteraient des propos racistes, par exemple.

32:47 Bon, il est bien évident que dans les données issues des réseaux sociaux

32:52 qui ont été mises dans Chadjipiti,

32:55 il y a des propos racistes.

32:58 L'expression du racisme ordinaire est très fréquente sur les réseaux sociaux

33:04 et on sait que c'est un très très gros problème, évidemment.

33:07 Et donc, si ce type de propos sont très fréquents

33:11 et qu'une intelligence artificielle les trouve dans son modèle,

33:16 au moment où on lui pose une question qui pourrait conduire

33:22 à apporter des réponses de cette nature,

33:26 le dispositif de confirmation peut très bien amener l'intelligence artificielle

33:31 à sélectionner des propos racistes.

33:34 Et la seule solution pour les administrateurs, c'est de brider.

33:39 C'est-à-dire, c'est d'empêcher la machine de délivrer ce type de réponse.

33:45 Donc, c'est un système de censure.

33:47 Mais vous voyez, ça pose un problème pour interpréter les capacités,

33:53 des capacités philosophiques qu'on pourrait tenter de prêter à l'intelligence artificielle.

33:58 Parce que faire preuve d'esprit critique, c'est-à-dire par exemple,

34:05 être capable de réfléchir pour se dire que des arguments ou des propos racistes

34:12 sont sans fondement et sont indignes.

34:16 Ils doivent être rejetés.

34:19 Et imposer une censure, ce n'est pas la même chose.

34:26 Une censure, c'est toujours d'une manière ou d'une autre un acte autoritaire.

34:32 L'esprit critique, c'est l'exercice d'une liberté.

34:35 Vous voyez ?

34:36 Et donc, c'est aussi un très gros problème le fait qu'on ait pour seule réponse,

34:44 pour seule solution, une procédure qui constitue une forme de censure.

34:49 Donc, moi, j'irais dans votre sens en disant que la mémoire est un phénomène central

34:59 dans le fonctionnement des intelligences artificielles

35:01 et que c'est un très gros problème puisque vous voyez, ça entraîne de l'inertie.

35:07 Et puis, nous, êtres humains, lorsque nous réfléchissons, nous sommes capables d'oublier.

35:13 Nous sommes capables de mettre de côté un certain nombre de données

35:17 parce qu'elles ne sont pas peut-être pertinentes pour répondre à la question que nous nous posons.

35:22 Les intelligences artificielles ont beaucoup de mal à faire ça.

35:26 Il y a un travail d'un certain nombre d'équipes scientifiques en ce moment

35:30 sur la question du développement d'une capacité d'oubli des agents conversationnels.

35:35 Alors, ce sont des travaux qui sont balbutiants, mais vous voyez, le problème,

35:42 c'est que vous pouvez être encombré par votre mémoire.

35:46 Elle peut déborder, elle peut devenir envahissante.

35:51 Un psychanalyste vous dirait même qu'une névrose, au fond, c'est un peu ça.

35:56 Vous ne pouvez plus vous débarrasser des traumatismes de votre passé.

36:00 C'est le même type de problème qu'affrontent les intelligences artificielles.

36:05 Elles conservent toutes leurs données, elles sont incapables d'oublier quoi que ce soit

36:09 et donc elles finissent par être entravées par leur propre mémoire

36:12 avec des effets qui peuvent être tout à fait délétères.

36:16 Merci beaucoup, monsieur Lecoquille.

36:20 Je remercie aussi madame Evelyne Leyon pour la question de ses élèves.

36:24 Je me tourne maintenant vers le lycée Wittmeyer à Charole.

36:29 Les élèves de Mathilde Blondet sont là. On vous écoute. Allez-y. Activez votre micro.

36:36 Bonjour, Lilou Terminal HLP. Merci de répondre à notre question.

36:40 On aurait voulu savoir si les professeurs de philosophie peuvent-ils utiliser

36:45 les technologies liées à l'intelligence artificielle pour enrichir la expérience éducative de leurs élèves ?

36:51 Alors, c'est une très bonne question. Je vous remercie.

36:56 Elle renvoie au quatrième enjeu que j'avais identifié, c'est-à-dire effectivement,

37:02 comme vous l'avez dit, celle de la possibilité d'imaginer des usages

37:07 de l'intelligence artificielle en classe, par exemple.

37:10 Alors, cette question anticipe un peu sur la deuxième partie de mon propos,

37:18 il faut bien le dire.

37:20 Je peux déjà y répondre d'une certaine manière.

37:27 La description que je viens de faire des productions des agents conversationnels

37:35 montre, si je généralise un peu à partir des exemples que j'ai donnés,

37:40 que la capacité essentielle des agents conversationnels, c'est de produire des opinions

37:48 ou de restituer les opinions les plus communes sur une question,

37:54 les arguments les plus communs sur une question,

37:58 en se situant essentiellement sur le plan de l'opinion commune.

38:04 Alors, évidemment, qu'est-ce que ça implique ?

38:09 Mais pour cela, bien souvent, il est utile de partir de l'opinion commune

38:17 pour montrer son insuffisance par une démarche, par une expression,

38:27 par une expression, par une expression, par une expression,

38:31 pour montrer son insuffisance par une démarche d'analyse critique.

38:39 Alors, qu'est-ce que ça veut dire ?

38:42 Ça veut dire que, évidemment, partant de là, il est inconcevable

38:47 simplement que des professeurs ou des élèves reprennent à leur compte

38:58 les productions brutes des intelligences artificielles,

39:00 parce qu'on ne serait pas dans une démarche philosophique.

39:03 Et je vais montrer que s'il y a une incapacité philosophique

39:10 des intelligences artificielles,

39:13 eh bien, effectivement, on ne peut pas reprendre à son compte

39:16 simplement comme ça les textes qu'elles nous fournissent, bien sûr.

39:23 En revanche, si l'examen critique de l'opinion commune

39:28 est un matériau de départ pour le développement

39:32 d'une analyse philosophique, d'une réflexion philosophique,

39:37 alors peut-être qu'on peut utiliser des agents conversationnels

39:43 comme ce que j'appelle des générateurs toxiques,

39:52 qu'est-ce que j'appelle un générateur toxique ?

39:55 C'est un outil, vous voyez, philosopher c'est créer des concepts,

39:59 donc si on essaye de philosopher sur les agents conversationnels,

40:03 il faut essayer de créer des concepts pour penser ce qu'ils font

40:08 et pour penser les utilisations qu'on peut en faire,

40:13 notamment pédagogiques dans une classe.

40:15 Et moi, je propose le concept de générateur toxique.

40:18 Qu'est-ce que c'est qu'un générateur toxique ?

40:20 C'est un outil technique qui permet de produire

40:23 ou de restituer des opinions sur un sujet et sur une question donnée.

40:28 C'est-à-dire, vous avez une dissertation à faire,

40:31 vous interrogez l'intelligence artificielle

40:36 et au fond, ce qu'elle va vous produire,

40:38 c'est toutes les opinions les plus banales, les plus ordinaires

40:42 et donc peut-être les plus mal pensées,

40:45 peut-être même les plus bêtes pour certaines,

40:49 sur le sujet auquel vous avez à travailler.

40:53 Ensuite, qu'est-ce qu'on peut faire ?

40:55 On peut s'emparer de cette matière

40:57 et le soumettre à une véritable critique philosophique,

41:00 c'est-à-dire montrer pourquoi ces arguments,

41:03 si tentés qu'ils s'y prêtent,

41:06 ne sont pas des arguments suffisants.

41:09 Alors, évidemment,

41:13 les exemples de mauvais arguments que j'ai donnés tout à l'heure,

41:18 ne sont pas très probants de ce point de vue.

41:21 Ce sont des arguments factuels,

41:23 ils donnent assez peu de prise à une critique philosophique au fond.

41:27 Mais c'est lié au fait qu'ils ont été produits

41:30 dans des conditions de triche, vous voyez, en fait.

41:33 C'est-à-dire, quand un élève utilise en catimini

41:37 une intelligence artificielle

41:39 pour qu'elle fasse ses devoirs à sa place,

41:43 il lui donne des instructions qui ne sont pas très élaborées.

41:47 Et donc, ça donne un résultat qui n'est pas très élaboré.

41:51 Mais si on précise un petit peu la commande,

41:55 vous voyez,

41:58 avec l'aide du professeur,

42:01 il y a des chances qu'on obtienne des arguments un petit peu moins brutaux

42:05 et qui peuvent peut-être offrir quelques entrées

42:11 à une critique philosophique.

42:14 Moi, c'est le seul usage que je vois.

42:17 C'est-à-dire, sur un sujet,

42:20 ça permet de rassembler au fond les opinions les plus courantes.

42:25 Et puis ensuite,

42:28 on peut peut-être voir s'il est possible d'en faire quelque chose,

42:32 c'est-à-dire de les soumettre à une critique

42:35 pour ouvrir la voie d'une problématisation du sujet.

42:39 Voilà.

42:40 Je ne vois guère autre chose à faire.

42:43 Et effectivement, j'ajouterais simplement

42:46 qu'un certain nombre de jeunes professeurs que je connais de philosophie

42:50 qui sont très connaisseurs du numérique

42:55 et de ce type d'outils ont essayé ce type de démarche

43:00 et me disent qu'ils parviennent à faire un petit quelque chose de cette nature.

43:06 Mais évidemment, faire ce type d'usage par soi-même quand on est un élève,

43:10 c'est évidemment risqué

43:12 parce que vous n'êtes jamais sûr que vous produisez un matériau

43:15 qui soit véritablement exploitable.

43:18 Voilà.

43:19 Donc, c'est un risque d'utiliser ces outils tout seul.

43:23 Merci beaucoup, monsieur l'inspecteur.

43:25 Je me tourne vers le lycée Francois-Allemand de Hambourg.

43:29 Les élèves d'Alain Crouset.

43:32 Cher Alain.

43:33 Bien.

43:34 Je pense que j'ai deux élèves qui ont une question.

43:36 Je vais donner la parole à la première qui est assise à côté de moi.

43:39 Donc, elle va la poser.

43:41 Pourriez-vous grouper vos questions pour que nous puissions les traiter dans le créneau ?

43:45 Oui, la première est assez courte.

43:48 J'aimerais vous demander, vous avez parlé que JGBT est un logiciel

43:52 qui n'était pas fondé pour créer des fins éducatives, donc pédagogiques.

43:59 Quels sont les fondements de ce logiciel

44:02 et pourquoi peut-on quand même utiliser ADF1 pour les cours,

44:05 pour les exercices, les dissertations, etc. ?

44:08 Alors, ça, c'est la première question.

44:11 Puis, je donne la parole à monsieur Lecoquille, vous répondiez.

44:14 Je donne la parole à ma deuxième élève.

44:16 Près du micro, s'il vous plaît.

44:19 Si j'ai bien compris, vous vous demandez s'il faudrait bannir l'utilisation

44:24 des intelligences artificielles lors de la rédaction des dissertations philosophiques,

44:28 car vous êtes de l'avis que l'individu ne se sert pas réellement

44:31 de sa propre intelligence, mais lors de la rédaction d'une dissertation,

44:37 on ne se sert pas réellement de notre propre intelligence,

44:40 dans la mesure où ce qui est attendu de nous, c'est qu'on puisse

44:43 reprendre ce que d'autres grands philosophes ont dit auparavant,

44:51 et du coup, on ne se sert pas vraiment de notre réflexion,

44:55 mais plutôt de celle de notre intelligence,

44:58 mais plutôt de celle de d'autres philosophes.

45:01 C'est pour ça que je trouve que ça décrit un peu l'argument du départ

45:06 Merci pour ces deux questions.

45:11 Je précise tout de suite que je vais répondre très précisément

45:16 à la deuxième dans la deuxième partie de mon propos.

45:19 Pour ce qui est de la première, c'est une question très vaste

45:24 et très difficile.

45:26 Je ne crois pas, pour vous dire les choses clairement,

45:34 que les créateurs de ChatGPT aient conçu cet outil

45:43 en ayant en tête un usage déterminé,

45:53 de telle ou telle façon, dans tel ou tel domaine.

45:57 L'idée, je crois, c'est de produire un agent conversationnel

46:07 qui ait une portée très générale.

46:09 Vous savez, on n'est pas très loin avec cet instrument-là

46:14 des agents conversationnels vocaux qui sont proposés

46:18 par d'autres entreprises, d'autres GAFAM.

46:22 Je ne veux pas citer de marques, mais vous voyez ces boîtiers

46:29 qu'on a à la maison et qui parlent, et auxquels on dit,

46:34 qui portent des prénoms féminins ou masculins,

46:37 et auxquels on dit "mets-moi la chanson de tel chanteur"

46:44 ou "dis-moi à quelle heure est le train, donne-moi les horaires

46:49 des trains pour Dijon parce que je dois choisir un billet de train".

46:54 C'est à peu près du même ordre.

46:57 C'est-à-dire qu'ils sont conçus comme des sortes d'assistants

47:02 très généraux pour la vie quotidienne.

47:07 Et l'idée, c'est moins une idée qu'une tentative d'ailleurs,

47:13 je crois, c'est de produire des outils qui aient une utilité

47:18 pratique dans la vie courante.

47:21 Et ça, je crois essentiellement, l'idée.

47:25 Exactement comme les agents conversationnels vocaux

47:30 qui étaient déjà proposés, peuvent vous aider dans la vie pratique.

47:36 Et ça, évidemment, ce n'est pas du tout une finalité pédagogique.

47:40 C'est-à-dire un outil qui est conçu pour être une sorte de concierge,

47:44 une sorte de secrétaire, n'a pas pour fonction de vous apprendre quelque chose.

47:53 Il a peut-être pour fonction de vous fournir un certain nombre d'informations

47:57 que vous lui demandez, mais il n'a sûrement pas pour fonction

48:00 de vous apprendre quelque chose.

48:02 C'est-à-dire de construire chez vous des connaissances, des compétences,

48:06 des capacités de toutes sortes.

48:09 Vous comprenez la différence ?

48:12 Je laisse tomber la deuxième question parce que je vais répondre

48:16 très précisément dans ma deuxième partie.

48:19 Merci beaucoup, monsieur l'inspecteur.

48:21 Je me tourne vers Antoine Châtelet et vers les questions posées via chat

48:25 sur notre chaîne Twitch.

48:27 Y a-t-il du nouveau ? Moi-même, j'ai reçu une question par SMS.

48:30 Mais d'abord, Antoine.

48:32 Pour l'instant, pas de questions.

48:34 En revanche, moi, j'ai une question.

48:36 Monsieur l'inspecteur, est-ce que vous ne pensez pas que la grande déception

48:39 dont vous parliez tout à l'heure n'est pas une déception vertueuse, au fond ?

48:45 L'IA est victime d'elle-même.

48:50 Jusqu'à preuve du contraire.

48:53 En tout cas, en 2023.

48:56 En 2050, peut-être nous serons les victimes de l'IA.

49:01 Mais pour l'instant, cette grande déception est une vertu au sens presque

49:06 machiavélien du terme.

49:09 C'est-à-dire une force pour nous.

49:11 Est-ce que je peux me permettre, cher Antoine, d'ajouter une question

49:14 qui me vient du lycée Charlie Chaplin à Décine, d'un élève de Raphaël Verchères

49:21 qui demande à monsieur Le Coquille quelque chose qui va dans le même sens.

49:28 Comme chat GPT apprend depuis le travail des humains et depuis leur texte,

49:35 si les humains ne s'en remettent qu'à l'intelligence artificielle,

49:40 cela ne risque-t-il pas que celle-ci s'abêtisse avec le temps et les humains avec ?

49:47 C'est tout à fait exact.

49:49 C'est-à-dire que pour répondre globalement aux deux questions,

49:53 il y a manifestement une espèce d'inertie dans ces outils,

49:58 qui fait que la déception est tout à fait vertueuse.

50:05 Mais je n'en resterai pas au sentiment de la déception,

50:09 parce qu'on pourrait m'objecter à l'argument du progrès que vous évoquiez,

50:14 monsieur Chatelet.

50:16 C'est-à-dire, peut-être qu'aujourd'hui c'est comme ça,

50:21 mais quand sera-t-il dans un demi-siècle ?

50:26 Est-ce que les progrès techniques de l'intelligence artificielle

50:31 ne la rendront pas plus efficace,

50:35 beaucoup plus efficace qu'elle ne l'est aujourd'hui ?

50:38 Donc il faudra développer les arguments pour répondre à cette objection, bien entendu.

50:47 Alors, je reviens sur la question de l'inertie interne des intelligences artificielles.

50:54 Oui, évidemment, vous savez, chez les ingénieurs du domaine,

50:59 il y a un proverbe formulé en anglais qui dit "garbage in, garbage out".

51:10 C'est-à-dire, quand on fait entrer dans l'intelligence artificielle

51:15 des données qui sont pourries,

51:19 à la sortie, ça donne des résultats pourris.

51:23 Donc, effectivement, l'un des problèmes fondamentaux

51:27 est celui de la qualité des données.

51:31 Or, de ce point de vue,

51:35 effectivement, les problèmes que soulignait la question d'élève qui m'a été posée,

51:42 le problème est massif.

51:44 C'est-à-dire, le chat GPT, par exemple,

51:47 tient compte des questions qu'on lui donne, qu'on lui pose,

51:52 pour améliorer son propre fonctionnement.

51:55 Mais évidemment, plus on lui pose des questions maladroites,

52:01 confuses, un peu bêtes,

52:04 plus il les intègre et ça risque effectivement de dégrader ses performances.

52:12 Bien entendu.

52:14 Et il y a, dans la recherche actuelle sur les agents conversationnels,

52:20 tout un champ pour essayer de contrecarrer ce risque de dégradation.

52:27 Certains philosophes s'inspirant de concepts de la physique,

52:37 qui servent à penser, par exemple, à la déperdition physique des formes ou de l'énergie,

52:44 mobilisent le concept d'entropie.

52:47 L'entropie, c'est un phénomène qui, en physique,

52:54 fait que l'organisation, avec le temps,

52:58 l'organisation du monde physique a tendance à se dégrader.

53:03 C'est un phénomène qui a été découvert notamment au 19e siècle,

53:09 dans le cadre des recherches sur la thermodynamique,

53:11 c'est-à-dire la physique des rapports entre la chaleur et le mouvement,

53:15 qui a accompagné la réflexion sur la construction des machines à vapeur,

53:22 des moteurs à vapeur, etc.

53:24 On a découvert cette tendance à la dégradation des formes d'organisation physique.

53:32 Ce phénomène d'entropie se retrouve vraisemblablement

53:36 dans le fonctionnement des systèmes techniques et notamment de l'intelligence artificielle.

53:42 Merci beaucoup. Nous arrivons au terme de la première partie de ce programme.

53:48 S'il y a d'autres questions, bien entendu, nous le prendrons après une brève pause de 4-5 minutes.

53:53 Merci, Monsieur Le Coquille, pour votre analyse.

53:57 Merci aux élèves pour leurs questions et leur participation.

53:59 Chers collègues, je vous signale juste que tout ce que nous vous avons fait ce matin

54:04 sera bientôt disponible en vidéo, mais également en podcast,

54:07 grâce à Patrice Blondet qui publie nos émissions sur plusieurs plateformes audio.

54:14 À très vite. Merci.

54:17 [Logo uOttawa]

54:19 [Logo uOttawa]

54:21 [Logo uOttawa]

54:23 [Logo uOttawa]

54:25 [Logo uOttawa]

54:27 [Logo uOttawa]

54:29 [Logo uOttawa]

54:31 [Logo uOttawa]

54:33 [Logo uOttawa]

54:35 [Logo uOttawa]

54:37 [Logo uOttawa]

54:39 [Logo uOttawa]

54:41 [Logo uOttawa]

54:43 [Logo uOttawa]

54:45 [Logo uOttawa]

Category

Transcription

Recommandations