Vous avez forcément entendu parler du débat qui agite la communauté de l’IA autour de la sécurité de l’IA. Pour certains experts, il existe un réel risque existentiel pour l’humanité : même si on ne sait pas forcément écrire le scénario de l’apocalypse, la simple existence d’une super-intelligence dont le contrôle pourrait échapper à ses créateurs serait un risque inacceptable. Certains de ces experts ont appelé, pendant un temps, à un moratoire sur l’IA ; le plus célèbre d’eux, Eliezer Yudkowsky, expliquait même en 2023 qu’on devrait être prêt à déclencher une guerre nucléaire pour faire appliquer ce moratoire ! [...]
Category
🗞
NewsTranscription
00:00Vous avez forcément entendu parler du débat qui agite la communauté de l'intelligence artificielle autour de la sécurité de l'IA.
00:14Pour certains experts, et pas des moindres, il y a un vrai risque existentiel pour l'humanité.
00:20Même si on ne sait pas forcément écrire le scénario détaillé de l'apocalypse,
00:24la simple existence d'une super-intelligence dont le contrôle pourrait échapper à ses créateurs
00:30serait, selon eux, un risque inacceptable.
00:33Certains de ces experts ont appelé pendant un temps à un moratoire sur l'IA,
00:37et le plus célèbre d'entre eux, Eliezer Yudkowsky, expliquait même en 2023
00:41qu'on devrait être prêt à déclencher une guerre nucléaire pour faire appliquer ce moratoire aux pays qui n'en voudraient pas.
00:48Pour d'autres spécialistes de l'IA, au contraire, ces craintes relèvent de la science-fiction.
00:53Ceux-là ont trois arguments principaux.
00:55D'abord, la fameuse super-intelligence leur semble encore très loin d'être atteinte.
00:59Ensuite, même si elle apparaissait, il ne leur semble pas très plausible qu'elle devienne hostile à l'humanité.
01:06Et enfin, même si c'était le cas, il ne leur semble pas acquis qu'elle puisse échapper totalement au contrôle humain.
01:13Le débat n'est donc pas tranché.
01:15Et comme le moins qu'on puisse dire, c'est que son enjeu est important, on parle quand même de la survie de l'humanité,
01:20tout ce qui peut contribuer à l'éclairer est utile.
01:23C'est dans ce contexte qu'une équipe d'experts de la prévision, sous la direction de Phil Tetlock de l'université de Pennsylvanie,
01:30a eu l'idée d'utiliser une méthode qui a fait ses preuves.
01:33Le tournoi de prévision, et plus exactement une variante qu'ils appellent un tournoi de persuasion.
01:39Dans un tournoi de persuasion, on fait participer un grand nombre de participants, d'experts,
01:43qui ne se contentent pas de dire s'ils pensent qu'un événement va se produire oui ou non,
01:47ils lui assignent une probabilité, et ensuite ils tentent de persuader les autres participants, avec des arguments,
01:53de se ranger à leur avis.
01:55En règle générale, cette méthode permet à des experts qui partent de points de vue différents de converger vers des prévisions partagées.
02:02Pour organiser ce tournoi, le tournoi de prévision du risque existentiel,
02:06les organisateurs ont élargi le débat à l'ensemble des risques qu'ils ont pu identifier comme pesant sur l'humanité.
02:12Risques climatiques, bien sûr, risques nucléaires, risques bioterroristes, risques de collision avec un astéroïde, et ainsi de suite.
02:20En tout, 169 participants ont participé au tournoi.
02:25Parmi eux, 89 étaient des super-prévisionnistes qui avaient, dans d'autres tournois,
02:30démontré sur d'autres sujets qu'ils sont capables de formuler des prévisions argumentées, et surtout très souvent correctes.
02:36Les 80 autres étaient des experts de l'un ou l'autre des risques existentiels,
02:41experts en IA, bien sûr, mais aussi en sécurité nucléaire, bioterroriste, bactériologique, et ainsi de suite.
02:49La conclusion la plus surprenante, c'est que contrairement à ce qui se passe habituellement,
02:54les prévisions des 169 participants n'ont pas convergé.
02:59Même après avoir échangé des milliers de prévisions, et avoir échangé des millions de mots pour les défendre,
03:05le désaccord reste immense.
03:08Prenons juste une mesure, l'évaluation du risque d'extinction de l'humanité d'ici à l'an 2100.
03:15Elle est de 6% pour la médiane des 80 experts en risque, mais de seulement 1% pour les 89 super-prévisionnistes.
03:24Tout se passe comme si les super-prévisionnistes, en fait, ne se laissaient pas gagner par l'angoisse existentielle des spécialistes des risques,
03:31parce qu'ils se disent qu'ils sont les mieux placés pour quantifier des petites probabilités sans perdre leur sang-froid.
03:37Il semble qu'en revanche, les experts, de leur côté, ne soient pas convaincus par ce relatif optimisme des super-prévisionnistes,
03:43et qu'ils se disent que, cette fois, on a affaire à des risques qui sont vraiment différents de tout ce qu'on a pu connaître dans le passé.
03:50Le débat reste donc entier.
03:53Mais les données nous donnent quand même une indication très intéressante.
03:56Pour un participant donné, les estimations des différents risques sont fortement corrélées entre elles.
04:03Par exemple, les participants qui estiment qu'il y a un risque élevé de catastrophes liées à l'intelligence artificielle
04:10font aussi des prévisions de risques plus élevés sur les pandémies ou sur le risque nucléaire.
04:16Ceux qui, au contraire, ne croient pas que l'IA puisse nous manger tout cru
04:20sont aussi les moins inquiets quand on les interroge sur le bioterrorisme ou sur les catastrophes climatiques.
04:27Il semble donc que face à une incertitude irréductible,
04:30les prévisions reflètent au fond plus le tempérament de la personne qui les formule
04:36que le contenu de la question posée et des faits disponibles.
04:41Une observation à garder à l'esprit, la prochaine fois vous choisirez quel expert consulter.