L’étude des prévisions – et de la manière d’en faire des bonnes – ne date pas d’hier. Parmi toutes les méthodes qui permettent d’améliorer la qualité des prévisions, dans tous les domaines, il en est une qui a fait ses preuves : utiliser plusieurs prévisions indépendantes. [...]
Category
🗞
NewsTranscription
00:00L'étude des prévisions et de la manière de faire de bonnes prévisions ne date pas d'hier.
00:13Parmi toutes les méthodes qui permettent d'améliorer la qualité des prévisions dans tous les domaines,
00:17il en est une qui a fait ses preuves, c'est d'utiliser plusieurs prévisions indépendantes les unes des autres.
00:24Concrètement, il s'agit simplement de demander à plusieurs experts de formuler des prévisions séparément, indépendamment les uns des autres.
00:32On peut ensuite utiliser différentes méthodes pour agréger ces opinions.
00:36La plus simple, quand c'est possible, c'est d'en prendre simplement la moyenne.
00:39C'est l'effet qu'on connaît sous le nom de « sagesse des foules », qu'on connaît depuis plus d'un siècle.
00:43Quand on prend la moyenne des prévisions, on fait mieux que les prévisions de presque tous les individus qui ont contribué à cette moyenne.
00:50On peut bien sûr raffiner la méthode pour ne pas se contenter d'une simple moyenne.
00:54Par exemple, on peut pondérer les opinions en fonction des compétences supposées des contributeurs,
00:59ou en fonction de leur degré de confiance, comme le font les marchés de prédiction,
01:03où l'on parie sur les prévisions qu'on fait un peu comme des joueurs sur un champ de course.
01:06On peut aussi orchestrer un débat entre les experts pour les faire converger, c'est la méthode Delphi et ses nombreuses variantes.
01:14Mais dans tous les cas, l'idée centrale est la même, plusieurs prévisions valent mieux qu'une.
01:19La foule fait mieux que les individus qui la composent, parce que les erreurs aléatoires des individus se compensent mutuellement.
01:26Mais ça, bien sûr, c'était avant l'intelligence artificielle.
01:31Aujourd'hui, une question nouvelle se pose.
01:34Est-ce que les Large Language Models, les LLM comme CHAD-GPT, font de meilleures prévisions que les experts humains ?
01:40Trois études récentes de Philippe Schoenegger et de ses co-auteurs nous apportent des éléments de réponse sur cette question nouvelle.
01:47La première étude nous montre que toute seule, l'IA n'est pas une très bonne prévisionniste.
01:54Non seulement elle fait moins bien que la sagesse des foules, mais elle ne fait pas mieux que la stratégie qui consisterait à répondre au hasard.
02:01Alors bien sûr, il ne faut pas généraliser, cette performance dépend du problème de prévision,
02:05et on peut parier que la performance des IA en matière de prédiction va continuer à s'améliorer.
02:10Mais pour l'instant, les prévisionnistes humains ne sont pas complètement hors-jeu.
02:14Dans la deuxième étude, les chercheurs ont donné aux prévisionnistes humains un assistant IA.
02:19Cet assistant, donc, n'est pas meilleur qu'eux, on l'a vu.
02:22Et pourtant, ce qui est intéressant, c'est qu'avec son aide, les prévisionnistes humains améliorent légèrement leur performance.
02:29Apparemment, le seul fait d'être forcé de se remettre en question, d'être conduit par l'IA à s'interroger un petit peu plus longtemps,
02:37les aide à formuler une meilleure prévision, même quand le modèle qui les challenge n'est en réalité pas très bon.
02:43Ce qui est intéressant, c'est la troisième étude.
02:46Parce que là, les chercheurs se sont demandé ce qui se passe si on n'utilise pas une seule IA, mais plusieurs.
02:52Ils ont donc eu recours à une douzaine de modèles différents, dont ils ont pris la moyenne.
02:57C'est la logique de la sagesse des foules, mais c'est ce qu'ils ont appelé une foule de silicium.
03:02Le résultat, c'est qu'avec une foule de 12 modèles, la moyenne de ces modèles,
03:07la performance collective de la foule de silicium parvient à égaler la performance de la foule humaine.
03:14Ainsi, même quand un modèle ne fait pas mieux qu'un humain,
03:18une foule de modèles fait mieux que la foule des humains, qui fait elle-même mieux que presque tous les individus qui la composent.
03:25Ce qui est intéressant dans cette observation, c'est qu'elle nous rappelle le principe fondamental de la prévision,
03:31on ne fait pas disparaître l'incertitude.
03:34Si aucun humain ne fait de prévision parfaite, aucune n'y a non plus, il n'y a pas de boule de cristal.
03:40Plutôt que de chercher à développer l'outil de prévision parfait, mieux vaut donc en avoir plusieurs.