Il gruge une IA et obtient 20/20 en histoire

Il gruge une IA et obtient 20/20 en histoire

Image :

Crédit : Jo McRyan / Getty

photo de profil

Par Konbini

Publié le

Maman est aussi dans la combine.

La semaine dernière, le site d’informations The Verge a relayé l’histoire d’un élève se servant quotidiennement du service “Edgenuity“, une application de tests à distance utilisée par plus de 20 000 établissements scolaires aux États-Unis.

À voir aussi sur Konbini

À 12 ans, Lazare – c’est son nom – s’est décomposé à la vue de ses premiers résultats sur la plateforme. Il aurait obtenu le score de 50 sur 100 lors d’un examen d’histoire : une note très loin de refléter son niveau habituel dans la matière.

Lazare a précisé que, comme pour ses camarades, ses notes seraient arrivées moins d’une seconde après avoir soumis ses réponses : preuve qu’aucune vérification humaine ne serait entrée en jeu dans la notation. En jetant un œil aux résultats, Dana Simmons, sa mère (et par chance professeure d’histoire) a tiqué face à l’inexactitude constante du système, et s’est mise à creuser pour trouver l’origine des failles de la plateforme.

Selon elle, pour demeurer efficace et éviter les hors-sujets, l’intelligence artificielle (IA) d’Edgenuity rechercherait non pas des réponses construites mais des mots-clés spécifiques en lien avec les questions. Déterminée à exposer ce dysfonctionnement, la professeure s’est mise à rechercher un moyen pour leurrer l’IA, et obtenir systématiquement 100 % de bonnes réponses aux tests.

Le mot-clé du succès

“Les questions sont toutes du même style, comme ‘Quel était l’avantage de l’emplacement de Constantinople dans l’empire byzantin ?’, explique Dana Simmons à The Verge. Pour obtenir la note maximale, il suffisait alors de deviner quels sont les mots-clés associés au thème, comme ‘richesse’, ‘caravane’, ‘bateau’, ‘Inde’, ‘Chine’ ou encore ‘Moyen-Orient’.”

Pour maximiser ses chances, la professeure d’histoire a demandé à son fils d’écrire deux longues phrases suivies de la liste de mots-clés. Résultat : Lazare a bel et bien obtenu 100 % de réussite à ses tests, mais sa mère admet que ses notes ne refléteront jamais la compréhension de son matériel de cours. Elle craint même qu’un tel hack, s’il n’était pas connu par tous, puisse exacerber les écarts entre les étudiants.

Consciente de ce facteur d’inégalité, elle a publié l’astuce dans un tweet sur son compte personnel, avec la petite provocation : “Élèves du système Edgenuity, voilà votre ticket pour la réussite. Mon fils est passé d’un F à un A+ sans réviser quoi que ce soit.”

Chargement du twitt...

Bien que sa technique ait fait grand bruit, la mère de Lazare n’est pas la première à avoir trouvé cette faille. The Verge rapporte que de nombreux élèves copient souvent le texte de leurs questions et le collent dans le champ de réponse, en supposant qu’il contienne les mots-clés pertinents.

La mère s’avoue heureuse que Lazare ait appris à contourner l’algorithme éducatif. Il s’agirait d’“une compétence utile” selon elle, même si elle questionne toujours l’égalité des élèves face au problème. Elle conclut auprès de The Verge : “Mon fils obtient des A+ parce que ses parents sont diplômés et s’intéressent à la technologie. Qu’est-ce que cela dit sur la fracture numérique dans cet environnement d’apprentissage en ligne ?”

Contacté par The Verge, Edgenuity n’a pas fait de commentaire.

Et vous, seriez-vous prêt à employer les grands moyens pour contourner les failles de l’algorithme ? Dites-nous tout sur hellokonbinitechno@konbini.com !