En Floride, une adolescente de 17 ans s’est fait rappeler à l’ordre par une intelligence artificielle. Alors qu’elle réalisait son examen de biologie à distance, le logiciel Honorlock l’a surprise en train d’avoir un “comportement suspect”, à savoir “regarder plusieurs fois en bas et sur les côtés avant de répondre aux questions”.
À voir aussi sur Konbini
Plusieurs êtres humains, la bureaucratie universitaire et un outil de détection faciale automatisé d’Amazon auraient ainsi monté un dossier contre la jeune femme avec, comme preuve, une vidéo d’elle regardant vers le bas de sa feuille. Après un rendez-vous avec une professeure, elle a été reconnue coupable “de ne pas s’être conformée aux instructions” et a donc obtenu un zéro pointé.
L’intelligence artificielle discriminante ?
Si certains évoquent une erreur d’algorithme, d’autres, dont la jeune fille accusée de tricherie, pointent du doigt un problème d’interprétation. En quoi regarder ailleurs à un examen est de la triche ? La concernée semble avoir une petite idée. Elle estime être “accusée à tort de malhonnêteté académique par un algorithme” parce qu’elle est “une femme noire”.
Il s’agirait ainsi d’un “biais algorithmique” : l’IA, étant moins bien entraînée sur des minorités, produirait des résultats erronés. C’est cette théorie que la jeune femme défend dans un mail envoyé au New York Times, qui s’est penché sur le sujet. Cooper Quintin, chercheur en technologies à l’Electronic Frontier Foundation, une organisation de défense des droits numériques, soutient la jeune femme :
“Qui regarde fixement un test tout le temps qu’il passe un examen ? C’est ridicule. Ce n’est pas comme ça que les humains fonctionnent. Les comportements normaux sont punis par ce logiciel.”
Ce type d’erreur est fréquent chez les IA. C’est pour cette raison que Tess Mitchell, porte-parole de Honorclock, rappelle qu’une analyse humaine des résultats signalés par le logiciel est nécessaire. “En aucun cas nous n’identifions définitivement les tricheurs, la décision finale appartient à l’école”, a-t-elle déclaré.
Pour nous écrire : hellokonbinitechno@konbini.com
