Pour lutter contre la pédocriminalité en ligne, Microsoft a décidé d’agir. L’entreprise a annoncé dans un communiqué la mise au point d’un système de détection automatisé qui s’appliquerait aux chats virtuels.
À voir aussi sur Konbini
Baptisé “Projet Artemis”, le système serait capable de reconnaître un potentiel danger en reconnaissant une série de mots et de phrases, en se basant sur des schémas employés par les prédateurs sexuels en ligne.
Évaluation du danger
L’outil fonctionnera avec un système de notation, qui évaluera si l’un des participants à la conversation représente un danger pour l’autre. Si la “note” attribuée au participant dépasse un certain chiffre, un modérateur humain sera en charge d’évaluer la conversation et, si nécessaire, d’alerter les autorités compétentes. Dix est considéré comme la note la plus dangereuse.
Fait important, cela permettra d’amasser des données sur les moyens d’opérations des pédophiles en ligne, informations précieuses pour les experts de la protection de l’enfance.
L’entreprise américaine n’a, évidemment, pas communiqué sur les différents termes et expressions qui pourront tirer la sonnette d’alarme, pour éviter que les prédateurs en ligne ne modifient leur comportement. Le dispositif a par ailleurs été testé sur la plateforme de jeux vidéo Xbox Live de Microsoft, qui a annoncé sa mise en place prochaine sur son logiciel Skype.
Microsoft a commencé à développer cette technique depuis novembre 2018, lors d’un hackathon organisé en coopération par WeProtect Global Alliance et la Child Dignity Alliance.
Le système est mis à disposition gratuitement
Le système n’est, cependant, pas encore au point. L’intelligence artificielle utilisée, que l’on peut assimiler à du machine learning, a encore du mal à maîtriser les subtilités de la conversation et du langage. Cette lacune peut entraîner un taux de “faux positifs” (données mal lues ou erronées) assez élevé. Concrètement, cela signifie que le taux de risques détecté par le système sera trop élevé par rapport à la réalité. Comme le fait remarquer cet article du MIT, cette marge d’erreur implique un plus grand nombre de modérateurs devant être à même de réagir en cas de risque potentiel.
Le système est, depuis le 10 janvier, mis à disposition gratuitement aux “entreprises qualifiées offrant une fonctionnalité de chat.” C’est l’association américaine de protection de l’enfance Thorn qui se charge de faire le lien entre les entreprises et le système. Pour le moment, il semble que ce système n’est déployé qu’en langue anglaise.
