Quand l'IA se trompe, qui répond ?
Responsabilité, décision algorithmique, chaîne d'acteurs
Le vertige
Imaginez une IA qui filtre des CV et écarte systématiquement des candidates parce qu'elle a appris à reconnaître un « bon profil » sur des décennies d'embauches où les femmes étaient absentes. Personne ne l'a programmée pour discriminer. Et pourtant, elle discrimine.
Maintenant, qui est responsable ?
Le développeur du modèle, qui ne savait pas exactement comment il prenait ses décisions ? L'entreprise qui l'a acheté, sans le tester sur ses propres données ? La direction des ressources humaines qui a validé le déploiement ? Le recruteur qui a suivi les recommandations sans les remettre en cause ? La candidate qui n'a jamais su pourquoi son CV avait été écarté ?
Une IA ne va pas en prison. Personne ne mettra une machine au box des accusés. Pourtant, des décisions prises par des IA changent des vies. Quelque part dans la chaîne, quelqu'un doit répondre. Mais qui ?
Le point de départ
Les cadres juridiques actuels sont conçus pour des actions humaines. Quand une décision est prise, ou filtrée, par un algorithme, la responsabilité se disperse entre de nombreux acteurs : ceux qui ont conçu le modèle, ceux qui l'ont entraîné, ceux qui l'ont vendu, ceux qui l'ont intégré, ceux qui l'utilisent, ceux qui le supervisent.
L'Europe tente de répondre avec l'AI Act, qui classe les usages de l'IA par niveau de risque et impose des obligations en conséquence. Le RGPD encadre déjà certaines décisions automatisées. Mais entre la loi et la réalité du terrain, il y a un écart : qui, dans une organisation, est concrètement responsable des dérives d'une IA qu'elle utilise sans en comprendre le fonctionnement ?
Il y a aussi un mécanisme troublant que les chercheurs appellent la moral crumple zone : quand un système automatisé échoue, c'est souvent l'humain en bout de chaîne qui prend la faute. La machine absorbe la décision, l'humain absorbe la responsabilité.
Demain
Demain, les IA interviendront dans le recrutement, la santé, la justice, le crédit, l'éducation, l'assurance, la modération de contenus. Les décisions qu'elles influenceront seront de plus en plus lourdes de conséquences.
Les organisations devront décider en amont qui répond quand ça déraille. Et les individus devront pouvoir comprendre et contester les décisions qui les concernent.
Angles possibles
Revue d'articles pour commencer
EU AI Act — texte officiel (2024)
Pour comprendre le cadre européen, les niveaux de risque et les obligations qu'il introduit pour les usages à fort impact.
CNIL — Guide sur l'IA et la protection des données
Le cadre français et les bonnes pratiques RGPD appliquées à l'IA.
Cathy O'Neil — Weapons of Math Destruction
Des cas concrets et accessibles de systèmes automatisés qui produisent de l'injustice à grande échelle.
Madeleine Clare Elish — Moral Crumple Zones
Pour comprendre comment les humains finissent par porter le poids des erreurs des systèmes automatisés.
Stanford — AI Index Report
Des chiffres récents sur les incidents IA recensés dans le monde et leurs conséquences documentées.
AlgorithmWatch — Automating Society
Des cas documentés de systèmes automatisés déployés en Europe, et de leurs effets réels sur les personnes.
Tester vous-même
- Demandez à une IA générative de trier dix CV anonymisés pour un même poste — mais variez les noms. Comparez les profils retenus.
- Soumettez les mêmes symptômes à une IA, plusieurs fois, sous des identités différentes. Observez les écarts de diagnostic.
- Demandez à une IA qui serait responsable d'une de ses propres erreurs. Lisez sa réponse avec attention.
- Cherchez un cas réel d'incident IA en entreprise. Reconstituez la chaîne des responsabilités : qui aurait dû voir venir ?
- Discutez avec une personne dont le travail consiste à valider des décisions prises par une IA. Comment vit-elle cette responsabilité ?
Et vous, dans quel contexte l'anchreriez-vous ?
La question de la responsabilité se pose différemment selon qu'on est dans une organisation soignante, une DRH ou une plateforme.
Enseignement supérieur
Évaluation automatisée, détection de fraude, orientation des étudiants
Entreprise
Recrutement, crédit, scoring RH, modération de contenus
Industrie créative
Modération algorithmique, recommandation, droits d'auteur automatisés