L’IA propose
La personne reçoit plusieurs options et peut les écarter sans difficulté.
Une aide n’est pas une autorité
Peut-on laisser une IA prendre une décision ?
Tout dépend des conséquences. Choisir une chanson et refuser un crédit ne demandent pas les mêmes garanties. Plus une décision touche les droits, la santé, la sécurité ou l’avenir d’une personne, plus le contrôle humain doit être réel, compétent et contestable.
Faibles conséquences→Effets importants→Droits ou sécuritéLe niveau de surveillance doit augmenter avec le risque.
Comparer quatre situations
De quel contrôle avons-nous besoin ?
Choisissez un cas. Une même technologie peut être anodine ou critique selon son usage.
Trois rôles très différents
Exemple : examiner une demande de prêt
Une IA peut signaler les pièces manquantes ou préparer une synthèse. Si elle recommande un refus, la personne chargée du dossier doit comprendre les éléments utilisés, pouvoir vérifier les erreurs et disposer d’un vrai pouvoir de décision. Cliquer systématiquement sur « valider » n’est pas un contrôle humain réel.
Recommander, préparer ou décider
L’IA prépare
Elle résume, classe ou estime. Un humain examine réellement le dossier et peut modifier le résultat.
Le système produit l’issue
L’acceptation, le refus ou le classement devient effectif sans intervention humaine significative.
Garder réellement la main
Un contrôle humain ne doit pas être décoratif
Voir un score puis cliquer systématiquement sur « valider » n’est pas un contrôle effectif. La personne chargée de superviser doit avoir le temps, les informations, la compétence et l’autorité nécessaires.
Connaître l’objectif, les données utilisées et les limites du système.
Examiner le cas individuel et rechercher des informations manquantes.
Pouvoir s’écarter du résultat automatique sans être pénalisé.
Donner à la personne concernée une raison compréhensible.
Suspendre l’usage si les erreurs ou les conséquences deviennent trop importantes.
Le piège du score impressionnant
Le biais d’automatisation
Nous avons tendance à faire confiance à une sortie informatique parce qu’elle paraît précise, rapide et objective. Cette confiance peut conduire à ignorer un doute ou une information contraire.
Un score de « 87 % » ne révèle pas automatiquement la qualité des données, les erreurs possibles ni la pertinence pour cette personne. Le règlement européen sur l’IA demande justement aux personnes supervisant certains systèmes à haut risque d’être conscientes de cette tendance à la confiance excessive.
87 %Ce nombre semble précis…
- Mais 87 % de quoi ?
- Sur quelle population ?
- Avec combien d’erreurs graves ?
- Le cas présent ressemble-t-il aux données testées ?
Quand une personne est directement affectée
Information, intervention et contestation
Dans l’Union européenne, le RGPD encadre les décisions fondées exclusivement sur un traitement automatisé lorsqu’elles produisent des effets juridiques ou affectent une personne de manière significative. Le principe comporte des exceptions, mais des garanties sont alors nécessaires.
Cette fiche donne un repère général et ne remplace pas un conseil juridique adapté à une situation précise.
Savoir qu’une décision automatisée existe et comprendre son importance et ses conséquences.
Présenter une information ou une circonstance que le système n’a pas prise en compte.
Obtenir un réexamen réel de la situation lorsque ce droit s’applique.
Disposer d’un moyen accessible pour demander une correction ou s’opposer à l’issue.
Avant de déployer un système
Sept questions à poser
Quelle décision est réellement influencée ?
Qui risque de subir une erreur ?
Quelles données manquent ou peuvent être fausses ?
Un humain peut-il comprendre et modifier le résultat ?
La personne concernée est-elle informée ?
Comment demander une explication ou contester ?
Qui est responsable et peut arrêter le système ?
Trois idées à corriger
Une décision automatisée n’est pas neutre
Les objectifs, données, seuils et exceptions ont été choisis. Chacun peut modifier le résultat.
Pas forcément. Il faut vérifier qu’il pouvait comprendre, contredire et corriger la recommandation.
Non. Il faut aussi examiner les erreurs graves, les groupes affectés et les situations inhabituelles.
Sources juridiques et institutionnelles
Pour vérifier les règles
Les obligations exactes dépendent du système, du secteur et de son usage. Ces références présentent les principaux droits et exigences de contrôle humain.
La suite logique
Apprenez à repérer les biais qui peuvent influencer une décision.
Dans le parcours « Je travaille avec l’IA »
Gardez le fil de votre apprentissage.
Une étape courte et clairement reliée à ce que vous venez de lire.