Donner du sens au fonctionnement ou aux sorties
Avec un modèle simple, on peut parfois suivre directement la relation entre les entrées et le résultat.
Répondre honnêtement à « pourquoi ? »
Explicabilité et interprétabilité de l’IA
Une explication doit aider une personne précise à comprendre ou contester un résultat. Elle ne doit pas seulement sembler logique : elle doit aussi refléter fidèlement ce que le système a réellement utilisé.
À retenirUne explication claire peut être fausse. Une explication fidèle peut être incompréhensible. Il faut rechercher les deux qualités.
Compréhensible+Fidèle+UtileUne explication adaptée au destinataire
Deux notions proches
Comprendre le modèle ou comprendre son résultat
Produire une explication accessible
Une méthode supplémentaire peut résumer les facteurs qui ont influencé une prédiction complexe.
Une explication pour qui ?
Le besoin change selon la personne
Comprendre et contester
Pourquoi ce résultat ? Quelle information corriger ? Quel recours ?
Décider sans automatisme
Quels éléments soutenir ou invalider avant d’agir ?
Diagnostiquer
Le modèle utilise-t-il un signal inattendu ou fragile ?
Auditer
Le système respecte-t-il son objectif, ses règles et ses limites ?
Expliquer une prédiction
Trois formes fréquentes
Les caractéristiques associées à la hausse ou à la baisse du score.
Des cas comparables connus, avec prudence sur leur pertinence.
« Si cette valeur avait été différente, la décision aurait pu basculer. »
Les limites à connaître
Une explication n’est pas une preuve de justice
Elle peut décrire localement un résultat sans démontrer que le modèle est exact, équitable ou causal. Une importance statistique ne signifie pas qu’un facteur provoque réellement l’issue.
- 1
Plausible mais infidèle
Une justification bien formulée peut être inventée après coup. - 2
Locale, pas générale
Expliquer un cas ne décrit pas tout le modèle. - 3
Corrélation, pas cause
Un facteur influent n’est pas forcément causal. - 4
Stable ou fragile
Une petite variation peut parfois produire une autre explication.
Quatre exigences
Le cadre proposé par le NIST
Fournir des raisons
Le système accompagne ses résultats d’éléments explicatifs.
Être compréhensible
La forme et le niveau correspondent au destinataire.
Refléter le processus
L’explication décrit fidèlement la façon dont le résultat a été produit.
Savoir ne pas répondre
Le système reconnaît les conditions où il ne devrait pas conclure.
Avant de faire confiance
Six questions simples
- 1
Quel public vise l’explication ?
Une seule forme ne convient pas à tous. - 2
Décrit-elle le modèle ou raconte-t-elle une histoire ?
Tester sa fidélité. - 3
Peut-on vérifier les facteurs cités ?
Origine et valeur des données. - 4
Reste-t-elle stable ?
Comparer des cas presque identiques. - 5
Aide-t-elle vraiment à agir ?
Comprendre, corriger ou contester. - 6
Les limites sont-elles visibles ?
Incertitude, hors périmètre et recours humain.
Source de référence
Pour approfondir
Le NIST propose quatre principes : fournir une explication, la rendre significative pour son destinataire, assurer sa fidélité et reconnaître les limites de connaissance du système.
Revenir à la qualité
Une explication complète l’évaluation, elle ne la remplace pas.
Comprendre une notion
Gardez le fil de votre apprentissage.
Une étape courte et clairement reliée à ce que vous venez de lire.