Jeu de test
Des cas représentatifs, séparés de l’entraînement, avec des situations simples et difficiles.
Mesurer avant de comparer
Benchmarks et évaluations : comment mesure-t-on une IA ?
Un score n’a de sens qu’avec une tâche, des données, une méthode et des conditions précises. Une IA peut être excellente sur un test et médiocre dans votre situation.
À retenirIl n’existe pas de note universelle de « l’intelligence ». Il faut une série de mesures adaptées à l’usage et aux risques.
Exactitude 82Robustesse 61Sécurité 74Coût 55Scores illustratifs, sans rapport avec un modèle réel.
Changez l’usage
Le meilleur modèle dépend du besoin
Une évaluation solide
Exemple : choisir une IA pour répondre aux clients
Un modèle obtient 92 % à un test général, mais invente parfois une politique de remboursement. Un autre atteint 88 %, cite correctement les documents internes et coûte deux fois moins cher. Pour ce besoin réel, le second peut être le meilleur choix malgré son score global inférieur.
Quatre pièces complémentaires
Métriques
Des mesures cohérentes avec l’objectif : exactitude, taux d’erreur, latence, coût ou préférence.
Évaluation humaine
Des critères explicites et plusieurs évaluateurs lorsque la qualité ne se réduit pas à une réponse unique.
Tests de risque
Biais, sécurité, confidentialité, robustesse et conséquences d’un échec dans le contexte réel.
Pourquoi les classements trompent parfois
Le score peut dépasser ce qu’il mesure
Un jeu de test peut circuler sur Internet et contaminer l’entraînement. Les équipes peuvent aussi optimiser spécifiquement le benchmark. Enfin, une moyenne masque les groupes, langues ou cas rares où l’échec se concentre.
- 1
Contamination
Le modèle a peut-être déjà vu les réponses. - 2
Sur-optimisation
Réussir le test ne garantit pas le transfert. - 3
Moyenne
Elle peut cacher des échecs graves. - 4
Contexte
Langue, outil et consigne changent le résultat.
Votre propre test
Trois niveaux suffisent pour commencer
Le cas évident
Vérifie que la fonction de base marche.
Le cas quotidien
Représente le volume, la langue et le format habituels.
Le cas qui doit échouer proprement
Teste ambiguïté, manque d’information et limite de sécurité.
Sources de référence
Pour approfondir
L’évaluation doit relier les mesures techniques à l’usage, aux personnes concernées et aux conséquences.
NIST ARIAPlanifier des évaluations d’IA →NIST AI RMFFiabilité et gestion des risques →
Sources consultées le 28 septembre 2026.
Étape suivante
Découvrez comment les instructions et les garde-fous encadrent une application d’IA.
Comprendre une notion
Gardez le fil de votre apprentissage.
Une étape courte et clairement reliée à ce que vous venez de lire.