Évaluer correctement un modèle

Imaginez qu’un hôpital déploie une IA révolutionnaire pour détecter le cancer sur des scanners. Les médecins sont ravis : le modèle affiche 99.9% de précision ! Sauf qu’en creusant un peu, on découvre que l’IA répond systématiquement “pas de cancer” à tous les patients. Dans une population où seulement 0.1% des gens ont effectivement cette maladie, elle a techniquement “raison” 999 fois sur 1000… tout en ratant absolument tous les cas de cancer.

À l’inverse, une IA qui dirait systématiquement “cancer détecté” aurait un autre type de problème : elle traumatiserait 99.9% de la population avec de fausses alertes, provoquant stress, examens inutiles et saturation du système de santé.

Résultat dans les deux cas : soit des patients malades repartent chez eux sans traitement, soit des milliers de personnes saines vivent un cauchemar médical pour rien. C’est exactement le genre de catastrophe qui arrive quand on évalue mal un modèle IA. La précision brute, c’est comme regarder son score global dans un jeu en négligeant les détails qui comptent vraiment.

La matrice de confusion : votre tableau de bord

Quand un modèle fait des prédictions, il peut se tromper de quatre façons différentes. On représente ça avec une matrice de confusion :

Exemple concret : détection de cancer

Prenons un modèle qui analyse des scanners pour détecter un cancer. Voici ce que signifie chaque case :

• TP (True Positive): Le modèle dit “cancer” et c’est effectivement un cancer → Diagnostic correct, traitement nécessaire
• TN (True Negative): Le modèle dit “pas de cancer” et c’est effectivement sain → Diagnostic correct, patient rassuré
• FP (False Positive): Le modèle dit “cancer” mais c’est faux → Stress inutile, examens supplémentaires
• FN (False Negative): Le modèle dit “pas de cancer” mais c’est faux → Cancer non détecté, retard de traitement

Les FN sont clairement les plus dangereux ici. Un cancer non détecté peut être fatal.

Précision et Recall : les deux faces de la médaille

Maintenant qu’on a identifié les quatre types de résultats possibles, on peut calculer des métriques qui nous disent vraiment si notre modèle est bon. Les deux principales sont la précision et le recall, qui mesurent des aspects complémentaires de la performance.

Précision : quand je dis “positif”, j’ai raison combien de fois ?

Précision = TP / (TP + FP)

La précision mesure la fiabilité de vos prédictions positives. Sur tous les cas où votre modèle crie “cancer !”, combien sont réellement des cancers ?

Recall : sur tous les vrais positifs, j’en détecte combien ?

Recall = TP / (TP + FN)

Le recall mesure votre capacité à ne rien louper. Sur tous les vrais cancers présents, combien votre modèle en détecte-t-il ?

Le piège de la précision élevée

Revenons à notre détection de cancer. Imaginons une maladie rare qui touche 0.1% de la population (1 personne sur 1000). Prenons un modèle paresseux qui répond toujours “pas de cancer”. Sur 1000 patients, il y a généralement 999 sains pour 1 malade.

• Précision apparente : 999/1000 = 99.9%
• Recall : 0/1 = 0% (le malade n’est jamais détecté)

Ce modèle est “précis à 99.9%” mais complètement inutile ! Il rate tous les cancers. C’est exactement le piège dans lequel tombent même des médecins expérimentés. Face à un test médical “fiable à 95%”, ils surestiment souvent la probabilité qu’un patient positif soit réellement malade. Prenons un exemple concret : un test de dépistage fiable à 95% pour une maladie qui touche 1% de la population. Sur 1000 personnes testées :

• 10 sont réellement malades, le test en détecte 9.5 (95% de recall)
• 990 sont saines, mais le test en classe 49.5 comme malades (5% de faux positifs)

Résultat : sur les 59 personnes testées positives, seulement 9.5 sont réellement malades ! La probabilité d’être malade après un test positif n’est que de 16%, pas 95%. Ce phénomène s’appelle l’erreur de la probabilité inverse, et même des professionnels de santé s’y trompent régulièrement.

F1-score : l’équilibre parfait

Le F1-score combine précision et recall en une seule métrique :

F1-score = 2 × (Précision × Recall) / (Précision + Recall)

C’est la moyenne harmonique des deux. Si l’une des deux métriques est nulle, le F1-score l’est aussi. Impossible de tricher !

Cas pratiques : quel modèle choisir ?

Exemple 1 : Détection de fraude bancaire

Selon vous, quel modèle choisir ? Dans le contexte bancaire, le recall prime. Mieux vaut bloquer quelques transactions légitimes (client peut rappeler) que laisser passer une fraude. Le modèle B est préférable.

Exemple 2 : Filtre antispam

Quel modèle choisir ? Pour les emails, la précision prime. Perdre un email important (faux positif) est pire que recevoir quelques spams. Le modèle B est préférable.

Exemple 3 : Reconnaissance faciale pour sécurité

Quel modèle choisir ? En sécurité, c’est l’inverse du spam. Mieux vaut refuser un autorisé (qui peut se réidentifier) qu’accepter un intrus. Le modèle A est préférable malgré son recall plus faible.

Au-delà des bases

Ces métriques fondamentales servent de base à des métriques plus spécialisées selon les domaines :

• Détection d’objets : mAP (mean Average Precision), IoU (Intersection over Union)
• Tracking: MOTA, MOTP qui intègrent les notions de trajectoires
• LLM: BLEU, ROUGE, perplexité pour évaluer la qualité du texte généré
• RAG : Hit rate, MRR pour mesurer la pertinence des documents récupérés

Mais toutes reposent sur ces concepts de base : on compare toujours ce qui est prédit versus ce qui est réel, en analysant les différents types d’erreurs possibles.

Conclusion : méfiez-vous du paradoxe de la précision

Le piège le plus sournois en évaluation de modèles, c’est le paradoxe de la précision. Ce phénomène illustre parfaitement pourquoi l’évaluation d’un modèle IA ne peut jamais se résumer à un seul chiffre, même impressionnant. Un modèle “précis à 99%” peut être complètement inutile si ce qu’il cherche est rare dans la population étudiée.

Ce paradoxe découle d’un biais cognitif fondamental : notre cerveau a tendance à ignorer la fréquence de base d’un événement quand on évalue la fiabilité d’un test. Quand on entend “test fiable à 95%”, on imagine instinctivement que 95% des résultats positifs correspondent à de vrais cas. Cette intuition est mathématiquement fausse dans la plupart des situations réelles.

Calcul rapide de la vraie probabilité

Pour comprendre ce mécanisme, prenons un exemple concret avec un test médical fiable à 95% pour détecter une maladie touchant 1% de la population. Cette situation est représentative de nombreux cas d’usage en IA : détection de fraude, identification d’objets rares, diagnostic de pannes spécifiques.
Sur une population de 1000 personnes testées, voici ce qui se passe réellement :

• Vrais malades détectés : 1% × 1000 × 95% = 9.5 personnes
• Faux positifs : 99% × 1000 × 5% = 49.5 personnes
• Total de tests positifs : 9.5 + 49.5 = 59 personnes
• Vraie probabilité d’être malade : 9.5 / 59 = 16%

Ce calcul révèle la réalité brutale : votre test “fiable à 95%” génère en fait 84% de fausses alertes ! Les faux positifs dominent complètement les vrais positifs quand l’événement recherché est suffisamment rare. 

Implications pratiques du paradoxe

Ce phénomène explique pourquoi tant de projets IA échouent en production après avoir montré d’excellentes performances en laboratoire. Les datasets de test sont souvent équilibrés artificiellement, pour faciliter l’entraînement, mais la réalité présente des distributions très déséquilibrées.
Astuce rapide : Quand la maladie est rare et le test pas parfait, la plupart des résultats positifs sont des fausses alertes ! Plus c’est rare, pire c’est. Cette règle s’applique à tous les domaines : cybersécurité, contrôle qualité, détection d’anomalies.
Le paradoxe révèle aussi pourquoi la précision seule est une métrique dangereuse. Elle peut masquer une performance catastrophique du modèle sur la classe qui nous intéresse vraiment. C’est pourquoi l’industrie privilégie de plus en plus des métriques composites comme le F1-score qui intègre plusieurs aspects de la performance.