Évaluer la qualité des sorties IA : les évals en pratique

Comment savez-vous que les réponses de Claude sont bonnes ? Dans la plupart des entreprises, la réponse honnête est : « quelqu’un a regardé deux ou trois exemples et ça avait l’air bien ». Une éval remplace cette impression par une mesure : un jeu de tests construit sur vos cas métier réels, des critères de notation explicites, et une exécution systématique à chaque modification du système.

C’est la même discipline que les tests logiciels, appliquée au travail IA. Personne ne déploie du code sans tests ; personne ne devrait déployer un assistant IA sans évals. La différence entre les deux situations : sans évals, chaque changement — un contexte retouché, un skill modifié, un nouveau modèle — est un pari.

De quoi est faite une éval ?

La tentation classique est de partir d’un test générique trouvé en ligne. Résistez-y : un score sur des questions standard ne dit rien de la capacité de Claude à rédiger vos réponses clients, dans votre ton, avec vos contraintes réglementaires. Une éval utile est locale par construction. Trois ingrédients, tous issus de votre métier :

• Un jeu de cas d’entrée réels : vingt vrais emails clients, quinze vraies demandes de devis, dix vrais contrats à analyser. Anonymisés si nécessaire, mais réels.
• Une grille de notation explicite : qu’est-ce qu’une bonne sortie ? Exactitude des faits, respect du ton, présence des mentions obligatoires, format attendu. Chaque critère doit être vérifiable.
• Un verdict de référence : pour chaque cas, ce qu’un expert interne considère comme la bonne réponse — ou au minimum les erreurs inacceptables.

Qui note : l’humain, la machine, ou les deux ?

Les critères objectifs se vérifient automatiquement : le montant est-il correct, la clause obligatoire est-elle présente, le format est-il respecté. Un script suffit, et il tourne à chaque changement sans coûter une minute humaine.

Les critères de jugement — le ton est-il adapté, l’argumentation tient-elle — peuvent être notés par un second passage d’IA, avec une grille stricte. Cette notation automatique doit elle-même être calibrée : on vérifie régulièrement qu’elle donne les mêmes verdicts qu’un expert humain sur un échantillon. L’humain reste l’étalon ; la machine étend sa portée.

Règle pratique, observée dans les entreprises que nous accompagnons : commencez par les critères binaires et automatisables. Ils couvrent une part surprenante des erreurs graves — un montant faux, une mention légale absente, un format non respecté — pour un coût de mise en place minime. Le jugement fin vient ensuite, quand la base est verrouillée.

La régression : le risque que personne ne surveille

Le scénario classique : quelqu’un améliore le contexte pour mieux traiter les demandes de type A, et sans que personne ne le voie, les réponses de type B se dégradent. Sans évals, cette régression se découvre chez le client, des semaines plus tard.

Avec une éval exécutée à chaque changement, elle se découvre en minutes. C’est aussi ce qui rend les changements de modèles sereins : quand une nouvelle version de Claude arrive, vous rejouez votre jeu de tests et vous savez — chiffres à l’appui — si vous migrez ou si vous attendez. La décision cesse d’être un débat d’opinions.

C’est le même réflexe qui protège vos améliorations dans le temps : un contexte métier retouché, un skill enrichi, un garde-fou ajouté — tout changement passe par la même barrière avant d’atteindre les utilisateurs. Vous itérez plus vite, précisément parce que vous itérez sans peur.

Par où commencer sans se noyer ?

Commencez petit et réel. Prenez votre cas d’usage IA le plus critique, rassemblez vingt exemples d’entrée représentatifs — dont trois ou quatre cas difficiles qui ont déjà posé problème — et écrivez cinq critères de notation. C’est une après-midi de travail, pas un projet.

Ensuite, faites vivre le jeu de tests. Chaque erreur rencontrée en production devient un nouveau cas de l’éval : c’est ainsi qu’elle s’enrichit là où votre métier est réellement difficile. Une éval figée vieillit ; une éval nourrie par le terrain devient votre meilleure assurance qualité.

Dans le Harness d’entreprise — la couche d’orchestration entre Claude et vos process — les évals sont le pendant qualité du pilotage : le tableau de bord dit combien l’IA produit, les évals disent si c’est bon. C’est ce second volet qui transforme un déploiement IA en système de confiance, et c’est un des livrables du Programme Autonomie Claude.