Accepter une valeur selon son score de confiance ?

Le score dont parle votre éditeur, c’est lequel ?

Trois objets portent ce nom. Le score d’une valeur : chez Microsoft, 0,95 signifie que la prédiction est probablement correcte 19 fois sur 20. Tous les champs n’en renvoient pas. Le score de lecture du texte : Microsoft écrit qu’il n’influence pas celui du champ, qui reflète pour un modèle personnalisé la position de la valeur extraite, et qu’il faut regarder les deux. Sur un scan, un bon score de champ pourrait donc coexister avec une lecture douteuse. La même page note toutefois que, depuis la version d’API du 30 novembre 2024, le score de champ des modèles personnalisés « inclut » les scores de mots, sans dire comment : demandez ce qu’il en est pour votre outil. Le score d’un test préalable : celui que Docusign propose avant d’activer une extraction personnalisée se calcule d’après ce que nous avons lu avant l’activation, et non valeur par valeur en production ; nous n’avons pas lu sa définition.

Juro annonce un niveau de confiance avec chaque réponse, avec le passage d’origine mis en évidence, sans dire dans ce que nous avons lu comment il se calcule. Demandez à votre éditeur lequel de ces objets il affiche, comment il le calcule, et s’il inclut la lecture du scan.

La vérification, sur des nombres inventés

Les nombres sont fictifs. Sur 200 valeurs d’un champ dont la référence est connue, classez les valeurs par tranche de score et comptez les justes. Comparez ensuite le taux réel à ce que le score promet, en lisant le bas de l’intervalle de confiance à 95 %, calculé par la méthode de Wilson, bilatérale : la fourchette où le taux réel se situe probablement.

Ce que ce tableau vous ferait décider

Dans la tranche haute, le score promet au moins 95 % et le haut de l’intervalle n’y arrive pas (94,2 %). Le score surestime : nous n’activerions pas l’acceptation automatique. Les intervalles des deux tranches du haut se chevauchent largement (83,3 à 94,2 et 75,8 à 93,1) : dans cet exemple, la frontière à 0,95 ne sépare pas vraiment deux populations. Seules la tranche haute et la tranche basse se distinguent (83,3 contre 81,9), et de peu.

Supposons maintenant 114 justes sur 120 dans la tranche haute : 95,0 %, de 89,5 % à 97,7 %. Le score paraît juste, mais le bas de l’intervalle reste à 89,5 %. Si votre seuil est 95 %, on ne sait pas encore. Pour prouver un taux d’erreur maximal, la méthode change : on quitte le Wilson bilatéral pour la méthode exacte unilatérale à 95 %, valable ici quand aucune erreur n’est observée. Il faut alors 59 valeurs sans erreur pour borner l’erreur à 5 % environ et 299 pour 1 % : refaites ce calcul dans chaque tranche que vous voulez automatiser, et séparément par groupe de scans.

Si votre stock est varié et que vous suivez 6 champs, comptez ce test en plus du protocole de base, ou conservez la relecture.

Si la vérification passe

1. Limitez à un champ et à une tranche. Un champ simple à la fois, jamais un préavis, une fin après reconduction ou une clause à risque.
2. Gardez un échantillon de contrôle. Tirez au sort dans les valeurs acceptées, à intervalle fixe. Une erreur retrouvée vous ramène à la relecture de cette tranche.
3. Surveillez les valeurs absentes. Un champ vide n’a pas toujours de score. Microsoft décrit une note pour des cellules vides de tableau ; demandez à votre éditeur ce qu’il en est pour un champ absent, et contrôlez ces cas à part.
4. Revérifiez après tout changement. Modèle, type de contrat ou qualité de scan : un score vérifié hier ne vaut plus. La marche à suivre après un changement de modèle a sa propre page.