Que vaut un taux de précision annoncé ?
Un commercial ou une page produit vous donne un pourcentage de précision et vous devez savoir quel poids lui accorder dans votre choix.
Sans langue, sans champ, sans jeu de test et sans date, un taux ne vaut rien pour votre décision. Ce n’est pas une accusation : le chiffre peut être vrai, il ne dit simplement rien de vos contrats. 92 % de données exactes sans méthode et 95 % de suggestions acceptées ne mesurent pas la même chose.
Si un éditeur publie sa méthode, le chiffre devient une hypothèse à vérifier sur votre stock. Il ne remplace toujours pas le test.
Notre avis
Tenez un taux annoncé pour une question à poser. N’en faites jamais un critère de comparaison entre éditeurs, sauf s’ils ont suivi la même règle sur le même jeu.
Pourquoi
- Sur six éditeurs relevés, un seul affiche un taux absolu, et sans méthode. Deux publient des écarts sans valeur de base. Trois n’affichent aucun chiffre de précision dans ce que nous avons lu.
- Le même outil peut afficher 92 % de précision et ne trouver qu’un champ sur deux, comme le montre l’exemple plus bas : la précision se tait sur ce que l’outil n’a pas vu.
- Un taux d’acceptation mesure ce que des utilisateurs ont validé. Il dépend aussi de leur vigilance, et sa base n’est pas décrite.
Ce qui change notre avis
Un éditeur qui publie sa langue, ses champs, son jeu de test, sa règle et sa date mérite plus d’attention que les autres. Son chiffre devient une hypothèse sérieuse à reproduire chez vous.
Ce que chaque chiffre publié mesure vraiment
| Éditeur | Le chiffre | Ce qu’il mesure | Ce qui manque |
|---|---|---|---|
| Tomorro | 92 % de « accuracy of data extracted by Oro » | Non précisé. La note de bas de page (12 248 contrats, du 24/02/2025 au 02/03/2025) est rattachée au gain de temps de négociation | Langue, types de contrat, scans, champs, référence |
| Juro | 95 % de « AI suggestions accepted » | Des suggestions acceptées | La base ; aucun taux d’exactitude. Juro admet qu’une IA générative n’est jamais exacte à 100 % |
| Docusign | Environ 1 point de F1 sous le modèle maître, 7 points d’exactitude de plus que l’ancien modèle | Des écarts internes entre modèles | Toute valeur absolue, le jeu de test |
| Luminance | 5 % d’exactitude en plus | Un écart face à des modèles généraux, sur son banc propriétaire : plus de 180 000 points selon le communiqué, 189 000 selon le billet du même jour | La valeur absolue ; points ou pourcentage relatif ; banc non public |
| Ironclad | Aucun taux lu | Limites décrites : tableaux, manuscrit, filigrane, mauvais scans | Tout taux |
| DiliTrust | Aucun taux d’extraction lu | Les autres pourcentages lus portent sur d’autres sujets | Tout taux |
Comment un outil affiche 92 % et rate un champ sur deux
Les nombres sont inventés. Imaginez 100 préavis présents dans un stock. L’outil ne répond que lorsqu’il est sûr de lui : il donne 50 réponses, dont 46 justes et 4 fausses, et ne dit rien pour les 50 autres.
Sa précision (quand il répond, a-t-il raison ?) vaut 46 ÷ 50 = 92 %. Son rappel (trouve-t-il ce qui existe ?) vaut 46 ÷ 100 = 46 %. Les deux chiffres sont corrects. Le premier ferait une belle page d’accueil, le second vous ferait manquer un préavis sur deux si vous vous en remettiez à l’outil.
Rien ne dit qu’un produit réel se comporte ainsi : ce calcul montre seulement pourquoi la précision seule ne suffit pas. Le mot anglais « accuracy » ajoute une ambiguïté, puisqu’il peut désigner un autre calcul encore : demandez la formule.
Six questions à poser, dans cet ordre
- Quelle formule ? Précision, rappel, exactitude, taux d’acceptation ? Sur combien de champs réellement présents ?
- Quels champs ? Un taux par champ. Une moyenne qui mêle date de signature et préavis ne vous sert pas.
- Quelle langue et quels documents ? Part de français, types de contrat, part de scans. Sans cela, le chiffre ne se rapproche pas de votre stock.
- Quelle référence ? Qui a établi les bonnes réponses, sans voir celles de l’IA ? Un relecteur qui voit la proposition de l’outil n’est pas une référence indépendante.
- Quelle date et quel modèle ? Un taux de l’an dernier décrit peut-être un autre modèle. Docusign écrit en être à la septième génération de ses modèles en production.
- Pouvez-vous le refaire sur mes contrats ? C’est la question qui compte. La suite se trouve dans le protocole, y compris en cas de refus.
Le cas du score affiché par l’outil lui-même
Docusign propose un test de précision optionnel avant d’activer une extraction personnalisée. Pour les types de contrat, la personne qui teste regarde ce que l’IA a identifié et répond oui ou non, document par document, avant de lire un résultat. C’est une aide réelle pour régler l’outil.
Nous en déduisons que ce score ne vaut pas votre test : il dépend des documents que vous avez choisis, le calcul n’est pas défini dans ce que nous avons lu, et la personne voit la proposition avant de juger. Et la documentation précise que cette détection n’est pas disponible pour les obligations ou les extractions de clauses personnalisées. Le score de confiance donné valeur par valeur est un autre sujet, sur sa propre page.
Limites de cette page
Ce relevé vaut pour six éditeurs et des pages publiques à une date. Une absence signifie que nous n’avons rien trouvé, pas qu’il n’existe rien sous accord ou en avant-vente. Nous ne disons pas qu’un de ces chiffres est faux. Le calcul de 92 % et 46 % est inventé et ne décrit aucun produit.
Preuves et sources
Pages de six éditeurs lues le 5 novembre 2026 : Tomorro, Juro, Docusign, Luminance, Ironclad, DiliTrust. Nous n’avons parlé à aucun d’eux et n’avons essayé aucun logiciel. Un éditeur peut fournir davantage sous accord.
Voir les 9 éléments : ce qui est un fait lu, une déclaration, notre déduction ou notre avis
Déclaration de l’éditeur. Tomorro affiche « 92 % » de précision des données extraites par Oro, sans méthode attachée : la note de bas de page (12 248 contrats, du 24 février au 2 mars 2025) est rattachée par l’astérisque au gain de temps de négociation.
Portée : Page anglaise de Tomorro.
Réserve : Ne vaut pas mesure indépendante et ne s’applique pas aux contrats du lecteur.
Relevé le 5 novembre 2026.
- Tomorro : Oro - AI Legal Assistant Software date non capturée. Lu le 5 novembre 2026. Page de l’éditeur.
- Tomorro : Tomorro | IA Legal date non capturée. Lu le 5 novembre 2026. Page de l’éditeur.
Déclaration de l’éditeur. Juro affiche « 95 % » de suggestions d’IA acceptées, ne publie aucun taux de précision d’extraction dans ce que nous avons lu, et écrit qu’une IA générative ne peut jamais être exacte à 100 %.
Portée : Pages publiques de Juro.
Réserve : Base non décrite. Le taux dépend aussi de la vigilance du relecteur.
Relevé le 5 novembre 2026.
- Juro : Intelligent repository date non capturée. Lu le 5 novembre 2026. Page de l’éditeur.
- Juro : Using AI responsibly date non capturée. Lu le 5 novembre 2026. Page de l’éditeur.
- Juro : How to use contract extraction software date non capturée. Lu le 5 novembre 2026. Page de l’éditeur.
Déclaration de l’éditeur. Un billet d’ingénierie de Docusign donne un écart d’environ 1 point de F1 avec son modèle maître et un gain de 7 points d’exactitude face à l’ancien modèle de production, sans valeur absolue, et situe ses modèles en production à la septième génération.
Portée : Billet d’ingénierie non daté dans notre lecture.
Réserve : Écart interne sur un jeu non décrit.
Relevé le 5 novembre 2026.
- Docusign : How a Small Model Learned to Do a Large Model's Job at Docusign's Scale date non capturée. Lu le 5 novembre 2026. Page de l’éditeur.
Déclaration de l’éditeur. Luminance annonce pour Luna Crescent une précision supérieure de 5 % sur des tâches de compréhension de contrats, face à des modèles généraux, sur son banc propriétaire ; le communiqué parle de plus de 180 000 points, le billet du même jour de 189 000.
Portée : Communiqué et billet du 19 juin 2026.
Réserve : Banc conçu et exécuté par l’éditeur ; ni points ni pourcentage relatif précisés.
Relevé le 5 novembre 2026.
- Luminance : Luminance unveils 'Luna Crescent' 19 juin 2026. Lu le 5 novembre 2026. Page de l’éditeur.
- Luminance : The era of vertical AI is here 19 juin 2026. Lu le 5 novembre 2026. Page de l’éditeur.
Notre déduction. Sur six éditeurs relevés, un seul (Tomorro) affiche un taux absolu de précision, et sans méthode ; deux publient des écarts relatifs sans base (Docusign, Luminance) ; trois n’affichent aucun chiffre de précision dans ce que nous avons lu (Ironclad, Juro, DiliTrust).
Portée : Pages publiques lues au 5 novembre 2026.
Réserve : Absence dans nos lectures. Un éditeur peut fournir davantage sous accord.
Relevé le 5 novembre 2026.
- Tomorro : Oro - AI Legal Assistant Software date non capturée. Lu le 5 novembre 2026. Page de l’éditeur.
- Docusign : How a Small Model Learned to Do a Large Model's Job at Docusign's Scale date non capturée. Lu le 5 novembre 2026. Page de l’éditeur.
- Luminance : Luminance unveils 'Luna Crescent' 19 juin 2026. Lu le 5 novembre 2026. Page de l’éditeur.
- Ironclad : Getting Your Legacy Contracts Ready for Metrics: A Practical Guide date non capturée. Lu le 5 novembre 2026. Page de l’éditeur.
- Juro : Intelligent repository date non capturée. Lu le 5 novembre 2026. Page de l’éditeur.
- DiliTrust (Hyperlex) : Logiciel gestion des contrats avec IA - DiliTrust date non capturée. Lu le 5 novembre 2026. Page de l’éditeur.
Déclaration de l’éditeur. Ironclad ne publie aucun taux dans ce que nous avons lu, et écrit que l’IA a des limites sur les tableaux, le manuscrit, le papier filigrané et les scans de faible qualité.
Portée : Guide de l’éditeur.
Relevé le 5 novembre 2026.
- Ironclad : Getting Your Legacy Contracts Ready for Metrics: A Practical Guide date non capturée. Lu le 5 novembre 2026. Page de l’éditeur.
Notre déduction. Exemple fictif : 46 justes, 4 fausses, 50 sans réponse sur 100 présents. Précision 46 ÷ 50 = 92 % ; rappel 46 ÷ 100 = 46 %.
Portée : Nombres inventés, formules de scikit-learn.
Réserve : Ne décrit aucun produit.
Relevé le 5 novembre 2026.
- scikit-learn : Metrics and scoring version stable au jour de lecture. Lu le 5 novembre 2026. Document d’origine.
Déclaration de l’éditeur. Docusign propose un test optionnel de précision avant d’activer une extraction personnalisée : pour les types de contrat, l’utilisateur répond oui ou non à ce que l’IA a identifié. La détection n’est pas disponible pour les obligations ou les extractions de clauses personnalisées.
Portée : Documentation de Docusign, extractions personnalisées.
Réserve : Le calcul du score n’est pas défini dans ce que nous avons lu. Nous n’avons pas utilisé ce produit.
Relevé le 5 novembre 2026.
- Docusign : Custom Extractions date non capturée. Lu le 5 novembre 2026. Page de l’éditeur.
- Docusign : Test the Extraction Accuracy for Your Custom Agreement Types date non capturée. Lu le 5 novembre 2026. Page de l’éditeur.
Notre avis. Un taux annoncé est une question à poser, pas un critère de comparaison, sauf même règle sur même jeu.
Relevé le 5 novembre 2026.