Aller au contenu principal
Quel Logiciel Contrats

Comment tester l’extraction sur vos propres contrats ?

Un éditeur vous promet que son IA relèvera dates, parties et clauses dans votre stock, et vous voulez le vérifier sur vos contrats avant de signer.

Faites passer vos contrats dans l’outil et comparez le résultat à une référence établie sans lui. Tirez l’échantillon au sort, groupe par groupe : PDF natif, bon scan, mauvais scan, français, autre langue. Faites lire chaque contrat par deux personnes, faites trancher leurs désaccords, puis notez le résultat champ par champ.

Ne retenez jamais une moyenne : dans notre exemple fictif, 89 % sur l’ensemble cachent 63 % sur le préavis, la donnée qui vous évite une reconduction subie. 30 à 40 contrats suffisent à écarter un outil clairement insuffisant, sans garantir aucun taux. Et si l’éditeur refuse le test, ne comptez pas sur son extraction.

Notre avis

Aucun chiffre d’éditeur ne remplace un test sur vos contrats. Ce test ne vaut que si la règle est écrite avant, si la référence est établie à deux, et si le résultat se lit champ par champ.

Pourquoi

  • Les chiffres publics ne parlent pas de vos contrats. Sur six éditeurs relevés, un seul affiche un taux absolu, sans méthode, et aucun ne donne de taux par langue, par qualité de scan ou par champ. Nous n’avons trouvé aucune évaluation publique portant sur des contrats français.
  • Le score dépend du champ. Sur des contrats américains en anglais, avec une règle de notation sévère, l’étude ContractEval donne à GPT 4.1 mini un score proche ou au-dessus de 0,9 sur 1 pour les parties. Pour le préavis de non-renouvellement, son texte parle de scores « near-zero » (presque nuls), alors que sa figure montre environ 0,33 pour ce modèle et 0,23 pour Gemma 3 12B, d’après notre lecture du graphique. Les deux disent un score nettement plus bas. L’étude appelle des modèles directement : elle ne mesure ni un logiciel de contrats ni un contrat français.
  • Un seul relecteur ne fait pas une référence : c’est notre déduction. Dans le rapport Vals, consacré à des outils pour cabinets sur des textes en anglais et noté automatiquement par un modèle, le groupe d’avocats servant de comparaison obtient 71,1 % en extraction et 39,2 % sur la question la plus chargée. Ces scores ne mesurent ni un relecteur de votre équipe ni un contrat français.

Ce qui change notre avis

Si vous prévoyez de relire chaque contrat repris, l’extraction ne vous sert qu’à préremplir : le tri à 30 ou 40 contrats suffit. Si vous n’utilisez pas l’extraction, ne faites pas ce test du tout.

Le test, étape par étape

  1. Écrivez la règle avant de voir un résultat. La liste des champs, ce qu’est une réponse juste pour chacun, et le seuil à atteindre. Exemple de règle : un préavis est juste si le nombre de jours et le point de départ sont exacts. Le seuil dépend de ce que coûte une erreur : c’est votre choix, aucune norme ne le fixe.
  2. Tirez au sort dans chaque groupe de documents. C’est un échantillon stratifié : on tire séparément dans chaque groupe (PDF natif, bon scan, mauvais scan, manuscrit ou annoté, français, autre langue), et on ne garde que les groupes présents dans votre stock. Le tirage se fait sur une liste numérotée, par vous et non par l’éditeur. Tirez des contrats : les champs d’un même contrat ne sont pas indépendants, et les additionner gonfle l’échantillon sans le renforcer.
  3. Établissez la référence sans l’IA. Deux personnes lisent chaque contrat sans se concerter, une troisième tranche leurs désaccords. Notez le taux de désaccord par champ. Si vos lecteurs divergent sur un contrat sur dix pour un champ, ce test ne pourra pas juger cet outil plus finement sur ce champ.
  4. Protégez les documents. Signez un accord de confidentialité et n’utilisez pas de service grand public : la CNIL recommande de ne jamais y partager d’informations confidentielles. Faites écrire qui peut lire les contrats, combien de temps ils sont gardés, et s’ils servent à entraîner un modèle, pour l’éditeur et pour son fournisseur de modèle.
  5. Passez tous les contrats, sans réglage après coup. Si l’outil doit être paramétré ou recevoir des exemples, faites-le avant, sur d’autres contrats que ceux du test. Notez la date, la version de l’outil et, si l’éditeur la donne, celle du modèle.
  6. Notez chaque champ. Cinq cases. Juste. Fausse : l’outil donne une mauvaise valeur alors que le champ existe. Manquante : il ne répond rien alors que le champ existe. En trop : il répond alors que le champ n’existe pas. Illisible : personne ne peut lire le passage, et le champ sort du calcul, avec un décompte par groupe.
  7. Calculez par champ et par groupe. Précision, rappel et intervalle, jamais une moyenne seule. Si l’outil affiche un score de confiance, comparez le taux d’erreur réel par tranche de score : rien de ce que nous avons lu ne prouve que ce score reste juste sur des contrats français scannés.
  8. Conservez tout pour rejouer. Gardez les documents, la référence et les résultats. Rejouez le même échantillon après un changement de modèle : Google, par exemple, prévient qu’un changement de modèle de lecture des scans peut modifier le comportement du service.

Le calcul, sur des résultats inventés

Les nombres ci-dessous sont fictifs : aucun outil n’a été testé. Imaginez 60 contrats tirés au sort. La référence trouve la date de signature et les parties partout, et un préavis dans 30 contrats.

La précision répond à la question « quand l’outil répond, a-t-il raison ? » : justes ÷ (justes + fausses + en trop). Le rappel répond à « trouve-t-il ce qui existe ? » : justes ÷ (justes + fausses + manquantes). Une valeur fausse pèse donc sur les deux.

Trois champs sur 60 contrats fictifs (intervalle de Wilson bilatéral à 95 % entre parenthèses)
ChampPrésentsJustesFaussesManquantesEn tropPrécisionRappel
Date de signature605811098,3 % (91,0 à 99,7)96,7 % (88,6 à 99,1)
Parties605721096,6 % (88,5 à 99,1)95,0 % (86,3 à 98,3)
Préavis301947276,0 % (56,6 à 88,5)63,3 % (45,5 à 78,1)

Ce que ce tableau vous fait décider

Tous champs confondus, le rappel donne (58 + 57 + 19) ÷ (60 + 60 + 30) = 134 ÷ 150 = 89,3 %. Un commercial l’arrondira à « près de 90 % ». Sur le préavis, il est de 63,3 %, et le haut de l’intervalle n’atteint que 78,1 %. Dans ce cas, nous ferions vérifier chaque préavis à la main. Une date de signature à 96,7 % peut se contrôler par échantillon, mais 60 contrats ne prouvent pas qu’elle dépasse 95 % : le bas de l’intervalle est à 88,6 %.

Pour retenir un outil au seuil choisi, le bas de l’intervalle doit atteindre ce seuil. L’intervalle de Wilson, décrit par le manuel statistique du NIST (l’institut américain des normes), se refait à la calculatrice. Pour p = 19 ÷ 30 = 0,6333, n = 30 et z = 1,96, le centre vaut (p + z² ÷ 2n) ÷ (1 + z² ÷ n) = 0,6974 ÷ 1,1280 = 0,6182. La demi-largeur vaut z × √(p(1 − p) ÷ n + z² ÷ 4n²) ÷ (1 + z² ÷ n) = 1,96 × 0,09385 ÷ 1,1280 = 0,1631. On obtient 45,5 % et 78,1 %.

Combien de contrats selon ce que vous voulez savoir

Une occurrence est un champ réellement présent dans un contrat. Une clause présente dans 30 % des contrats demande donc environ 117 contrats par groupe pour 35 occurrences (35 ÷ 0,3). Une clause rare ne se teste pas sérieusement dans un petit tirage : ajoutez des contrats qui la contiennent, en sachant que la précision obtenue ne vaudra plus pour tout le stock.

Ces tailles supposent un grand stock et restent prudentes pour un petit. La charge de lecture monte vite : 40 contrats × 6 champs × 2 lecteurs font 480 relevés. Chronométrez les dix premiers contrats avant de lancer le reste. Le détail du calcul de taille est sur la page voisine.

La méthode change dans les deux dernières lignes du tableau. L’intervalle de Wilson est bilatéral : il encadre le taux des deux côtés, à 95 % au total. Les lignes 59 et 299 utilisent la méthode exacte unilatérale à 95 % : elle répond à une seule question, quel taux d’erreur maximal reste possible quand aucune erreur n’est observée. Ces chiffres ne se comparent donc pas directement.

Tailles à viser, à 95 % de confiance : formule de taille et Wilson bilatéral, puis méthode exacte unilatérale pour 59 et 299
Ce que vous voulez savoirTailleD’où vient le chiffre
Écarter un outil clairement insuffisant30 à 40 contrats27 justes sur 30 font 90 %, mais l’intervalle de Wilson bilatéral va de 74,4 % à 96,5 %
Trier par champ et par groupe, à ±10 points, si vous attendez 90 %35 occurrences1,96² × 0,9 × 0,1 ÷ 0,1² = 34,6
Estimer à ±5 points, si vous attendez 90 %139 occurrences1,96² × 0,9 × 0,1 ÷ 0,05² = 138,3
Contrôler en production : borner l’erreur à 5 %59 valeurs sans erreurMéthode exacte unilatérale à 95 % : 1 − 0,05^(1/59) = 4,95 %
Contrôler en production : borner l’erreur à 1 %299 valeurs sans erreurMéthode exacte unilatérale à 95 % : 1 − 0,05^(1/299) = 1,0 %

Si l’éditeur répond par un chiffre, ou refuse

Un chiffre ne répond pas au test. Tomorro affiche 92 % de précision pour les données extraites par Oro, son assistant, sans méthode rattachée : la note de bas de page (12 248 contrats) porte sur le gain de temps de négociation. Juro affiche 95 %, qui mesure des suggestions acceptées. Ironclad reconnaît que sa détection dépend de la ressemblance entre vos données et celles de son entraînement, ce qui revient à vous conseiller ce test. Docusign propose lui-même un test de précision optionnel avant d’activer une extraction personnalisée, sans définir dans ce que nous avons lu comment le score se calcule.

Demandez par écrit le jeu de test, la langue, la part de scans, les champs, la définition d’une réponse juste et la version du modèle. Demandez ensuite un passage sur votre échantillon, sous accord de confidentialité, gratuit ou dans le cadre d’un pilote.

Si l’éditeur refuse, vous avez votre réponse : il ne vous montrera pas ce que son outil fait sur vos contrats. Ce refus ne prouve pas que l’outil soit mauvais, il vous dit seulement que vous achèteriez sans preuve. Si l’extraction pèse dans votre décision, passez au suivant. Sinon, achetez sans compter dessus, et budgétez la relecture de tout le stock.

Limites de cette page

Ce protocole est une méthode construite à partir de définitions publiques et d’erreurs rapportées par des études. Nous ne l’avons exécuté sur aucun outil et cette page ne donne le score d’aucun logiciel.

Les études citées portent sur des contrats en anglais de droit américain ou de pays de common law, avec des règles et des métriques différentes : leurs chiffres ne se comparent pas entre eux et ne s’appliquent pas à vos contrats. Le rapport Vals vise des outils pour cabinets, avec une notation automatique.

Les intervalles supposent un vrai tirage au sort et une référence correcte. Ces tailles permettent d’estimer un taux avec une certaine précision. Montrer qu’un outil dépasse votre seuil demanderait davantage de contrats. Le résultat vaut pour un outil, un modèle et une date : rejouez-le quand l’un des trois change.

Et maintenant ?

Écrivez vos champs, vos règles et vos seuils, puis envoyez à l’éditeur retenu une demande de test sur un échantillon tiré par vous, sous accord de confidentialité. S’il refuse et que l’extraction pèse dans votre achat, passez au suivant ; si elle pèse peu, prévoyez de tout relire.

Preuves et sources

Définitions statistiques, études publiques et pages de six éditeurs lues le 5 novembre 2026. Ce protocole n’a été exécuté par nous sur aucun outil.

Voir les 18 éléments : ce qui est un fait lu, une déclaration, notre déduction ou notre avis

  • Notre méthode. Protocole proposé : règle écrite avant les résultats ; tirage au sort par groupe de documents ; référence établie par deux lecteurs indépendants et un arbitrage ; passage sans réglage après coup ; notation champ par champ ; résultat par champ et par groupe ; conservation pour rejouer.

    Portée : Construction à partir de définitions et de méthodes publiques.

    Réserve : Jamais exécuté par nous. Les seuils sont un choix de l’entreprise.

    Relevé le 5 novembre 2026.

  • Notre déduction. Sur six éditeurs relevés, un seul (Tomorro) affiche un taux absolu de précision, et sans méthode ; deux publient des écarts relatifs sans base (Docusign, Luminance) ; trois n’affichent aucun chiffre de précision dans ce que nous avons lu (Ironclad, Juro, DiliTrust). Aucun ne publie de taux par langue, par qualité de scan ou par champ.

    Portée : Pages publiques lues au 5 novembre 2026.

    Réserve : Absence dans nos lectures : un éditeur peut fournir davantage sous accord ou en avant-vente.

    Relevé le 5 novembre 2026.

  • Notre déduction. Aucune évaluation lue ne mesure l’extraction sur des contrats français : CUAD, ContractNLI, MAUD, ContractEval et l’étude d’Onit portent sur des contrats en anglais de droit américain ou de pays de common law.

    Portée : Études lues au 5 novembre 2026.

    Réserve : Recherche en français incomplète : cela dit que nous n’en avons pas trouvé, pas qu’aucune n’existe.

    Relevé le 5 novembre 2026.

  • Fait lu. ContractEval rapporte pour GPT 4.1 mini un score F1 proche ou au-dessus de 0,9 sur le droit applicable et les parties. Son texte écrit « near-zero scores » pour les deux modèles examinés sur la responsabilité non plafonnée, la copropriété intellectuelle et le préavis de non-renouvellement.

    Portée : Jeu CUAD, contrats en anglais ; le F1 combine précision et rappel.

    Réserve : Contredit par la figure de la page suivante : voir notre lecture de cette figure. Dépend de la règle de couverture complète et de la rareté de ces clauses. Le préavis peut échouer à cause de la formule retenue, sans preuve qu’il soit aussi faible en pratique.

    Relevé le 5 novembre 2026.

  • Fait lu. Le rapport Vals donne, en extraction de données, 71,1 % au groupe d’avocats de comparaison, à environ 3 points près, et 39,2 % sur la question la plus dure (40 champs sur trois contrats de crédit).

    Portée : Rapport de février 2025 sur des outils pour cabinets ; 30 questions, 29 documents, notation automatique.

    Réserve : Cité pour la méthode : ces chiffres ne montrent pas que l’IA égale ou dépasse un juriste. Vals signale une relation client avec au moins un participant.

    Relevé le 5 novembre 2026.

  • Notre méthode. La précision vaut tp ÷ (tp + fp) et le rappel tp ÷ (tp + fn). Nous classons les erreurs en valeurs fausses, manquantes et en trop : une valeur fausse sur un champ présent compte à la fois comme fp et comme fn.

    Portée : Formules de scikit-learn ; le classement des erreurs est notre convention.

    Réserve : Une autre convention donne d’autres scores : d’où la règle écrite avant le test.

    Relevé le 5 novembre 2026.

  • Fait lu. Le manuel du NIST décrit l’intervalle de Wilson pour une proportion, avec la formule utilisée sur cette page, et indique qu’il est recommandé par Brown, Cai et DasGupta (2001) et par Agresti et Coull (1998).

    Portée : NIST/SEMATECH e-Handbook, section 7.2.4.1.

    Réserve : Suppose un tirage au hasard.

    Relevé le 5 novembre 2026.

  • Notre déduction. Exemple fictif recalculé en Python : 58/59 = 98,3 % (91,0 à 99,7) ; 58/60 = 96,7 % (88,6 à 99,1) ; 57/59 = 96,6 % (88,5 à 99,1) ; 57/60 = 95,0 % (86,3 à 98,3) ; 19/25 = 76,0 % (56,6 à 88,5) ; 19/30 = 63,3 % (45,5 à 78,1) ; 134/150 = 89,3 %.

    Portée : Nombres inventés ; intervalle de Wilson à 95 %, z = 1,96.

    Réserve : Ne jamais présenter ces nombres comme une mesure.

    Relevé le 5 novembre 2026.

  • Notre déduction. Tailles recalculées en Python avec n = z² × p(1 − p) ÷ e² : p = 0,9 et e = 10 % donnent 35 ; p = 0,9 et e = 5 % donnent 139. 27 sur 30 donne un intervalle de Wilson de 74,4 % à 96,5 %.

    Portée : Grand stock, tirage au hasard, 95 %. Formule déduite de celle du NIST en retirant le terme de puissance.

    Réserve : Précision d’estimation, pas puissance d’un test contre un seuil. La correction pour petit stock n’est pas appliquée, aucune source n’ayant été lue sur ce point.

    Relevé le 5 novembre 2026.

  • Notre déduction. Sans aucune erreur observée, la borne haute de la méthode exacte unilatérale à 95 % vaut 1 − 0,05^(1/n) : 30 contrôles laissent jusqu’à 9,5 %, 59 laissent 4,95 %, 299 laissent 1 %.

    Portée : Dérivée de l’équation exacte du NIST, recalculée en Python.

    Réserve : Suppose un tirage au hasard et une référence correcte.

    Relevé le 5 novembre 2026.

  • Déclaration de l’éditeur. Tomorro affiche « 92 % » de précision des données extraites par Oro, sans méthode attachée : la note de bas de page (12 248 contrats, du 24 février au 2 mars 2025) est rattachée par l’astérisque au gain de temps de négociation.

    Portée : Page anglaise de Tomorro ; ni langue, ni type de contrat, ni part de scans, ni champs.

    Réserve : Ne s’applique pas à vos contrats et ne vaut pas mesure indépendante.

    Relevé le 5 novembre 2026.

  • Déclaration de l’éditeur. Juro ne publie aucun taux de précision d’extraction dans ce que nous avons lu ; le chiffre de 95 % qu’il affiche concerne des suggestions d’IA acceptées.

    Portée : Pages publiques de Juro.

    Réserve : Absence dans nos lectures.

    Relevé le 5 novembre 2026.

  • Déclaration de l’éditeur. Ironclad reconnaît que l’efficacité de sa détection dépend de la ressemblance entre les données du client et celles de l’entraînement.

    Portée : Documentation d’Ironclad.

    Relevé le 5 novembre 2026.

  • Déclaration de l’éditeur. Docusign propose un test optionnel de précision avant d’activer une extraction personnalisée, avec un score.

    Portée : Documentation de Docusign.

    Réserve : Le calcul du score n’est pas défini dans ce que nous avons lu.

    Relevé le 5 novembre 2026.

  • Fait lu. La CNIL recommande de ne jamais partager sur un service grand public des informations confidentielles, en particulier couvertes par le secret des affaires.

    Portée : Questions-réponses de la CNIL sur l’IA générative, juillet 2024.

    Relevé le 5 novembre 2026.

  • Déclaration de l’éditeur. Google prévient qu’un changement de modèle de lecture des scans peut modifier le comportement du service, d’où l’usage d’une version figée si la cohérence est requise.

    Portée : Documentation de Google Document AI.

    Réserve : Concerne ce service et non un éditeur de contrats.

    Relevé le 5 novembre 2026.

  • Notre avis. Refus de tester : nous conseillons de ne pas compter sur l’extraction de cet éditeur et, si elle pèse dans la décision, de passer au suivant.

    Réserve : Un refus ne prouve pas la mauvaise qualité de l’outil.

    Relevé le 5 novembre 2026.

  • Notre déduction. Lecture approximative de la figure 4 de ContractEval, pour GPT 4.1 mini et Gemma 3 12B : environ 0,36 et 0,28 (responsabilité non plafonnée), 0,27 et 0,05 (copropriété intellectuelle), 0,33 et 0,23 (préavis de non-renouvellement).

    Portée : Jeu CUAD, contrats en anglais.

    Réserve : Valeurs lues à l’œil. Ne mesure ni un logiciel CLM ni un contrat français.

    Relevé le 5 novembre 2026.

Notre méthode