Ce que les études publiques disent de l’extraction de clauses
Vous voulez fonder vos attentes sur autre chose que le discours des éditeurs, et vous vous demandez ce que les travaux publics vous apprennent sur vos contrats.
Ces travaux établissent deux choses utiles. Le résultat varie énormément d’une clause à l’autre : on y voit de bons scores sur le droit applicable ou les parties, des échecs sur d’autres clauses. Et un score dépend de la règle de notation, pas seulement du modèle, si bien que leurs chiffres ne se comparent pas entre eux.
Ils ne parlent pas de vos contrats français : tous ceux qui portent sur des contrats sont en anglais, et aucun ne mesure un logiciel de gestion des contrats vendu aux PME. Si votre stock est en anglais, de type common law et bien numérisé, ces travaux pèsent davantage.
Notre avis
Servez-vous de ces études pour savoir quoi tester et comment, jamais pour prédire le score d’un outil sur votre stock. Aucune ne vous dispense de votre propre mesure.
Pourquoi
- Les documents ne sont pas les vôtres : les contrats de CUAD viennent de la base américaine EDGAR, et ses auteurs les disent plus compliqués et plus négociés que la moyenne.
- Les modèles vieillissent vite : CUAD note des modèles de 2021, Onit de fin 2023, ContractEval des versions de 2025 déjà remplaçables.
- Les comparaisons avec l’humain sont fragiles : l’article d’Onit annonce une domination des modèles sur dix contrats, Vals voit dans la sortie un point de départ pour le juriste, et ContractEval parle de juniors sans groupe humain mesuré.
Ce qui change notre avis
Pour un stock en anglais, de type common law et bien numérisé, ces travaux pèsent davantage. Si une évaluation sur des contrats français paraît, elle changera cette page : nous n’en avons pas trouvé à ce jour.
Huit travaux, chiffre par chiffre
F1 : score sur 1 qui combine précision et rappel. AUPR : aire sous la courbe précision-rappel, sur 100. Un chiffre n’a de sens qu’avec la règle de sa ligne.
| Travail | Méthode et documents | Langue | Chiffre | Ce qu’il ne dit pas |
|---|---|---|---|---|
| CUAD (2021) | 510 contrats déposés à la SEC, 41 catégories, 13 101 clauses annotées ; modèles ajustés, partition 80/20 | Anglais | AUPR de 47,8 à 48,2 ; 44,0 % de précision à 80 % de rappel, 17,8 % à 90 % | Rien sur les grands modèles actuels, le français ou les scans |
| ContractNLI (2021) | 607 accords de confidentialité, 17 hypothèses fixes : implique, contredit ou ne mentionne pas | Anglais | Avec une base BERT large : exactitude 0,875 ; F1 0,834 sur l’implication, 0,357 sur la contradiction | Une tâche de classement sur un type de contrat, sans extraction de champs |
| MAUD (2023) | 152 accords de fusion, 92 questions, à partir d’extraits déjà isolés | Anglais | AUPR de 52,6 % à 57,8 %, pour 16,8 % au hasard | Ne teste pas l’extraction elle-même, selon ses auteurs |
| ContractEval (2025) | Prépublication. 19 modèles, jeu de test de CUAD (4 128 points, 102 contrats), passage à couvrir en entier | Anglais | F1 de 0,497 à 0,644 pour les quatre modèles propriétaires ; 1,1 % à 7,2 % de faux « aucune clause » | Ni logiciel CLM, ni contrat français, ni lecture de scans |
| Box, Han et Jalagam (2025) | Auteurs salariés d’un éditeur. 8 champs de CUAD, et un jeu interne de baux à plus de 40 champs | Anglais pour CUAD | F1 de 0,66 à 0,84 sur CUAD selon les réglages ; 0,90 à 0,94 si on fournit les bons passages ; 0,36 à 0,48 sur les baux | Jeu interne non public, résultat d’éditeur, autre définition de la précision |
| Onit, Better Call GPT (2024) | Auteurs salariés d’un éditeur. Prépublication, 10 contrats d’achats américains et néo-zélandais, référence fixée par des avocats seniors | Anglais | F 0,87 pour GPT4-1106 et le prestataire externalisé, 0,86 pour les juniors sur la détermination ; sur la localisation, 0,74 pour le meilleur modèle (GPT4-32k), 0,77 pour le prestataire et 0,67 pour les juniors | Dix contrats ne soutiennent pas la conclusion générale de l’article |
| Vals Legal AI Report (2025) | Outils pour cabinets. 30 questions, 29 documents, 204 points, notation automatique par un modèle | Anglais | Extraction : 64,0 % à 75,1 % selon l’outil, 71,1 % pour les avocats, à environ 3 points près | Ni CLM, ni français. Vals signale une relation client avec au moins un participant |
| MultiOCR-QA (2025) | Questions-réponses sur des archives, texte corrigé ou brut, six modèles ouverts | Français, anglais, allemand | En français, présence de la bonne réponse en baisse d’environ 20 %, score sémantique de moins de 2 % | Ni contrats, ni extraction de champs |
Trois conclusions qui tiennent malgré ces limites
La moyenne cache l’essentiel. CUAD voit des catégories proches de 100 d’AUPR et d’autres vers 20. ContractNLI affiche 0,875 d’exactitude et 0,357 de F1 sur la classe rare. Testez donc par champ.
La règle fait le score. Dans ContractEval, le même modèle (GPT 4.1 mini) sur les mêmes contrats obtient environ 0,33 de F1 au préavis, mais environ 0,75 de similarité de Jaccard (part de texte commune entre sa réponse et le passage attendu, quand une clause existe). Sur les parties, c’est l’inverse : environ 0,95 de F1 et 0,18 de Jaccard. CUAD 2021 donne environ 50 sur 100 au préavis, mais avec une autre mesure et un modèle plus ancien : cet écart-là ne prouve rien sur la règle. Ces valeurs viennent de nos lectures de graphiques. Fixez donc votre règle avant de tester. Le texte de ContractEval parle pour sa part de scores presque nuls sur ce champ, et le désaccord avec sa figure est décrit sur la page des dates.
Un relecteur seul n’est pas une référence. Dans Vals, le groupe d’avocats de comparaison obtient 71,1 % en extraction, et 39,2 % sur la question la plus chargée (40 champs sur trois contrats de crédit). Le rapport décrit aussi des outils qui s’arrêtent à une clause quand trois répondent à la question. Ces chiffres ne montrent pas que l’IA égale un juriste : ils justifient deux lecteurs et un arbitrage dans votre test.
Ce que nous laissons de côté, et pourquoi
ACORD mesure la recherche de clauses pour la rédaction, et LegalBench un ensemble de 162 tâches de raisonnement juridique : d’autres tâches que l’extraction d’un stock. Les travaux sur les hallucinations, qui rapportent de 58 % à 88 % de réponses fausses sur des décisions fédérales américaines interrogées sans document, ou de 17 % à 33 % pour des outils de recherche juridique américains, portent sur des questions de droit en anglais, sans contrat fourni. Ne les appliquez pas à la lecture d’un contrat que vous avez donné à l’outil.
La phrase de ContractEval sur un niveau comparable à des assistants juridiques juniors ne repose sur aucun groupe humain mesuré dans l’article : le rôle de junior y est une consigne donnée au modèle. Ne la citez pas comme une comparaison.
Limites de cette page
Cette page résume des travaux, sans les refaire. Certaines valeurs par champ sont lues sur des graphiques, à quelques points près. Notre recherche d’évaluations en français reste incomplète : « nous n’en avons pas trouvé », au 5 novembre 2026, ne veut pas dire qu’il n’en existe aucune. Si vous connaissez une évaluation sur des contrats français, c’est elle qu’il faudra lire d’abord.
Preuves et sources
Huit travaux lus le 5 novembre 2026, méthodes, tableaux et figures principaux. Le rapport Vals a été lu dans son édition de février 2025 ; une édition ultérieure n’a pas été recherchée. Au 5 novembre 2026, nous n’avons trouvé aucune évaluation sur des contrats français, et cette recherche reste incomplète.
Voir les 15 éléments : ce qui est un fait lu, une déclaration, notre déduction ou notre avis
Fait lu. CUAD compte 510 contrats et 13 101 clauses annotées en 41 catégories ; ses contrats proviennent d’EDGAR et ses auteurs les disent plus compliqués et plus négociés que l’ensemble des contrats. Meilleurs résultats de 2021 : AUPR de 48,2 % pour RoBERTa-large et de 47,8 % pour DeBERTa-xlarge ; pour ce dernier, précision de 44,0 % à 80 % de rappel et de 17,8 % à 90 %.
Portée : Article de 2021, contrats en anglais.
Réserve : Modèles de 2021, sans grands modèles de langage actuels.
Relevé le 5 novembre 2026.
- Hendrycks et al. (NeurIPS 2021, Datasets and Benchmarks) : CUAD: An Expert-Annotated NLP Dataset for Legal Contract Review arXiv v2, 8 nov. 2021. Lu le 5 novembre 2026. Document d’origine.
- The Atticus Project : CUAD Dataset non datée. Lu le 5 novembre 2026. Document d’origine.
Fait lu. Les performances de CUAD varient selon la catégorie : certaines approchent 100 % d’AUPR, d’autres environ 20 %.
Portée : DeBERTa-xlarge sur 41 catégories.
Réserve : Modèle de 2021.
Relevé le 5 novembre 2026.
- Hendrycks et al. (NeurIPS 2021, Datasets and Benchmarks) : CUAD: An Expert-Annotated NLP Dataset for Legal Contract Review arXiv v2, 8 nov. 2021. Lu le 5 novembre 2026. Document d’origine.
Fait lu. ContractNLI évalue 607 accords de confidentialité sur 17 hypothèses ; le modèle Span NLI BERT, base large, obtient 0,875 d’exactitude, un F1 de 0,834 sur l’implication et de 0,357 sur la contradiction.
Portée : Tableau 4, modèles de 2021, contrats en anglais.
Réserve : Tâche de classement, type unique de contrat. L’article teste aussi d’autres bases, dont une meilleure.
Relevé le 5 novembre 2026.
- Koreeda & Manning (Findings of EMNLP 2021) : ContractNLI: A Dataset for Document-level Natural Language Inference for Contracts arXiv v1, 5 oct. 2021. Lu le 5 novembre 2026. Document d’origine.
Fait lu. MAUD contient 47 457 annotations de 152 accords de fusion en anglais et 92 questions ; l’AUPR moyenne va de 52,6 % à 57,8 %, pour 16,8 % au hasard. Ses auteurs précisent qu’il ne teste pas l’extraction elle-même.
Portée : Tableau 3, apprentissage par question.
Réserve : Contrats de fusion, éloignés d’un stock de PME.
Relevé le 5 novembre 2026.
- Wang et al. : MAUD: An Expert-Annotated Legal NLP Dataset for Merger Agreement Understanding arXiv v3, 24 nov. 2023. Lu le 5 novembre 2026. Document d’origine.
Fait lu. ContractEval applique 19 modèles dont 4 propriétaires aux 4 128 points de test de CUAD (102 contrats) ; F1 de 0,497 à 0,644 pour les propriétaires, fausses réponses « aucune clause » de 1,1 % à 7,2 %.
Portée : Prépublication d’août 2025, règle de couverture complète.
Réserve : Ni logiciel CLM, ni contrat français, ni lecture de scans. Une autre règle donnerait d’autres scores.
Relevé le 5 novembre 2026.
- Liu et al. : ContractEval: Benchmarking LLMs for Clause-Level Legal Risk Identification in Commercial Contracts arXiv v1, 5 août 2025. Lu le 5 novembre 2026. Document d’origine.
Notre déduction. Lecture approximative des figures 4 : préavis de non-renouvellement environ 0,33 de F1 et 0,75 de Jaccard pour GPT 4.1 mini dans ContractEval, environ 50 d’AUPR pour DeBERTa-xlarge dans CUAD ; parties environ 0,95 de F1 et 0,18 de Jaccard pour GPT 4.1 mini. Le texte de ContractEval écrit « near-zero scores » sur ce champ.
Portée : Valeurs lues à l’œil, échelles non comparables.
Réserve : Texte et figure de ContractEval ne concordent pas. Aucune preuve de la faiblesse réelle du champ en pratique.
Relevé le 5 novembre 2026.
- Liu et al. : ContractEval: Benchmarking LLMs for Clause-Level Legal Risk Identification in Commercial Contracts arXiv v1, 5 août 2025. Lu le 5 novembre 2026. Document d’origine.
- Hendrycks et al. (NeurIPS 2021, Datasets and Benchmarks) : CUAD: An Expert-Annotated NLP Dataset for Legal Contract Review arXiv v2, 8 nov. 2021. Lu le 5 novembre 2026. Document d’origine.
Déclaration de l’éditeur. Deux auteurs de Box rapportent sur 8 champs de CUAD un F1 de 0,66 à 0,84 selon la sélection des passages, le modèle et les réglages, 0,90 à 0,94 lorsqu’on fournit les bons passages, et sur un jeu interne de baux de plus de 40 champs un F1 de 0,36 à 0,48.
Portée : Article d’octobre 2025, tableaux 1, 2, 3 et 5.
Réserve : Résultat d’un éditeur, jeu interne non public, autre définition de la précision.
Relevé le 5 novembre 2026.
- Han & Jalagam (Box AI Platform) : Metadata Extraction Leveraging Large Language Models arXiv v1, 22 oct. 2025. Lu le 5 novembre 2026. Document d’origine.
Déclaration de l’éditeur. L’étude d’Onit, sur dix contrats d’achats américains et néo-zélandais, rapporte un F de 0,87 pour GPT4-1106 et le prestataire externalisé et de 0,86 pour les juniors sur la détermination ; sur la localisation, 0,74 pour le meilleur modèle et 0,77 pour le prestataire.
Portée : Prépublication de janvier 2024, modèles de fin 2023.
Réserve : Dix contrats, auteurs salariés d’un éditeur. Le résumé conclut bien au-delà de ce que permet cet échantillon.
Relevé le 5 novembre 2026.
- Martin et al. (Onit Inc.) : Better Call GPT, Comparing Large Language Models Against Lawyers arXiv v1, 24 janv. 2024. Lu le 5 novembre 2026. Document d’origine.
Fait lu. Le rapport Vals (février 2025) note l’extraction sur 30 questions, 29 documents et 204 points : Harvey Assistant 75,1 %, CoCounsel 73,2 %, avocats 71,1 %, Vincent AI 69,2 %, Oliver 64,0 %, à environ 3 points près ; 39,2 % aux avocats sur la question la plus dure, 40 champs sur trois contrats de crédit.
Portée : Outils pour cabinets, notation automatique, questions d’un consortium de cabinets.
Réserve : Hors CLM. Ces chiffres ne montrent pas que l’IA égale ou dépasse un juriste. Vals signale une relation client avec au moins un participant.
Relevé le 5 novembre 2026.
- Vals AI : Vals Legal AI Report mis à jour le 27 févr. 2025. Lu le 5 novembre 2026. Document d’origine.
Fait lu. Vals décrit des outils qui s’arrêtent à une clause alors que plusieurs répondent à la question, et recommande de traiter la sortie comme un point de départ pour le juriste.
Portée : Exemple des exclusions de garantie : aucun outil ne trouve les trois clauses.
Réserve : Quatre outils en 2025, pas des CLM.
Relevé le 5 novembre 2026.
- Vals AI : Vals Legal AI Report mis à jour le 27 févr. 2025. Lu le 5 novembre 2026. Document d’origine.
Fait lu. Sur des documents historiques français, le passage au texte brut de lecture optique fait baisser la présence de la bonne réponse d’environ 20 % chez six modèles ouverts, et le score sémantique de moins de 2 %.
Portée : MultiOCR-QA, CIKM 2025, tableau 4.
Réserve : Archives et questions-réponses, ni contrats ni champs.
Relevé le 5 novembre 2026.
- Piryani et al. (CIKM 2025) : Evaluating Robustness of LLMs in Question Answering on Multilingual Noisy OCR Data accepté à CIKM 2025. Lu le 5 novembre 2026. Document d’origine.
Fait lu. ACORD mesure la recherche de clauses pour la rédaction ; LegalBench rassemble 162 tâches de raisonnement juridique.
Portée : Autres tâches que l’extraction d’un stock.
Réserve : Résumé lu pour ACORD.
Relevé le 5 novembre 2026.
- arXiv / The Atticus Project : ACORD: An Expert-Annotated Retrieval Dataset for Legal Contract Drafting 2025. Lu le 5 novembre 2026. Document d’origine.
- Guha et al. : LegalBench 23 août 2023. Lu le 5 novembre 2026. Document d’origine.
Fait lu. Des modèles généraux de 2023 hallucinent de 58 % à 88 % des réponses à des questions vérifiables sur des décisions fédérales américaines ; des outils de recherche juridique américains, de 17 % à 33 %.
Portée : Questions de droit américain, 2023 et 2024.
Réserve : Ne porte pas sur la lecture d’un contrat fourni à l’outil.
Relevé le 5 novembre 2026.
- Dahl et al. (Journal of Legal Analysis 16, 2024) : Large Legal Fictions: Profiling Legal Hallucinations in Large Language Models 2024. Lu le 5 novembre 2026. Document d’origine.
- Magesh et al. : Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools 2024. Lu le 5 novembre 2026. Document d’origine.
Notre déduction. Les auteurs de ContractEval écrivent que les modèles ont un niveau comparable à des assistants juridiques juniors, sans que l’article mesure de groupe humain : le rôle de junior est une consigne donnée au modèle.
Portée : Notre lecture de la méthode.
Réserve : Ne pas citer comme une comparaison mesurée.
Relevé le 5 novembre 2026.
- Liu et al. : ContractEval: Benchmarking LLMs for Clause-Level Legal Risk Identification in Commercial Contracts arXiv v1, 5 août 2025. Lu le 5 novembre 2026. Document d’origine.
Notre déduction. Aucune évaluation lue ne mesure l’extraction sur des contrats français. Situation au 5 novembre 2026.
Portée : Études lues.
Réserve : Recherche en français incomplète : nous n’en avons pas trouvé, ce qui ne veut pas dire qu’il n’en existe aucune.
Relevé le 5 novembre 2026.
- Hendrycks et al. (NeurIPS 2021, Datasets and Benchmarks) : CUAD: An Expert-Annotated NLP Dataset for Legal Contract Review arXiv v2, 8 nov. 2021. Lu le 5 novembre 2026. Document d’origine.
- Koreeda & Manning (Findings of EMNLP 2021) : ContractNLI: A Dataset for Document-level Natural Language Inference for Contracts arXiv v1, 5 oct. 2021. Lu le 5 novembre 2026. Document d’origine.
- Wang et al. : MAUD: An Expert-Annotated Legal NLP Dataset for Merger Agreement Understanding arXiv v3, 24 nov. 2023. Lu le 5 novembre 2026. Document d’origine.
- Liu et al. : ContractEval: Benchmarking LLMs for Clause-Level Legal Risk Identification in Commercial Contracts arXiv v1, 5 août 2025. Lu le 5 novembre 2026. Document d’origine.
- Martin et al. (Onit Inc.) : Better Call GPT, Comparing Large Language Models Against Lawyers arXiv v1, 24 janv. 2024. Lu le 5 novembre 2026. Document d’origine.