Dates écrites ou à déduire : l’IA ne les traite pas pareil

Ce qu’on lit dans deux travaux, et ce qu’ils ne mesurent pas

Les deux sources utilisent CUAD : des contrats en anglais déposés auprès de la SEC américaine, que ses auteurs jugent plus compliqués et plus négociés que la moyenne. Les valeurs ci-dessous sont lues par nos soins sur leurs graphiques, à quelques points près. CUAD 2021 note un modèle d’avant les grands modèles de langage avec l’AUPR (score global de précision et de rappel, sur 100). ContractEval, une prépublication de 2025, note GPT 4.1 mini avec le F1 (précision et rappel combinés, sur 1) et une règle sévère : le passage doit être couvert en entier. Ces deux échelles ne se comparent pas. Et leur catégorie « date d’expiration » ne distingue pas une échéance écrite d’une durée à convertir en date : notre contrôle par échantillon ne vaut que pour la première.

Le préavis : le texte et le graphique ne disent pas la même chose

ContractEval écrit que les deux modèles examinés obtiennent des scores presque nuls sur le préavis de non-renouvellement. Sa figure 4, à la page suivante, montre pourtant environ 0,33 pour GPT 4.1 mini et 0,23 pour Gemma 3 12B. Nous retenons le graphique pour les valeurs et la conclusion commune : le préavis est nettement plus bas que la date du contrat. Et dans CUAD 2021, avec une autre règle, il atteint environ 50 sur 100.

Entre ces deux travaux, le modèle, la mesure et la règle changent à la fois : l’écart ne dit pas lequel des trois pèse le plus. Il ne prouve ni que le préavis soit presque impossible à relever, ni qu’il soit sûr. D’où une règle de prudence plutôt qu’un chiffre : vérifiez, jusqu’à ce que vos propres contrats aient répondu.

Pourquoi un préavis est plus difficile à fiabiliser

Prenez une clause fictive : « Le contrat est conclu pour trois ans à compter du 1er mars 2024, puis se renouvelle par périodes d’un an, sauf dénonciation trois mois avant l’échéance. » Le registre attend une date. Pour la produire, il faut la date d’effet, la durée, le nombre de renouvellements déjà passés et le préavis, puis vérifier qu’aucun avenant n’a changé l’un d’eux. Un outil peut retrouver la bonne phrase et se tromper dans la date, et les bancs lus ne verraient pas cette erreur.

Les auteurs de Box, un éditeur de gestion documentaire, rangent d’ailleurs les calculs de dates complexes et les renvois entre parties du document parmi les cas qui demandent au modèle de raisonner par étapes. Ils ne publient pas de taux pour ces cas. Le calcul de la date et le traitement des avenants ont chacun leur page.

Relâcher le contrôle sans vous exposer

1. Testez ce champ à part. Séparez signature, effet, échéance, préavis et fin après reconduction dans votre grille. Une ligne « dates » unique cacherait exactement ce que vous cherchez.
2. Notez la valeur et le passage. Pour un préavis, la réponse est juste si le nombre de jours, le point de départ et la date calculée le sont. Retrouver la clause ne suffit pas.
3. Comparez le bas de l’intervalle à votre seuil. Tant qu’il reste au-dessous, gardez la vérification de chaque valeur. Le seuil dépend de ce que vous coûte une reconduction subie.
4. Allégez par paliers. Gardez toujours un échantillon tiré au sort, et revenez à la vérification complète après un changement de modèle, de type de contrat ou de qualité de scan.