Votre éditeur change de modèle d’IA : rejouer le test ?
L’IA relève déjà les données de vos contrats (extraction) et vous apprenez, ou soupçonnez, que l’éditeur a changé de modèle d’IA.
Oui. Rejouez le test sur vos champs à risque, avec le même échantillon et la même référence, et faites écrire que l’éditeur vous prévient du changement. Ce n’est pas long si vous avez gardé la référence : vous ne relisez que les valeurs qui ont bougé.
Si l’extraction n’est pas encore utilisée en production, ne rejouez rien : le test attend la mise en service.
Notre avis
Un résultat vaut pour un outil, un modèle et une date. Le changement de modèle est normal et peut améliorer le service, mais il ne vous dispense pas de vérifier vos champs à risque.
Pourquoi
- Les éditeurs le disent eux-mêmes : Docusign en est à la septième génération de ses modèles en production, et Luminance écrit que le modèle peut changer.
- Une amélioration moyenne peut cacher une régression. Dans notre exemple fictif, le total monte de 89,3 % à 90,0 % alors que la date de signature tombe de 96,7 % à 88,3 %.
- Aucune page lue ne promet de prévenir chaque client avant un changement de modèle. Si vous ne le faites pas écrire, vous pouvez l’apprendre trop tard.
Ce qui change notre avis
Si l’extraction n’est pas en production, le test attend la mise en service. Si vous relisez déjà chaque valeur d’un champ, ce champ n’a pas besoin d’être rejoué, car votre relecture joue ce rôle.
Ce que les éditeurs écrivent sur leurs changements
| Éditeur | Ce qui est écrit | Ce qu’il reste à demander |
|---|---|---|
| Ironclad | De nouvelles prédictions peuvent être générées quand il met à jour son modèle | Si elles écrasent des valeurs déjà vérifiées |
| Docusign | Modèles en production à la septième génération ; suivi des régressions en interne | Si vous êtes prévenu, et si votre français est testé |
| Luminance | « The model can change » ; les utilisateurs profitent de ses choix automatiquement | Quand vous saurez qu’il a changé |
| Juro | N’exploite pas ses propres modèles ; pas lié à un fournisseur unique | Comment il vous informe |
| DiliTrust | Gestion des changements et tests de non-régression ; le gestionnaire de compte confirme le fournisseur et la version | Si ces tests couvrent des contrats français comme les vôtres |
| Tomorro | CGV : information écrite 30 jours avant une modification des Services, résiliation possible si une fonction essentielle en souffre ; moteur qui choisit entre Azure OpenAI et Mistral si les deux sont activés | Si un changement de modèle compte comme modification au sens de ces CGV, et si un changement de fournisseur de modèle déclenche l’information prévue pour les sous-traitants ultérieurs |
Pourquoi une moyenne ne suffit pas à vous rassurer
Le modèle change le score sur un même jeu. Dans ContractEval, une prépublication de 2025 sur des contrats américains en anglais, les quatre modèles propriétaires vont de 0,497 à 0,644 de F1 (précision et rappel combinés, sur 1), sans logiciel CLM autour. Ce chiffre ne dit rien d’un produit ni de contrats français. Il montre seulement l’ampleur possible d’un écart entre deux modèles.
Voici un rejeu fictif, sur l’échantillon de 60 contrats du protocole. Le total s’améliore, le préavis aussi, et pourtant un champ recule. Les intervalles se chevauchent, si bien que ces écarts seuls ne prouvent rien. C’est pour cela qu’on regarde les contrats, un par un.
| Champ | Avant | Après |
|---|---|---|
| Date de signature (60) | 58 justes, 96,7 % (88,6 à 99,1) | 53 justes, 88,3 % (77,8 à 94,2) |
| Parties (60) | 57 justes, 95,0 % (86,3 à 98,3) | 58 justes, 96,7 % (88,6 à 99,1) |
| Préavis (30) | 19 justes, 63,3 % (45,5 à 78,1) | 24 justes, 80,0 % (62,7 à 90,5) |
| Tous champs (150) | 134 justes, 89,3 % | 135 justes, 90,0 % |
Rejouer sans refaire tout le travail
- Gardez ce que le protocole vous a fait conserver. Les documents, la référence, les résultats et la version. Sans la référence, vous ne pouvez plus comparer, et le rejeu devient un nouveau test.
- Repassez les mêmes contrats. Commencez par vos champs à risque, avec la même règle et sans réglage après coup. Un stock qui a changé peut s’ajouter en groupe séparé.
- Listez les valeurs qui ont bougé. Comme vous comparez les mêmes contrats, regardez les passages de juste à fausse et de fausse à juste. Cinq dates de signature qui passent de justes à fausses appellent une explication, même si l’intervalle ne le prouve pas.
- Décidez par champ. Un champ en recul revient à la vérification complète, ou passe d’échantillon à relecture, le temps de comprendre. Un champ en progrès ne se relâche que si le bas de son intervalle dépasse votre seuil.
- Protégez ce qui est déjà validé. Vérifiez qu’un nouveau passage n’écrase pas une valeur vérifiée par une personne. Ironclad écrit que de nouvelles prédictions peuvent apparaître : posez la question à votre éditeur.
Sans préavis de l’éditeur : quand rejouer quand même
Si l’éditeur ne vous prévient pas, notre repère est de rejouer au moins une fois par an, avant la date de dénonciation de votre propre abonnement : vous gardez ainsi le choix de partir. Ajoutez un rejeu à chaque fois que vous activez un autre fournisseur de modèle, ou connectez le vôtre, comme DiliTrust le permet. La durée de cet engagement a sa propre page.
Google, par exemple, propose pour sa lecture de scans une version figée pendant 18 mois au plus, parce qu’une mise à niveau peut modifier le comportement. Cette documentation concerne son service. Elle montre qu’une telle garantie existe chez certains fournisseurs : demandez si votre éditeur en a une équivalente.
La clause à demander
Formulez-la simplement : « L’éditeur informe le client par écrit, au moins 30 jours avant toute mise en production, de tout changement de modèle, de fournisseur de modèle ou de moteur de lecture utilisé pour l’extraction, en indiquant la version, et met à disposition un environnement permettant de rejouer l’échantillon du client avant cette date. »
C’est une proposition de notre part, à faire relire. Les 30 jours reprennent le délai que Tomorro applique aux modifications de ses Services. L’éditeur peut refuser, ou limiter l’engagement aux changements majeurs : sa réponse vous dira s’il faudra rejouer à date fixe. Le sujet de l’entraînement et de la conservation de vos données est distinct et a sa propre page.
Limites de cette page
Nous avons lu des pages publiques, pas de contrat négocié, et l’absence d’une promesse d’information signifie que nous ne l’avons pas trouvée. Le rejeu est un test sur un échantillon : il ne prouve pas que tout le stock est resté juste. Les nombres du tableau sont inventés. La clause et le repère annuel sont nos propositions, sans norme derrière elles.
Preuves et sources
Pages d’Ironclad, Docusign, Luminance, Juro, DiliTrust, Tomorro et Google lues le 5 novembre 2026. Aucun logiciel testé. Aucun contrat négocié lu.
Voir les 11 éléments : ce qui est un fait lu, une déclaration, notre déduction ou notre avis
Déclaration de l’éditeur. Ironclad écrit que de nouvelles prédictions peuvent être générées quand il met à jour son modèle sous-jacent.
Portée : Guide de l’éditeur.
Réserve : Ne dit pas si le client est prévenu.
Relevé le 5 novembre 2026.
- Ironclad : Getting Your Legacy Contracts Ready for Metrics: A Practical Guide date non capturée. Lu le 5 novembre 2026. Page de l’éditeur.
Déclaration de l’éditeur. Docusign écrit que ses modèles en production en sont à la septième génération, et décrit un suivi interne des régressions.
Portée : Billet d’ingénierie non daté dans notre lecture.
Réserve : Ne dit pas si le client est prévenu.
Relevé le 5 novembre 2026.
- Docusign : How a Small Model Learned to Do a Large Model's Job at Docusign's Scale date non capturée. Lu le 5 novembre 2026. Page de l’éditeur.
Déclaration de l’éditeur. Luminance écrit que le modèle peut changer et que ses utilisateurs profitent automatiquement de ses choix.
Portée : Billet du 5 octobre 2026.
Réserve : Ne dit pas si le client est prévenu.
Relevé le 5 novembre 2026.
- Luminance : How Luminance selects AI models for Contract Intelligence 5 oct. 2026. Lu le 5 novembre 2026. Page de l’éditeur.
Déclaration de l’éditeur. Juro écrit ne pas exploiter ses propres modèles, et ne pas être lié à un fournisseur ou une technologie unique.
Portée : FAQ de la page produit.
Relevé le 5 novembre 2026.
- Juro : Intelligent repository date non capturée. Lu le 5 novembre 2026. Page de l’éditeur.
Déclaration de l’éditeur. DiliTrust décrit une gestion des changements de code et de modèle avec tests de non-régression, indique que le gestionnaire de compte confirme fournisseur et version, et permet de connecter son propre modèle.
Portée : Centre d’aide en anglais.
Réserve : Une FAQ, pas un engagement contractuel lu.
Relevé le 5 novembre 2026.
- DiliTrust : Lini – Frequently Asked Questions about our AI Engine « Modified on Wed, 21 Oct » (année non affichée). Lu le 5 novembre 2026. Page de l’éditeur.
Fait lu. Les CGV de Tomorro prévoient une information écrite au moins 30 jours avant une modification des Services et une résiliation sans frais sous 30 jours si des fonctionnalités essentielles sont affectées négativement.
Portée : CGV « Version du 29/07/2026 », article 21.
Réserve : Le texte ne dit pas si un changement de modèle d’IA entre dans cet article.
Relevé le 5 novembre 2026.
- Tomorro : Conditions Générales de Vente et d'Utilisation affichées « Version du 29/07/2026 ». Lu le 5 novembre 2026. Document d’origine.
Déclaration de l’éditeur. Tomorro écrit qu’Oro utilise par défaut Azure OpenAI, propose aussi Mistral, et que son moteur choisit automatiquement si les deux sont activés.
Portée : Page anglaise de Tomorro.
Relevé le 5 novembre 2026.
- Tomorro : Oro - AI Legal Assistant Software date non capturée. Lu le 5 novembre 2026. Page de l’éditeur.
Déclaration de l’éditeur. Google prévient qu’une mise à niveau des modèles de lecture peut modifier le comportement, et propose une version figée pendant 18 mois au plus, en version preview pour la gestion avancée des versions.
Portée : Enterprise Document OCR.
Réserve : Concerne ce service et non un éditeur de contrats.
Relevé le 5 novembre 2026.
- Google Cloud : Enterprise Document OCR date non capturée. Lu le 5 novembre 2026. Page de l’éditeur.
Fait lu. Dans ContractEval, les F1 des modèles propriétaires vont de 0,497 à 0,644 sur le même jeu.
Portée : Prépublication d’août 2025, contrats en anglais de CUAD, modèles appelés directement.
Réserve : Ne mesure ni un logiciel CLM ni un contrat français, et ne décrit pas un changement de modèle chez un éditeur.
Relevé le 5 novembre 2026.
- Liu et al. : ContractEval: Benchmarking LLMs for Clause-Level Legal Risk Identification in Commercial Contracts arXiv v1, 5 août 2025. Lu le 5 novembre 2026. Document d’origine.
Notre déduction. Rejeu fictif : 58/60 = 96,7 % (88,6 à 99,1) ; 53/60 = 88,3 % (77,8 à 94,2) ; 57/60 = 95,0 % (86,3 à 98,3) ; 19/30 = 63,3 % (45,5 à 78,1) ; 24/30 = 80,0 % (62,7 à 90,5) ; 134/150 = 89,3 % ; 135/150 = 90,0 %.
Portée : Nombres inventés, recalculés en Python, intervalle de Wilson à 95 %.
Réserve : Ne jamais présenter ces nombres comme une mesure.
Relevé le 5 novembre 2026.
- NIST/SEMATECH e-Handbook of Statistical Methods : 7.2.4.1. Confidence intervals non datée. Lu le 5 novembre 2026. Document d’origine.
- scikit-learn : Metrics and scoring version stable au jour de lecture. Lu le 5 novembre 2026. Document d’origine.
Notre avis. Clause proposée d’information préalable et repère d’un rejeu au moins annuel, avant la date de dénonciation de l’abonnement.
Réserve : Propositions de notre part, sans norme derrière elles. Aucune page lue ne promet une telle information.
Relevé le 5 novembre 2026.