Combien de contrats pour un test fiable ?

La formule, avec une calculatrice

n = z² × p × (1 − p) ÷ e². Ici z vaut 1,96 pour 95 % de confiance, p est le taux que vous attendez, e la marge acceptée de part et d’autre. On arrondit au-dessus.

Pour p = 0,9 et e = 0,1 : 1,96² = 3,8416 ; 3,8416 × 0,9 × 0,1 = 0,3457 ; 0,3457 ÷ 0,01 = 34,6, soit 35. Pour p = 0,5 et e = 0,05 : 3,8416 × 0,25 = 0,9604 ; 0,9604 ÷ 0,0025 = 384,2, soit 385. Nous tirons cette formule de celle du NIST (l’institut américain des normes) en retirant le terme de puissance de test. Près de 100 %, elle promet trop vers le bas : 18 justes sur 19 (94,7 %) donnent un intervalle de Wilson de 75,4 % à 99,1 %, soit 19 points sous le taux observé. À 90 %, 35 occurrences laissent environ 14 points vers le bas, et il en faut environ 61 pour revenir à 10 points. Lisez donc l’intervalle, et pas seulement la marge du tableau.

Passer des occurrences aux contrats

Divisez par la fréquence du champ dans le groupe : occurrences ÷ fréquence. Le tableau montre pourquoi une clause rare ne se teste pas sérieusement dans un petit tirage, et pourquoi le préavis, s’il ne figure pas partout, fixe la taille du test. Les fréquences sont des exemples : mesurez la vôtre sur les dix premiers contrats. La marche à suivre pour une clause rare est dans le protocole.

L’erreur qui rend le test faussement solide

Additionner les champs donne une marge flatteuse. Sur 240 valeurs, la formule annonce ±3,8 points : 1,96 × √(0,9 × 0,1 ÷ 240). Mais ces valeurs viennent de 40 contrats et mesurent six choses différentes. Pour un champ donné, vous avez 40 occurrences au mieux, soit ±9,3 points : 1,96 × √(0,9 × 0,1 ÷ 40). Les champs d’un même contrat ne sont pas indépendants non plus : un mauvais scan les dégrade tous à la fois. Tirez des contrats, comptez par champ.

Lisez aussi le résultat avec son intervalle de Wilson, décrit par le NIST et détaillé dans le protocole, car l’intervalle réel n’est pas symétrique. Sur des résultats inventés, 32 justes sur 35 donnent 91,4 %, de 77,6 % à 97,0 %. 125 sur 139 donnent 89,9 %, de 83,8 % à 93,9 %. 350 sur 385 donnent 90,9 %, de 87,6 % à 93,4 %. Passer de 139 à 385 occurrences resserre l’intervalle de quatre points environ : demandez-vous si cela changerait votre décision.

Le calcul de charge qui peut vous faire renoncer au test

Exemple fictif : une entreprise a 3 groupes de documents, veut suivre 6 champs, et son préavis figure dans un contrat sur deux. Pour 35 occurrences de préavis par groupe : 35 ÷ 0,5 = 70 contrats par groupe, donc 210 contrats. Avec 6 champs et 2 lecteurs : 210 × 6 × 2 = 2 520 relevés, sans compter l’arbitrage.

Si son stock compte 180 contrats, un seul lecteur qui relit tout fait 180 × 6 = 1 080 relevés. Dans ce cas le test coûte plus cher que le travail qu’il voulait éviter, et le stock n’atteint même pas la taille du tirage. Relire est plus simple, et l’outil peut servir à préremplir cette lecture.

Si le stock compte 3 000 contrats, la lecture complète fait 18 000 relevés et le test se justifie. Chronométrez dix contrats pour remplacer ces relevés par des heures. Le chiffrage complet d’une reprise a sa propre page.

Avec un tirage plus petit que ces tailles, gardez le test et annoncez l’intervalle. 18 justes sur 20 ne valent pas « 90 % » : l’intervalle va de 69,9 % à 97,2 %.

Estimer un taux ou prouver qu’il dépasse un seuil

Ces tailles répondent à la question « quel est ce taux, à tant de points près ? ». Montrer qu’un outil dépasse un seuil avec une bonne chance de le voir demande davantage, parce qu’il faut tenir compte de la puissance du test. Le NIST en donne un exemple de contrôle qualité : proportion de référence de 10 %, écart de 10 points, risque de 5 %, puissance de 90 %, il arrive à environ 102, et 112 avec correction de continuité.

En pratique, lisez le bas de l’intervalle et comparez-le à votre seuil. S’il reste au-dessous alors que le taux observé est au-dessus, la bonne conclusion est « on ne sait pas encore » : ajoutez des contrats ou gardez le contrôle manuel.