Annexe BLes tests de l'IA attrapent-ils quelque chose ?
La même IA a écrit le code et les tests, et les tests passent. Savoir s'ils remarqueraient une erreur est une autre question, et le test de mutation y répond. Une anomalie passée à travers tous les tests montre où s'arrête sa réponse.
État au 2 novembre 2026
Cette annexe est un instantané d'un travail en cours. Fait : les exécutions décrites ci-dessous, le correctif du motif qu'elles ont révélé, un contrôle du build qui le refuse, et les deux lacunes de test comblées. Ouvert : l'examen des survivants par une personne (OPEN-113), la règle de force des tests, et les améliorations classées à la fin. Leur résultat sera présenté dans une version ultérieure de cette annexe. Les numéros de la forme OPEN-nnn sont des entrées du registre des points ouverts du projet, qui fait partie de son système qualité (chapitre 06).
Un ingénieur sceptique qui lit l'article posera cette question avant toute autre. Claude a écrit environ 24 000 lignes de code produit et 31 000 lignes de tests, et les tests sont au vert. Mais un test peut exécuter une méthode, ne rien vérifier, et compter quand même dans la couverture. Le build du dispositif refuse toute modification qui ferait passer la couverture des branches de ses classes liées à la sécurité sous 95 %, et ce chiffre dit seulement que le code a été exécuté.
Le test de mutation va plus loin. Un outil introduit une petite erreur dans le code compilé : il inverse une condition, vide une valeur de retour, supprime un appel. Puis il exécute les tests. Si l'un échoue, l'erreur a été attrapée et le mutant est « tué ». S'ils passent tous, le mutant a « survécu » : les tests auraient laissé passer cette erreur-là aussi.
Qu'est-ce qui a été mesuré ?
J'ai fait exécuter par Claude PIT 1.30.1, un outil de test de mutation pour Java, avec son extension JUnit 5 1.2.3. La première exécution, le 29 octobre, ne portait que sur les classes que le build du dispositif désigne comme liées à la sécurité : le filtre qui décide si une requête peut agir sur une page, les plafonds écrits dans le code, les déclarations de ce que chaque page accepte, le client et les caches des droits, et le moteur de rendu qui décide de ce qui apparaît sur une page. Un relecteur a alors fait deux remarques justes : le périmètre semblait choisi, et le jeu de mutateurs par défaut de PIT est le plus doux d'usage courant. Les exécutions ont donc été refaites sur tout le dispositif et sur tout l'outil de configuration, avec le jeu par défaut et avec le jeu renforcé de PIT.
Le score compte tous les mutants. La force ne compte que les mutants situés dans du code que les tests exécutent réellement.
| Périmètre | Mutateurs | Mutants | Survivants | Exécutés par aucun test | Score | Force |
|---|---|---|---|---|---|---|
| Dispositif, classes liées à la sécurité | par défaut | 299 | 10 | 15 | 91,6 % | 96,5 % |
| Dispositif, classes liées à la sécurité | renforcés | 451 | 39 | 23 | 86,3 % | 90,9 % |
| Dispositif, module entier | par défaut | 1 038 | 41 | 163 | 80,3 % | 95,3 % |
| Dispositif, module entier | renforcés | 1 331 | 87 | 206 | 78,0 % | 92,3 % |
| Outil de configuration, classes liées à la sécurité | par défaut | 300 | 37 | 14 | 83,0 % | 87,1 % |
| Outil de configuration, classes liées à la sécurité | renforcés | 425 | 49 | 21 | 83,5 % | 87,9 % |
| Outil de configuration, module entier | par défaut | 2 471 | 288 | 331 | 74,9 % | 86,5 % |
| Outil de configuration, module entier | renforcés | 3 290 | 430 | 407 | 74,6 % | 85,1 % |
Trois choses ressortent. Là où les tests du dispositif s'exécutent, ils sont à peu près aussi forts sur tout le module que dans ses classes liées à la sécurité, si bien que le premier périmètre ne les flattait pas ; ce que le module entier ajoute, c'est du code qu'aucun test unitaire n'exécute, surtout les servlets qui construisent les pages, que seules les vérifications en direct sollicitent. Le jeu renforcé retire environ cinq points. Et les tests de l'outil de configuration sont nettement plus faibles que ceux du dispositif : 85 à 88 % de force contre 91 à 96 %. Faute de référence écrite à la main pour ce code, aucun de ces chiffres n'est bon ou mauvais par comparaison. Ce qu'ils permettent, c'est de lire les survivants là où ils comptent. Une exécution complète prend 16 à 20 minutes sur le dispositif et jusqu'à deux heures sur l'outil de configuration.
Qu'est-ce qui a survécu là où cela compte ?
Dans les classes liées à la sécurité, le jeu renforcé a laissé 39 survivants dans le dispositif et 49 dans l'outil de configuration. Claude les a lus tous les 88, en remontant chacun à sa ligne de code.
| Ce que changerait l'erreur survivante | Survivants |
|---|---|
| Le texte : messages de journal, texte des pages, en-têtes, type de contenu d'un refus | 36 |
| L'affichage d'une page, dans la partie du moteur de rendu que le build ne désigne pas | 10 |
| Rien, ou un autre contrôle refuse de toute façon la requête | 17 |
| Le délai des nouvelles tentatives et la mise en cache : plus lent, et tout aussi sûr | 9 |
| Un refus là où il ne devrait pas y en avoir | 6 |
| La modification par un administrateur de ses propres droits prend effet sous cinq minutes, comme prévu quand un rafraîchissement échoue, au lieu d'immédiatement | 6 |
| Un jeton de sécurité reste sur un fil d'exécution du serveur jusqu'à ce que la requête suivante le remplace | 1 |
| Un accesseur vérifié seulement sur un ensemble vide | 2 |
| Une requête que la page refuse passe | 1 |
Le dernier compte. Le filtre de requêtes du dispositif vérifie une soumission deux fois : cette personne peut-elle ouvrir la page, puis peut-elle exécuter l'action. Aucun test n'envoyait une requête que la page refuse et que l'action autorise, si bien qu'une erreur laissant la seconde réponse écraser la première aurait passé tous les tests, et laissé passer la requête. Le code était juste ; rien n'aurait remarqué qu'il ne l'était plus.
L'accesseur corrige la première version de cette annexe, qui le qualifiait de code mort. Aucun code du produit ne l'appelle, mais les tests le font, et seulement sur un ensemble vide.
Claude a trié les survivants deux fois : une fois pour cette annexe, et une seconde fois pour préparer la liste de contrôle servant à les examiner. Le second passage a déplacé un survivant de « rien » vers « texte ». Aucune personne n'a encore vérifié ce tri ; cet examen est consigné comme point ouvert, OPEN-113. Un tri qui varie d'un passage à l'autre est la raison pour laquelle il en a besoin.
Pourquoi une classe a-t-elle obtenu 48 % ?
Lors de la première exécution, le client des droits du dispositif a obtenu 48 %. Il lit ses paramètres dans l'environnement du processus, qu'un test en cours ne peut pas modifier. Ses tests lancent donc un second processus Java avec les bons paramètres, y appellent le client et vérifient la réponse. Ces tests sont réels et ils passent, mais PIT n'introduit ses erreurs que dans le processus qu'il contrôle, et ne les voit jamais s'exécuter. Treize des quinze mutants non couverts de cette exécution se trouvent dans du code testé de cette façon. Des deux autres, l'un est la vraie lecture du catalogue d'actions, que chaque test remplace par un substitut. En laissant les treize de côté, les tests tuent environ 96 % des mutants que PIT peut mesurer, la force du tableau. Le score, lui, les garde.
L'anomalie qu'aucun test n'a vue
Le 17 septembre, j'ai cliqué sur Enregistrer dans le compositeur de pages et rien ne s'est passé. Le journal du serveur a donné la réponse en quelques minutes. Pour connaître l'identifiant d'une ligne qu'il venait d'insérer, le code demandait au pilote de la base les clés générées avec un indicateur nu, puis prenait la première colonne de la réponse. Avec cet indicateur, le pilote PostgreSQL renvoie toutes les colonnes de la nouvelle ligne, dans l'ordre où la table les range. La première colonne n'est l'identifiant que si la table le met en premier.
La base de test, construite à partir de la migration du schéma, le mettait en premier dans chaque table. Les tables réelles avaient grandi colonne par colonne au fil de nombreuses stories, et dans la table des cellules de page, l'identifiant était huitième. La première colonne était la largeur de la cellule. Chaque nouvelle cellule était donc enregistrée comme si son identifiant valait 1, la base refusait la référence, et tout l'enregistrement était annulé. Rien n'a été corrompu. Chaque test d'intégration avait passé, parce que chacun s'exécutait sur des tables où la coïncidence tenait.
Le test de mutation ne l'aurait pas trouvée non plus. Un mutant modifie le code ; ici le code n'avait pas changé, et la faute se trouvait dans l'écart entre l'environnement de test et l'environnement réel. Le correctif a nommé explicitement la colonne de l'identifiant, aux six endroits où l'outil de configuration utilisait l'indicateur. La story a consigné une leçon avec lui : chercher ce motif avant de convertir quoi que ce soit d'autre. Aucun test reproduisant l'ordre réel des colonnes n'a été ajouté ; le correctif a été jugé juste d'après la spécification du pilote, si bien que la base de test diffère toujours de la base réelle.
La leçon qui n'a pas tenu
Cette recherche, menée en préparant cette annexe, a trouvé l'indicateur nu encore présent à quatorze endroits : neuf dans le dispositif, deux dans le contrôle d'accès, et trois dans l'outil de configuration lui-même, dans le code qui déploie une configuration vers le dispositif. Ces trois-là avaient été écrits deux jours avant le correctif, et l'audit de septembre, qui ne regardait que le code en cours de conversion, ne les a pas vus. Les quatorze insèrent dans des tables créées avec l'identifiant en premier, que les modifications suivantes n'ont fait qu'allonger en fin de table ou alléger de colonnes, si bien que l'identifiant est toujours premier et que rien n'est cassé aujourd'hui. Mais le motif est là, et le document d'architecture du dispositif le prescrivait encore, dans son tableau de conventions. La leçon vivait dans une story ; le document que l'agent lit avant d'écrire du code n'avait jamais été corrigé. C'est la dérive que décrit le chapitre 07 de l'article principal : une règle écrite, jamais transformée en contrôle.
Qu'est-ce qui a été fait ?
Cette fois, le constat a été traité avant publication, dans une story de correctif conduite selon le même processus que les autres. Le 2 novembre, chacun des quatorze endroits, et deux autres dans un test, a nommé la colonne de la clé. Un nouveau contrôle du build refuse l'indicateur nu dans les trois produits. Le document d'architecture l'exclut désormais et dit pourquoi. Les deux lacunes de test ont été comblées : un test envoie la requête que la page refuse et que l'action autorise, et l'accesseur est vérifié sur un ensemble non vide. Les 1 646 tests des trois produits ont passé, tous les contrôles ont tenu, et le build a été déployé et vérifié en direct le même jour.
Qu'est-ce que j'ai appris ?
Sur Claude et BMAD, trois faits. Les tests attrapent la plupart des erreurs introduites, et dans le code lié à la sécurité, tous les survivants sauf un étaient sans conséquence. La liste de contrôle de développement de BMAD demande des tests sur tout le comportement essentiel qu'une story modifie, et la Definition of Done tient les classes liées à la sécurité à leur seuil de couverture, si bien que les tests ont grandi avec le code. Les vérifications ont coûté peu : la première exécution et son tri ont pris une séance de travail, et le correctif, avec son contrôle et ses tests, une autre. Et l'anomalie qui a atteint l'usage réel a été trouvée par une personne, en cliquant sur Enregistrer.
Sur la méthode, chaque constat montre comment le travail a été fait :
| Constat | Ce qu'il dit de la méthode |
|---|---|
| L'indicateur nu a survécu à quatorze endroits, et l'architecture le prescrivait | Une leçon n'avait aucun chemin pour devenir un contrôle, ni pour entrer dans les documents que lit l'agent ; celle-ci a maintenant les deux |
| Aucun test n'envoyait une requête que la page refuse et que l'action autorise | Les tests vérifient chaque règle isolément plus soigneusement que les règles combinées |
| Les tests de l'outil de configuration sont plus faibles que ceux du dispositif | La force des tests n'avait jamais été comparée d'un module à l'autre, si bien que l'écart est passé inaperçu |
| La plupart des survivants portent sur le texte et sur les bords : une barre oblique finale, une limite de troncature | Les tests couvrent le comportement principal mieux que les limites et les sorties exactes |
| L'anomalie passée au travers venait de l'écart entre la base de test et la base réelle | La stratégie de test supposait que les deux concordaient, et rien ne le vérifiait |
| Une classe échappe à PIT, parce qu'elle lit ses paramètres dans le processus | La testabilité n'était pas une règle de l'architecture |
| Le test de mutation a été lancé à la main, pour cette annexe | La force des tests n'avait jamais été mesurée, et ne pouvait donc pas être améliorée |
Qu'appellent les survivants ?
Aucune suite de tests ne peut être montrée complète, et celle-ci le confirme. Claude écrit des tests pour chaque story, et le build tient les classes liées à la sécurité à 95 % de couverture des branches ; PIT a pourtant trouvé des lacunes, comme deux règles d'accès qu'aucun test n'exerçait ensemble. Le test de mutation laisse cette question ouverte, et lui donne une mesure que l'on peut suivre et faire progresser.
La réponse est une règle, conduite comme toute autre règle qualité : définie, mesurée, vérifiée, et ses écarts analysés et corrigés.
- Définie : une force minimale pour les classes liées à la sécurité de chaque module, fixée comme le build fixe déjà la couverture. La force mesurée début novembre est le plancher, environ 91 % pour le dispositif et 88 % pour l'outil de configuration avec le jeu renforcé ; le build refuse toute baisse, et le plancher monte à mesure que les stories relèvent la force. L'outil de configuration doit être porté au niveau du dispositif, puisqu'il est traité comme une partie du dispositif jusqu'à ce que l'organisme notifié tranche.
- Mesurée : PIT s'exécute sur chaque story qui touche ces classes.
- Vérifiée : une personne examine chaque survivant dans ces classes. Pour cette vérification-ci, cet examen reste à faire, et il est consigné comme OPEN-113.
- Corrigée : chaque survivant qui compte est fermé par un test, ou consigné comme point ouvert avec sa raison.
Améliorer les tests de cette façon est le tour suivant du cycle, et la règle fait partie des décisions qui attendent au jalon.
Que changerais-je ?
Un système qualité clôt une vérification par une action, et l'action ouvre le tour suivant du cycle : planifier, faire, vérifier, agir. Cette annexe était une vérification. Les corrections sont faites ; les améliorations de la méthode ci-dessous changent la façon dont chaque story suivante est construite et vérifiée. Ce sont des propositions, classées selon le bénéfice que j'en attends, chacune avec la mesure qu'une vérification ultérieure lirait.
| Rang | Amélioration | Pourquoi à ce rang | Mesure |
|---|---|---|---|
| 1 | Chaque leçon devient un contrôle du build, ou une raison consignée pour laquelle elle ne peut pas l'être, et les documents que lit l'agent sont corrigés avec elle | Cela couvre tous les types de constats, et supprime la cause observée ici et au chapitre 07. Appliqué une fois, pour ce motif ; comme règle, encore une proposition | Leçons devenues des contrôles, rapportées aux leçons consignées |
| 2 | Avant chaque déploiement, le schéma réel est comparé à celui qui a été testé, et toute différence arrête le déploiement | Cela vise la seule anomalie qui a atteint l'usage réel | Différences détectées avant déploiement |
| 3 | La revue de code exécute PIT sur les classes liées à la sécurité que touche une story, et lit les survivants | Les tests faibles sont repérés story par story, avant de s'accumuler ; l'outil de configuration d'abord, et seulement les classes touchées, puisqu'une exécution complète prend jusqu'à deux heures | Survivants par story |
| 4 | Le build refuse toute baisse du score de mutation de ces classes | Cela conserve les gains du rang 3, et fait de la force des tests une tendance | Le score dans le temps |
| 5 | Les consignes de test demandent des assertions sur les limites, sur les sorties exactes liées à la sécurité, et sur les règles combinées | Peu coûteux, mais une consigne ne tient que la plupart du temps (chapitre 07), et le rang 3 vérifie la même chose | Survivants sur les limites et les combinaisons |
| 6 | Le code lié à la sécurité reçoit ses paramètres, et ne les lit jamais dans le processus | Sain, et cela ne concerne qu'une classe aujourd'hui | Mutants hors d'atteinte |
Où cela laisse-t-il le projet ?
À un jalon. Derrière lui, un walking skeleton qui fonctionne, les preuves de l'article que l'approche tient, et des vérifications comme celle-ci, qui mettent à l'épreuve ce que l'article affirme et débouchent sur des actions. Devant, des décisions, ces six parmi elles, et aucune n'est encore prise. Un article ultérieur dira lesquelles l'ont été et ce qu'elles ont changé. D'ici là, les chiffres ci-dessus décrivent les tests tels qu'ils étaient le 19 octobre 2026, avant le correctif du 2 novembre.