Annexe DComment l'agent a-t-il été piloté ?

Le chapitre 04 dit que BMAD prépare un cahier pour chaque story et que trois relecteurs lisent chaque modification. Cette annexe regarde comment cela a fonctionné en pratique : quel modèle a fait quoi, quelle taille un cahier a atteint, ce que les relecteurs ont trouvé et retrouvé, et ce que seule une personne a trouvé.

État au 2 novembre 2026

Cette annexe est un instantané d'un travail en cours, tiré des registres du projet tels qu'ils étaient le 19 octobre. Les constats ont été triés à partir d'un échantillon, par Claude ; seuls les totaux de ce tri ont été consignés, et la vérification par une personne de 20 des 60 est en attente. Les améliorations classées à la fin sont des propositions. Les numéros de la forme OPEN-nnn sont des entrées du registre des points ouverts du projet, qui fait partie de son système qualité (chapitre 06).

Quel modèle a fait quoi ?

Sur les 172 stories, 142 indiquent Claude Sonnet 5 comme développeur, jusqu'au 24 septembre, et les 15 développées à partir du 25 septembre indiquent Claude Opus 5.5. Les 15 autres, toutes des premières semaines de l'outil de configuration, n'ont pas de ligne pour le modèle. À partir du 25 septembre, les journaux de session qui subsistent montrent Opus 5.5 faisant tout : la session principale et les agents de revue qu'elle lançait. Avant le 25 septembre, les registres ne disent pas quel modèle menait les revues.

Ce changement n'est pas une décision que j'ai consignée, et je ne me souviens pas pourquoi je l'ai fait : peut-être pour le coût, peut-être pour la performance. Il a eu un coût. Dans les six jours qui ont suivi, j'ai atteint la limite de session de l'abonnement sept fois et sa limite hebdomadaire une fois (chapitre 01).

Le changement a-t-il fait une différence ? Les registres ne permettent pas de le dire. Les stories développées avec Opus ont attiré plus de constats de revue que celles développées avec Sonnet : environ 15 par story, contre environ 9 par story Sonnet qui consigne des constats (75 sur 142). Mais elles sont venues plus tard, elles étaient plus grandes et plus chargées en sécurité, et les relecteurs ont changé de modèle en même temps. C'est une observation, et rien n'a été mesuré.

Quelle taille un cahier a-t-il atteint ?

Le cahier d'une story, c'est-à-dire le fichier de la story avant les notes du développeur, fait en médiane environ 1 700 mots, soit à peu près 2 300 tokens, et environ 4 900 mots au plus. C'est peu au regard de ce que le modèle peut contenir. Les cahiers plus longs ont attiré un peu plus de constats, mais le lien est faible.

Le contexte a plutôt manqué dans les longues sessions. Les journaux de fin septembre à fin octobre montrent la conversation compactée quatre fois en un mois. La réponse de BMAD est celle que décrit le chapitre 04 : un cahier neuf et complet pour chaque story, pour que rien ne dépende de ce dont une longue session se souvient encore.

Qu'ont trouvé les relecteurs, et que répète Claude ?

Près de 900 constats sont consignés. Pour voir de quelle nature ils sont, Claude a lu un échantillon aléatoire fixe de 60 d'entre eux et les a triés.

Nature du constat Dans l'échantillon de 60
Cas limites : une valeur vide, un libellé contenant un séparateur, une personne déjà inactive 8
Tests manquants ou qui vérifient trop peu 8
Commentaires ou documents qui affirment ce que le code ne fait pas 8
Affichage, styles et accessibilité 8
État partagé ou périmé : une mise à jour perdue, une liste livrée à qui veut la modifier, un formulaire renvoyé 7
Sécurité et audit 4
Gestion des erreurs 3
Efficacité, hygiène et autre logique 4
Écarté, ou simple note 10

Certaines natures reviennent d'une story à l'autre. La documentation s'écarte du code qu'elle décrit ; les tests vérifient moins qu'ils n'en ont l'air ; un état modifiable est partagé là où il devrait être copié ; quelque chose est identifié par son libellé là où il devrait l'être par sa clé. Le registre des constats reportés signale une catégorie de lacune pour la troisième fois. Ce sont les erreurs que Claude répète, et les relecteurs les attrapent, une story à la fois.

Qu'est-ce que seule une personne a trouvé ?

Au moins 27 stories consignent une anomalie trouvée en direct, après que la revue avait passé. Celles que j'ai trouvées moi-même comprennent une option qui ne faisait rien quand on cliquait dessus, six pages que personne ne pouvait atteindre, un formulaire patient où « à peu près tout est faux », l'enregistrement du 17 septembre (annexe B), une mise à jour en direct qui ne fonctionnait plus depuis une version antérieure. Les relecteurs lisent le code. Ces anomalies ne se montraient que dans un navigateur en marche, avec des données réelles, ou quand quelqu'un essayait de se servir du produit.

L'une montre mieux que les autres la limite. Le 16 octobre, le brouillon d'une page devait lever une restriction sur l'action Enregistrer pour les agents administratifs. Il a aussi, par deux clics que personne ne voulait, empêché ces agents d'ouvrir la page du patient. Cette seconde modification est passée par l'enregistrement, l'approbation sous un second compte et le déploiement, et chaque contrôle a tenu comme prévu, parce qu'aucun ne la montrait. Je l'ai trouvée en vérifiant, en direct, ce que faisaient les restrictions déployées. Le chapitre 09 raconte ce qui s'en est suivi : une approbation ne protège que ce que l'approbateur peut voir.

Qu'est-ce que j'ai appris ?

Les registres montrent deux choses sur Claude et BMAD. Les relecteurs trouvent beaucoup, près de 900 constats, tous sauf 18 dans les 172 stories, la plupart corrigés dans la même story, et ils attrapent les mêmes natures d'erreurs chaque fois qu'elles reviennent. Et les anomalies qui ont atteint un système en marche ont été trouvées par une personne, en s'en servant.

Sur la méthode, chaque constat montre comment le travail a été fait :

Constat Ce qu'il dit de la méthode
Le modèle du développeur a changé le 25 septembre, pour une raison que personne n'a consignée Le choix du modèle n'a jamais été une décision, et n'a donc jamais été mesuré
Son effet sur la qualité ne se lit pas dans les registres Rien n'a comparé les modèles sur un travail semblable
Les mêmes natures de constats reviennent d'une story à l'autre Les relecteurs corrigent chacun, et rien n'empêche le suivant
27 stories consignent une anomalie trouvée en direct, après la revue La revue lit le code ; seule une vérification sur le système en marche voit ce qu'il fait
Le contexte a manqué dans les longues sessions Les sessions plus longues qu'une story perdent ce que le cahier ne porte pas

Que changerais-je ?

Ce sont des propositions, classées selon le bénéfice que j'en attends, chacune avec la mesure qu'une vérification ultérieure lirait.

Rang Amélioration Pourquoi à ce rang Mesure
1 Chaque story se termine par une vérification consignée sur le système en marche, par une personne ou par un test automatisé dans un navigateur Cela vise les anomalies passées à travers la revue ; c'est aussi ce que demande OPEN-114 Anomalies trouvées en direct après qu'une story est terminée
2 Les natures de constats qui reviennent deviennent des contrôles ou des consignes : un contrôle de la force des tests (annexe B), et une confrontation de chaque commentaire qui énonce un comportement avec un test qui le prouve Les relecteurs cessent de rencontrer la même erreur Constats récurrents par story
3 Le modèle de chaque rôle est une décision consignée, et un changement est essayé sur quelques stories semblables, mesuré, avant d'être adopté Cela rend le choix explicite, avec sa raison, son coût et son effet Stories par modèle, avec leurs constats et leur coût
4 Une story par session Rien ne dépend d'une conversation compactée Compactages par story

Où cela laisse-t-il le projet ?

À un jalon. L'agent a été piloté par une méthode qui a fonctionné plus souvent qu'elle n'a échoué : des cahiers assez petits pour être tenus, des revues qui trouvent beaucoup, et une personne qui vérifie ce qui tourne. Ce qui lui manquait, c'est la mesure : du modèle, des erreurs récurrentes, et de ce que chaque vérification attrape. Ces quatre propositions font partie des décisions qui attendent au jalon. Une version ultérieure de cette annexe dira lesquelles ont été prises.