06Le SMQ comme colonne vertébrale
Dans le logiciel réglementé, les preuves ont toujours coûté autant que le code. L'IA change aussi le coût des preuves, à condition que le système qualité soit construit pour que l'IA puisse travailler à l'intérieur.
Quiconque a construit du logiciel pour un secteur réglementé connaît le schéma. Le code est la moitié du travail. L'autre moitié, ce sont les preuves : des exigences reliées aux tests, des risques reliés aux mesures qui les traitent, des décisions consignées avec leurs raisons, chaque dépendance justifiée, chaque écart expliqué. Pour les dispositifs médicaux, des normes comme l'ISO 14971 pour la gestion des risques et l'IEC 62304 pour le cycle de vie du logiciel les définissent ; le ferroviaire, l'aéronautique, l'automobile et la finance demandent le même genre de preuves sous d'autres noms. Elles sont en général produites tard, reconstituées pour l'audit par des personnes qui n'étaient pas là quand les décisions ont été prises. Elles coûtent cher, sont impopulaires, et relèvent souvent de la fiction.
Avec une IA, les preuves peuvent être produites avec le travail, par le processus même qui le fait. Cela demande une pratique que Scrum a déjà, une Definition of Done que chaque élément de travail doit franchir, rendue précise comme dans Au-delà de la démo, et un système qualité construit pour que l'IA puisse travailler à l'intérieur.
Où vit le système qualité ?
J'ai fait au départ un choix qui a façonné tout le reste : le système de management de la qualité, ou SMQ, vivrait à côté du code, sous forme de fichiers texte en gestion de versions. Chaque exigence, contrainte, risque, décision et point ouvert a un identifiant, se trouve dans un fichier Markdown, et se modifie comme le code : dans un commit, avec un message, relisible ligne à ligne.
Un SMQ sous cette forme est un SMQ qu'une IA peut lire et écrire. Claude peut ouvrir le registre des contraintes avant d'écrire une story, consulter le registre des risques avant d'en clore une, et ajouter un point ouvert dès qu'il trouve un manque, le tout dans le même commit que le code. Les preuves sont alors écrites pendant que le travail se fait, par le processus même qui le fait.
Ce que contient le SMQ
- une Definition of Done que chaque story doit franchir, couvrant la fonction, la qualité du code, les tests, la sécurité et la traçabilité, la sécurité informatique et la chaîne d'approvisionnement, la protection des données, et la documentation ;
- un registre des contraintes de conception, les règles que chaque composant doit respecter ;
- un registre des risques d'une trentaine de dangers, et le dossier de gestion des risques qui l'encadre ;
- un registre des logiciels tiers, chaque bibliothèque avec sa version, son usage et sa licence ;
- des registres de décisions d'architecture ;
- une centaine de points ouverts : chaque bouchon, décision reportée et manque connu, daté et référencé ;
- le dossier réglementaire : destination, justification de la classification, dossier du cycle de vie du logiciel, dossier de cybersécurité, plans d'évaluation clinique et de surveillance après commercialisation.
Deux de ces éléments ne tenaient que sur le papier. Le registre des logiciels tiers recense les composants que le produit demande nommément, et omet six des onze qu'il livre. La Definition of Done interdit toute vulnérabilité élevée non résolue, mais depuis le 30 septembre aucun build n'a produit la nomenclature logicielle que lit ce contrôle, et un pilote faisant l'objet de trois alertes élevées a été livré entre-temps. Le chapitre 07 compte les deux parmi les écarts ; l'annexe E donne les chiffres.
Sa règle veut que chaque contrainte soit référencée quelque part, que chaque exigence soit reliée aux tests qui la vérifient, et que tout ce qui est marqué comme brouillon ou bouchon ait un point ouvert correspondant. Les constats de revue reportés avec une raison, environ 245 (figure 5), sont tenus dans un journal à part ; quand le travail sur le produit reprendra, ils seront tout en haut de la liste.
Pour le mettre en place, j'ai conçu un plugin pour BMAD et je l'ai construit avec Claude. Il pose quelques questions, comme la classe de risque du dispositif, les marchés visés et s'il traite des données de santé personnelles, crée les fichiers que les réglementations exigent dans ce cas, et branche le SMQ sur les workflows de BMAD pour qu'ils chargent les fichiers utiles avant de commencer. C'est le branchement qui a mal tourné, et en silence ; le chapitre 07 raconte cette histoire. Le plugin est publié sous licence libre, avec ses tests, sur github.com/jouleco-fr/bmad-samd-qms, et l'annexe F l'ouvre.
Qu'est-ce que l'IA a changé ?
La traçabilité, rétablie après coup
Mi-septembre, un audit a constaté que la convention consistant à relier chaque test à l'exigence ou au risque qu'il vérifie n'avait jamais été adoptée. Dans une équipe traditionnelle, rétablir la traçabilité sur bien plus d'un millier de tests existants est le genre de tâche que l'on planifie, que l'on reporte et que l'on ne fait jamais. Ici, cela a pris deux semaines : les tests portent désormais plus de 1 200 annotations de traçabilité, et un script génère la matrice de traçabilité à partir du code lui-même, y compris ses propres manques, comme les exigences qu'aucun test ne trace encore. Personne ne la tient à jour à la main. Une trace dit quel test couvre une exigence. Savoir si ce test remarquerait une erreur est une autre question, et l'annexe B la pose au code lié à la sécurité.
Des points ouverts écrits au fil de l'eau
Chaque manque que Claude trouve en travaillant est consigné avec sa date, sa cause, ce qu'il touche et ce qui a été décidé. Certaines entrées se lisent comme de petits rapports d'incident, là où une équipe humaine sous pression écrit « TODO ». Ce registre a permis de voir, plus tard, ce qui avait dérivé.
Des règles transformées en contrôles de build
Fin septembre, les règles qui comptaient le plus étaient vérifiées à chaque build : une couverture de tests qui ne peut que monter, au moins 95 % de couverture des branches sur le code qui maîtrise un risque, et aucun test sans lien vers une exigence. Ces contrôles aussi, c'est Claude qui les a écrits.
Que doit assumer une personne ?
Certains points ouverts ne peuvent être clos par aucune somme d'ingénierie : la validation par un spécialiste des affaires réglementaires, une rencontre avec l'autorité avant la soumission, l'acceptation formelle des seuils de risque par la direction, le jugement clinique derrière l'analyse des dangers, la surveillance d'un produit qui a de vrais utilisateurs. Claude rédige ce qui peut être rédigé. Il ne signe pas. Chacun de ces points nomme la personne ou le rôle externe dont il a besoin, et aucun n'est sauté sans que cela se voie. Cette ligne, entre ce qu'une IA peut produire et ce qu'une personne doit assumer, est l'une des choses les plus utiles qu'un système qualité puisse rendre explicite, et c'est la ligne sur laquelle un dirigeant sera interrogé en premier.
Pour votre propre projet
Peu de lecteurs construiront un dispositif médical, mais la plupart travaillent sous une norme ou une autre : une réglementation sectorielle, une certification de sécurité, l'audit d'un client, ou une règle interne voulant que chaque décision importante soit consignée.
- Gardez les registres qualité là où l'IA peut les lire et les écrire : en texte, à côté du code, en gestion de versions, avec un identifiant pour chaque exigence, risque, décision et manque.
- Laissez à l'IA le travail coûteux et fastidieux pour les personnes : rétablir des liens, consigner les manques, régénérer les matrices, écrire les contrôles. Gardez les décisions et les signatures pour les personnes.
- Faites du système qualité une partie de la Definition of Done de chaque élément de travail, dès la première story.
Tout cela suppose que l'IA lise vraiment les règles. Pendant dix semaines, la mienne ne l'a pas fait.