07Mesurer ce qui compte

Le jeu de tests des experts comme instrument, les échecs de sécurité comptés un par un, et un passage complet à chaque changement.

Sans mesure, toute affirmation sur le système est une opinion : il semble meilleur, la démo s'est bien passée, les utilisateurs l'aiment. Avec la mesure, chaque changement a un chiffre, et chaque décision d'étape repose sur des preuves. Définir et mesurer la pertinence se fait dès le départ, car c'est l'instrument qui rend tout le reste de cet article pilotable (figure 7).

Tout changement modèle documents découpage instructions règles Passer tout le jeu de tests Recherche bons passages, version, droits Réponses justes, sourcées, bonne issue Échecs de sécurité comptés un par un, objectif zéro Livrer seulement si aucune régression et zéro échec de sécurité les corrections des experts et les cas terrain enrichissent le jeu de tests
Figure 7. Chaque changement passe tout le jeu de tests

Le jeu de tests est l'instrument

C'est un ensemble de vraies questions, chacune avec la réponse qu'attendent les experts : la bonne valeur et sa source, le bon document vers lequel renvoyer, ou le bon refus. Les refus comptent autant que les réponses ; sans eux, le jeu de tests ne peut pas détecter l'échec le plus dangereux. La première version est construite pendant Ramper, à partir d'entretiens avec les experts et de vraies questions, avec un point de référence : combien de temps met aujourd'hui un technicien pour trouver le bon couple, et à quelle fréquence il appelle un expert. Elle s'enrichit à chaque cycle de nouvelles questions, de corrections d'experts et de cas terrain. Comme la base de connaissances, c'est un actif de l'entreprise qui survivra à tout modèle et à tout outil.

Mesurer les deux côtés séparément

Pour la recherche : les bons passages ont-ils été trouvés, dans la bonne version, parmi ceux que l'utilisateur a le droit de voir ? Pour les réponses : compte tenu de ce qui a été retrouvé, la réponse était-elle juste et sourcée, et le choix entre répondre, renvoyer et refuser était-il le bon ? Un score global unique cache où se trouve le problème. Quand la recherche est mauvaise, un meilleur modèle n'aidera pas. Quand la recherche est bonne et les réponses fausses, réindexer n'aidera pas non plus.

Compter les échecs de sécurité ; ne jamais en faire la moyenne

« 95 % de réponses justes » semble rassurant et peut inclure une valeur de couple sans source. Les échecs de sécurité se comptent un par un, et l'objectif est zéro. Un seul de ces échecs bloque une livraison, quoi que disent les autres scores.

Passer le jeu de tests à chaque changement

Une nouvelle version du modèle, un lot de documents retraité, une autre façon de les découper, une instruction reformulée : chacun peut améliorer certaines réponses et en casser d'autres sans bruit. Tout le jeu de tests passe à chaque changement, et un changement qui fait baisser la qualité ou ajoute un échec de sécurité n'est pas livré. C'est la Definition of Done du premier article, appliquée par le pipeline plutôt que par de bonnes intentions.

Calibrer les évaluateurs

Les experts ne peuvent pas juger des milliers de réponses à chaque changement, si bien que l'évaluation est en partie automatisée, souvent par un autre modèle. Cet évaluateur doit lui-même être régulièrement comparé au jugement des experts, sinon il produit des chiffres assurés qui ne veulent pas dire grand-chose.

Puis ajouter le terrain

Une fois les vrais utilisateurs arrivés, le jeu de tests est rejoint par les signaux d'usage : questions posées, réponses signalées, renvois suivis, refus qui se sont révélés à tort. Le chapitre 09 explique comment ils reviennent dans le système.