04Que veut dire « mieux » ?
Trois questions et un point de référence, des erreurs pesées selon leurs conséquences, et la mesure comme moyen de recueillir ce que savent les experts.
Chaque présentation d'un projet comme le nôtre promet de meilleures réponses. Rares sont celles qui disent ce que « meilleur » veut dire, ou comment on le saurait. Sans cela, personne ne peut dire si le projet fonctionne, s'il vaut ce qu'il coûte, ni s'il est sûr.
Trois questions, et un point de référence
La réponse donnée à un technicien doit passer trois tests. Le système a-t-il trouvé le bon document, dans la bonne version ? La réponse dit-elle ce que dit cette source, et rien de plus ? A-t-elle vraiment aidé à faire le travail ? Seuls ceux qui connaissent le métier peuvent en juger. La pertinence est définie par les experts et les utilisateurs. La DSI ne peut pas la définir à leur place.
« Mieux » suppose aussi une comparaison. Pas l'IA avec et sans documents, mais le nouveau système face à la façon dont les techniciens trouvent leurs réponses aujourd'hui : fouiller un disque partagé, feuilleter un manuel, appeler le collègue qui sait. Combien de temps cela prend-il ? À quelle fréquence cela échoue-t-il ? Peu de projets mesurent ce point de référence avant de commencer, et sans lui, l'amélioration comme le retour sur investissement relèvent de l'opinion.
Toutes les erreurs ne se valent pas
Prenons une question simple : à quel couple faut-il serrer tel boulon ? La réponse dépend du modèle exact de moteur, et se tromper peut être catastrophique.
Le modèle est trouvé, le couple aussi
Le système donne la valeur avec sa source. C'est l'objectif.
Le modèle est trouvé, mais aucun couple n'est documenté
La bonne réponse est « je ne sais pas ». Le technicien appelle un expert, et le projet apprend où ses connaissances ont une lacune.
Le modèle n'est pas trouvé, mais des couples existent pour d'autres modèles
Tout dépend alors du comportement. Le système peut dire qu'il n'a pas de valeur pour ce modèle et renvoyer le technicien vers un expert. Ou il peut prendre la valeur du modèle le plus proche et l'énoncer avec autant d'assurance qu'une valeur juste. Mêmes documents, même lacune : une réponse est sûre, l'autre peut détruire un moteur, ou pire.
« Juste neuf fois sur dix » ne veut pas dire grand-chose en soi. Ce qui compte, c'est la dixième fois, et ce que fait le système quand il ne sait pas. Les erreurs doivent être pesées selon leurs conséquences, et le comportement face aux connaissances manquantes décidé explicitement. Ce sont deux jugements sur le risque, et ils appartiennent au métier.
Mesurer, et ce que la mesure recueille
Avant de construire quoi que ce soit, les experts écrivent de vraies questions avec les réponses qu'ils jugent correctes. À chaque cycle, le système est testé sur cet ensemble, pour que « mieux » devienne visible et qu'un changement qui dégrade discrètement les choses soit repéré. En usage, d'autres signaux suivent : le temps gagné, les questions transmises à un expert, les réponses signalées comme fausses.
Cela demande du temps d'expert, la ressource la plus rare de notre exemple, et ce temps doit figurer au budget dès le premier jour. C'est le tableau de bord du projet. Il y a aussi un bénéfice caché. Quand un expert corrige une réponse (« sur les engins plus anciens, il faut aussi remplacer les boulons »), il écrit quelque chose qui n'avait jamais été écrit. Mesurer la qualité devient une façon de recueillir ce que savent les experts qui partent, une question après l'autre.