10Le squelette fonctionnel et la feuille de route
Un système mince de bout en bout dès Ramper, une question par étape, et une criticité gagnée par la qualité mesurée.
Le premier article a fixé les étapes : Ramper, Marcher, Courir et Voler. Ce chapitre décrit comment le système se construit à travers elles, par cycles courts, pour que chaque étape s'ajoute à ce que la précédente a construit au lieu de le remplacer.
Ces quatre étapes s'appliquent à un système. Elles se distinguent des étapes du programme d'IA d'une organisation décrites dans L'IA générative au-delà du battage, où Ramper signifie que chacun utilise un outil autorisé selon une politique simple. Un système comme celui-ci démarre en général une fois que l'organisation a franchi cette première étape, puis il parcourt ses quatre étapes à lui.
Un squelette dès le départ
La première version du système est un squelette fonctionnel (walking skeleton) : mince des deux côtés, mais complet de bout en bout, avec un périmètre étroit de données de confiance, un chemin de réponse simple, le contrat, la traçabilité et un passage de tests. Il existe dès Ramper, dans un seul but : mesurer si les données peuvent réellement être retrouvées et utilisées. Des données peuvent paraître propres lors d'un audit et échouer tout de même à la recherche, parce que des tableaux se désagrègent, que des révisions ne se distinguent pas, ou que les utilisateurs posent leurs questions avec des mots que les documents n'emploient jamais. Seul un système qui tourne le révèle. Pendant Ramper, le squelette est utilisé par l'équipe, évalué sur le jeu de tests et montré en revue. Il n'est jamais mis entre les mains des utilisateurs.
Chaque étape répond à une question
Les étapes répondent chacune à une question (figure 10). Ramper : peut-on avoir des données de confiance, et à quel coût ? Marcher : le système peut-il trouver les bonnes données de confiance, de façon mesurable, et progresser ? De vrais utilisateurs le voient pour la première fois, mais seulement sous forme de renvois vers les sources. Courir : peut-il répondre directement dans le travail réel, là où les erreurs sont tolérables, et peut-on l'exploiter pendant des années ? Voler : peut-il passer à l'échelle, et se voir confier des questions critiques là où les preuves le permettent ? Certaines questions resteront des renvois pour de bon.
Le premier jalon
À la fin de Ramper, l'audit, les entretiens avec les experts et les mesures du squelette répondent à la première question. La réponse est rarement oui ou non pour tout : oui pour une famille de moteurs, pas encore pour une autre, jamais pour certains documents sous contrat. Le jalon fixe surtout le périmètre de l'étape suivante, la limite parfois aux renvois, et arrête parfois le projet. Il revient chaque fois qu'une nouvelle source ou un nouveau périmètre est envisagé.
Choisir le périmètre de chaque étape
Quatre critères s'appliquent, dans l'ordre : le coût d'une réponse fausse, la valeur d'une réponse juste, la facilité de vérifier les réponses, et la facilité de préparer les données. Les deux premiers sont des décisions métier, les deux derniers des décisions d'ingénierie. Des données faciles à préparer mais difficiles à vérifier sont un piège : elles produisent des résultats que personne ne peut vérifier, et ressemblent à un progrès jusqu'à ce qu'elles échouent. Commencer par des données faciles n'est pas tricher si c'est fait ouvertement, avec toute la collection profilée dès le départ et des résultats jamais présentés comme valables au-delà de leur périmètre.
La pertinence prouvée gagne la criticité
La criticité ne monte jamais sur l'enthousiasme. Elle monte pour un type de question seulement quand la qualité mesurée pour ce type a atteint son seuil.
Quelque chose à montrer à chaque cycle
Les cycles courts gardent mobilisés les sponsors et les experts, et la crédibilité qu'ils construisent est ce sur quoi s'appuieront les décisions de jalon. Chaque revue montre quelque chose de réel : les contradictions que l'audit a trouvées dans les propres documents de l'entreprise, la courbe de qualité qui monte, de vrais exemples dont un « je ne sais pas » juste, et les corrections des experts désormais dans le jeu de tests. Une courbe qui monte convainc plus qu'une démonstration léchée.