02Un autre genre de projet

Un miroir tendu à l'organisation, ni spécification ni fin, et pourquoi l'apprentissage doit se faire par cycles courts.

Un miroir tendu à l'organisation

En quelques semaines, l'équipe de notre mainteneur ferroviaire se heurte à des questions que personne n'avait prévues. La même procédure existe en trois versions, et l'ingénieur qui aurait pu dire laquelle est la bonne est parti à la retraite l'an dernier. Un bulletin de service contredit le manuel qu'il devait corriger. Certains documents de fournisseurs sont confidentiels, et tous les techniciens n'ont pas le droit de les voir. Des familles entières d'engins anciens sont à peine documentées.

Le projet d'IA n'a créé aucun de ces problèmes. Les gens expérimentés savaient simplement les contourner. Un système qui répond aux questions les rend visibles, parce qu'il a besoin de savoir quelle réponse est vraie et qui peut la recevoir. Ce qui a été approuvé comme un projet technologique se révèle être un diagnostic de la façon dont l'organisation gère ses connaissances, et les constats appellent des décisions qu'aucune équipe technique ne peut prendre seule.

Ni spécification, ni fin

Dans un projet classique, chaque exigence est satisfaite ou non, et quand tout est satisfait, le projet est livré. Ici, personne ne peut lister toutes les questions qu'un technicien posera, et le système aura raison la plupart du temps, jamais tout le temps. La qualité devient un taux, qu'il faut mesurer et qui peut dériver.

Le projet ne se termine pas non plus à la livraison. Les engins sont modifiés, les procédures révisées, les experts partent. Si le système ne suit pas, ses réponses se périment, et une réponse périmée donnée avec assurance est pire que pas de réponse du tout. Chaque question a un coût de fonctionnement, et la mesure de la qualité aussi. Faire tourner le système représente une grande partie du projet, et le budget doit le dire.

Peu d'expérience sur laquelle s'appuyer

Quand une entreprise approuve un nouvel ERP ou un moteur de paiement, elle s'appuie sans y penser sur l'expérience des autres : des coûts et des durées de référence, des risques connus, des gens qui l'ont déjà fait. Les projets d'IA générative n'en sont pas encore là. Peu d'organisations en ont mené un jusqu'à un usage stable et quotidien, et moins encore ont partagé ce qu'il a réellement coûté.

Restent deux réponses tentantes, toutes deux mauvaises. La première est d'attendre que d'autres aient trouvé la solution ; pour notre mainteneur ferroviaire, les experts partent maintenant. La seconde est de « se lancer pour voir » : démarrer un pilote, montrer une démo, et espérer que la valeur apparaisse. C'est ainsi que les organisations se retrouvent avec des pilotes qui ne finissent jamais, ne passent jamais à l'échelle et ne sont jamais arrêtés, parce que personne n'a défini le succès.

Apprendre par cycles courts

Si l'expérience n'existe pas, chaque organisation doit construire la sienne, délibérément plutôt que par hasard. Cela veut dire apprendre par cycles courts, comme le montre la figure 3 : construire un peu, sur un périmètre étroit ; le mettre devant de vrais utilisateurs et de vrais experts ; mesurer à quelle fréquence il a raison ; puis décider de continuer, d'ajuster ou d'arrêter.

UN PROJET CLASSIQUE connu d'avance, terminé à la livraison Spécifier ce qu'il doit faire Construire selon la spécification Tester réussi ou échoué Livrer projet clos Exploiter petit budget stable UN PROJET D'IA GÉNÉRATIVE découvert en chemin, jamais tout à fait fini Construire un peu sur un périmètre étroit Essayer pour de vrai utilisateurs et experts Mesurer s'il a souvent raison Décider continuer, ajuster ou arrêter cycle court suivant, quelques semaines au plus En dessous, en permanence : tenir les connaissances à jour, et payer l'exploitation et la mesure du système
Figure 3. Un projet classique et un projet d'IA générative.

Nous manquons d'expérience avec ces projets. Nous ne manquons pas de disciplines pour gérer ce que nous ne savons pas encore. Les cadres agiles comme Scrum ont été conçus pour un travail dont le résultat doit être découvert pas à pas, et les chapitres suivants s'appuient aussi sur d'autres disciplines éprouvées : la gouvernance, le financement par étapes, l'acceptation explicite du risque, le test de chaque changement au regard de ce qui fonctionnait déjà. Aucune n'a été inventée pour l'IA. Ce qui est nouveau, c'est de les appliquer ici, sous un contrôle explicite, pour que les cycles courts mènent quelque part au lieu de dériver.

L'IA peut aider pour une grande partie de ce travail, y compris pour trouver les contradictions et convertir les anciens documents. Elle ne peut pas décider quelle version est vraie, qui en est propriétaire, ni quel niveau d'erreur est acceptable. Ces décisions appartiennent à l'organisation ; l'IA peut aider pour le reste.