08Matériel, coût et capacité : mesurer, puis décider

Le coût par question comme choix de conception, aucun matériel acheté d'avance, et des étapes qui produisent les chiffres.

Dimensionner la capacité est difficile pour tout nouveau système. Cela dépend de trois choses inconnues au départ : les ressources que consomme une unité d'activité, le volume d'activité au plus calme, au plus fort et en moyenne, et la redondance nécessaire quand quelque chose tombe en panne. Ici, les trois sont moins connues que d'habitude. Il y a peu d'expérience passée sur laquelle s'appuyer, la croissance dépend d'une adoption que personne ne peut prévoir, et le matériel en jeu peut être coûteux.

Savoir où va la puissance de calcul

Si le modèle est un service tiers, la capacité s'achète à l'usage, même si les limites de débit, les quotas et les temps de réponse variables demandent encore à être planifiés. S'il est hébergé en interne, générer les réponses prend l'essentiel de la puissance de calcul, en général sur des GPU. La base de connaissances a des besoins plus ordinaires. Trois charges doivent être planifiées séparément : l'ingestion, qui arrive par vagues ; les questions, qui arrivent en pics ; et l'évaluation, qui tourne à chaque changement et qu'on oublie facilement.

Traiter le coût par question comme un choix de conception

Combien de passages sont retrouvés, s'il y a une seconde étape de classement, quelle est la taille du modèle : ces choix peuvent multiplier par dix le coût d'une question. Chaque changement de conception est donc jugé sur deux chiffres, sa qualité sur le jeu de tests et son coût par question.

Ne pas acheter de matériel d'avance

Avant de mesurer, personne ne sait quoi acheter, et encore moins en quelle quantité. Les plateformes cloud permettent à une équipe de provisionner, tester et décommissionner à volonté : l'usage à la demande vient donc en premier, avec des coûts surveillés de près. Les plateformes de test sont inactives la plupart du temps, elles doivent donc s'éteindre automatiquement ; les économies qui dépendent de quelqu'un qui pense à tout éteindre se produisent rarement. Les GPU à la demande ne sont pas toujours disponibles, et certains tests peuvent exiger une capacité réservée.

Laisser les étapes produire les chiffres

La capacité ne peut pas être planifiée d'avance, et elle n'a pas besoin de l'être : chaque étape fournit la mesure dont la décision suivante a besoin (figure 8). Ramper donne le coût de préparation de chaque type de document. Marcher donne le coût et la latence par question, et des tests de charge construits à partir de questions réalistes montrent comment le système monte en charge. Courir donne ce qu'aucun test ne peut donner : l'usage réel, les pics et la croissance. Les projections à un, deux ou trois ans se font alors sous forme de scénarios (adoption faible, attendue et forte) et sont révisées à chaque étape.

Ramper Marcher Courir Voler Ce que l'on mesure coût de préparation de chaque type de document coût et latence par question, montée en charge usage réel, pics et croissance coût à l'échelle, éléments pour choisir où tourner Où il tourne à la demande, éteint quand inactif à la demande, tests de charge avec des questions réalistes à la demande ou réservé, projections en scénarios décider sur preuves : cloud, interne, ou un mélange chaque étape produit les chiffres dont la décision suivante a besoin
Figure 8. Ce que mesure chaque étape, et où tourne le système

Puis décider où tourner

Avec des chiffres fiables, le choix entre le cloud et un matériel en propre repose sur des preuves. Il dépend aussi de contrats qui peuvent exiger un hébergement interne, des compétences nécessaires pour exploiter du matériel GPU, de la vitesse à laquelle ce matériel vieillit, et du taux d'utilisation, puisqu'un matériel en propre n'est rentable que sous une charge forte et régulière. Un mélange est courant, comme les vagues d'ingestion dans le cloud et les questions quotidiennes en interne. Comme le modèle peut être remplacé, la décision reste réversible.

Prévoir les pannes

Si le modèle devient indisponible, le système peut se replier sur les renvois vers les sources, qui ne demandent aucune génération. Et comme reconstruire l'index peut prendre des jours, l'index est sauvegardé comme n'importe quelle autre donnée de production.

Une capacité est souvent oubliée : le temps des experts. Valider le savoir, corriger les brouillons et enrichir le jeu de tests dépendent de quelques personnes, et dans beaucoup d'organisations ce sont elles le vrai goulet d'étranglement.