08Pourquoi des GPU
Pourquoi les modèles de langage tournent sur des GPU, les deux goulets d'étranglement qui les limitent, et pourquoi ces puces coûtent si cher.
Chaque étape d'un modèle de langage, comme l'ont montré les deux premiers articles, se ramène à une seule opération : multiplier chaque poids par une entrée et additionner les résultats. Une couche est un tableau de poids ; la calculer, c'est faire cela pour chaque ligne. Il n'y a rien d'autre, aucune complexité cachée, seulement cette opération répétée à une échelle énorme. Un ordre de grandeur utile : produire un token demande environ deux opérations par paramètre. Pour un modèle de 70 milliards de paramètres, cela fait 140 milliards d'opérations, pour chaque token de chaque réponse.
Pourquoi ce travail convient à un GPU
Ces opérations ont deux propriétés qui déterminent le matériel qui leur convient.
Elles sont toutes identiques
Chaque case de chaque tableau demande la même chose : multiplier un poids par une entrée, ajouter le résultat à un total. Il n'y a aucune décision à prendre en chemin ni aucune exception à traiter.
La plupart ne dépendent pas les unes des autres
Reprenez le tableau du phishing du premier article. Pour calculer la ligne « Pression », il faut les indices du courriel et les poids de cette ligne, rien d'autre. Il en va de même pour la ligne « Lien douteux ». Deux personnes pourraient prendre chacune une ligne et travailler en même temps, sans jamais s'attendre. Dans une couche de 16 000 neurones, 16 000 personnes pourraient travailler en même temps. La seule attente a lieu entre les couches : la couche 2 a besoin des résultats de la couche 1 avant de pouvoir commencer.
Comparez maintenant avec le travail que font habituellement les serveurs d'une entreprise. Traiter un virement bancaire, c'est vérifier le solde, puis débiter un compte, puis créditer l'autre, puis enregistrer l'opération. Chaque étape dépend de la précédente, et à chaque étape le programme peut bifurquer : provision insuffisante, compte bloqué, devise à convertir. Ce travail est varié, plein de décisions, et séquentiel.
Un CPU est conçu pour ce second type de travail. Ses quelques dizaines de cœurs sont chacun très rapides, très polyvalents, et remplis de circuits pour gérer les décisions et enchaîner vite une étape sur la suivante. Un GPU fait le choix inverse. Il abandonne l'essentiel de ces circuits et utilise la place pour des milliers de cœurs simples (16 896 sur un H100, plus 528 cœurs tenseurs, des circuits conçus pour multiplier de petites matrices en une seule étape[9]), qui appliquent tous la même instruction au même moment, chacun à sa propre donnée. Sur un travail varié, étape par étape, un GPU serait médiocre. Sur un tableau de milliards de multiplications identiques et indépendantes, il fait en un passage ce que la poignée de cœurs d'un CPU doit faire à tour de rôle.
Un CPU ressemble à une petite équipe d'experts chevronnés : chacun peut traiter n'importe quelle tâche, avec une logique complexe et des décisions à chaque étape. Un GPU ressemble à un stade rempli de personnes qui ne savent faire qu'une chose, multiplier et additionner, mais toutes en même temps. Pour un tableur de quelques centaines de cellules, les experts gagnent. Pour des tableaux de milliards de cellules, le stade l'emporte de loin.
Deux goulets d'étranglement, pas un
Les cœurs ne sont que la moitié de l'histoire. Avant de multiplier, le processeur doit aller chercher les poids en mémoire, et les poids d'un modèle sont énormes : un modèle de 70 milliards de paramètres occupe environ 70 à 140 gigaoctets, selon la précision avec laquelle chaque nombre est stocké. La limite qui compte dépend de la tâche.
- L'entraînement est limité par la puissance de calcul. Les mêmes poids sont réutilisés sur des millions d'exemples traités ensemble : ce qui compte, c'est le nombre d'opérations par seconde que le matériel peut faire. Entraîner le plus grand modèle Llama 3 de Meta a demandé environ 40 millions de milliards de milliards d'opérations (4 × 1025, selon l'estimation habituelle de six opérations par paramètre et par token d'entraînement[10]). Sur un seul H100[9] tournant à un réaliste 40 % de sa capacité maximale, cela prendrait environ 3 000 ans. Réparti sur 16 000 GPU, cela a pris quelques mois[2].
- La réponse est limitée par la mémoire. Pour produire chaque token, le processeur doit lire une fois chaque poids du modèle. La vitesse de la réponse dépend moins des cœurs que de la vitesse à laquelle les poids peuvent être lus en mémoire. On en tire un plafond simple : la bande passante mémoire divisée par la taille du modèle[11].
Deux leçons de ce graphique. D'abord, un petit modèle sur un bon processeur de serveur[12] est parfaitement utilisable : 38 tokens par seconde, c'est plus rapide que n'importe quel lecteur. Ensuite, l'écart se creuse quand on sert beaucoup d'utilisateurs à la fois. Un GPU lit ses poids une fois et les utilise pour des dizaines de requêtes simultanées, ce qui multiplie son débit, tandis qu'un CPU manque vite de puissance de calcul. L'avantage d'un GPU est modeste pour une personne et énorme pour mille.
Les paramètres sont physiques
Le deuxième article a compté les paramètres : 50 dans notre jouet, 405 milliards dans Llama 3. GPT-2, en 2019, en avait 1,5 milliard[5] ; GPT-3, un an plus tard, 175 milliards[13]. Pour les meilleurs modèles actuels, les chiffres cités dans la presse se comptent en milliers de milliards. Trois choses méritent d'être connues sur ces nombres :
- La plupart sont des estimations. Les principaux fournisseurs ne publient plus le nombre de paramètres de leurs modèles les plus avancés. Les chiffres cités dans la presse sont en général des estimations éclairées.
- Tous les paramètres ne travaillent pas en même temps. Certains modèles récents sont construits comme un ensemble de sous-réseaux spécialisés, appelés « experts », dont seuls quelques-uns servent pour chaque token. DeepSeek-V3, par exemple, compte 671 milliards de paramètres au total mais en utilise environ 37 milliards pour chaque token[14]. Cela réduit le calcul par token, mais chaque expert doit tout de même résider en mémoire.
- Ils prennent de la place. Chaque paramètre est un nombre qui doit résider en mémoire pendant que le modèle tourne. Mille milliards de paramètres occupent environ deux téraoctets, bien plus que ce que peut contenir une seule puce : c'est pourquoi servir ces modèles demande des grappes de GPU reliés entre eux.
Pourquoi les GPU coûtent si cher
Un H100 coûte de l'ordre de 25 000 à 30 000 dollars, contre quelques milliers pour un processeur de serveur haut de gamme. Plusieurs raisons s'additionnent :
- Une mémoire spécialisée. La mémoire qui donne à un GPU sa bande passante (appelée HBM) est empilée en couches juste à côté de la puce. Elle est bien plus chère à fabriquer que la mémoire ordinaire, et rare.
- Un fournisseur dominant. L'avance de NVIDIA ne tient pas qu'à ses puces. Sa plateforme logicielle, CUDA, est le standard depuis quinze ans, et presque tous les logiciels d'IA reposent dessus, ce qui rend le changement coûteux pour les acheteurs.
- Une demande bien supérieure à l'offre. Tous les grands laboratoires et fournisseurs de cloud achètent en même temps, et les capacités de production des puces les plus avancées sont limitées.
- L'énergie et le refroidissement. Un H100 consomme jusqu'à 700 watts, et une grappe de plusieurs milliers demande des centres de données dédiés.
Ce que cela signifie en pratique
- Utiliser un modèle de pointe via l'API d'un fournisseur, c'est louer une part de ses GPU, payée au token. Vous n'achetez jamais le matériel.
- Faire tourner un petit modèle ouvert dans vos propres locaux (quelques milliards de paramètres, compressé) est faisable sur des serveurs ordinaires, voire un ordinateur portable, pour des volumes modestes. C'est à cela que servent des outils comme llama.cpp et Ollama (chapitre 10).
- Faire tourner un grand modèle dans vos propres locaux pour de nombreux utilisateurs demande bel et bien des GPU, achetés ou loués à l'heure. Dimensionner cet investissement, c'est estimer trois choses : la taille du modèle, le nombre d'utilisateurs simultanés, et la vitesse de réponse acceptable.