IA générative · Partie 3 sur 3
Comment sont fabriqués Claude, Gemini et ChatGPTEntraînement, données, GPU et coût
Résumé
Les deux premiers articles de cette série ont expliqué comment un réseau de neurones apprend et comment fonctionne un grand modèle de langage. Ce troisième article explique comment un tel modèle est fabriqué, et ce que cela demande.
Entraîner un LLM repose sur la même boucle que le filtre anti-spam du premier article : faire passer des exemples, mesurer l'erreur, ajuster un peu chaque poids. Ce qui change, ce sont le corrigé, l'échelle et le but. Le texte vient surtout du web public, et l'essentiel de l'effort consiste à le nettoyer. Le texte fournit lui-même ses réponses : on cache le mot suivant et on vérifie la prédiction, ce que les spécialistes appellent l'apprentissage autosupervisé. Chaque erreur indique à chacun des milliards de nombres du modèle dans quel sens bouger, et le modèle jouet montre exactement comment. Des phases ultérieures transforment un compléteur de texte en assistant, à l'aide de jugements humains et de vérifications automatiques.
L'article répond ensuite à deux questions pratiques que posent les dirigeants : pourquoi il faut des GPU plutôt que des processeurs ordinaires, et ce que cela coûte. Il se termine par les bibliothèques qui permettent aux organisations d'utiliser ces modèles sans les reconstruire.
Précédemment : partie 2, Ce que sont vraiment Claude, Gemini et ChatGPT