À retenir
- Un modèle de langage transforme chaque token en une ligne de nombres, un vecteur. L'entraînement découvre quels mots peuvent se remplacer les uns les autres et leur donne des nombres semblables ; les sens que nous lisons dans les colonnes se découvrent après coup.
- L'attention permet à chaque token d'ajouter à ses propres nombres une moyenne pondérée des tokens qui le précèdent. Plusieurs têtes cherchent des choses différentes en même temps, chacune avec ses propres tableaux appris.
- Le réseau classique de chaque couche ajoute ce qui a été appris à l'entraînement. La plupart des paramètres, et une grande partie des connaissances, s'y trouvent.
- Un LLM prédit le token suivant le plus plausible, encore et encore. Les hallucinations découlent de cette conception.
- Le modèle ne se souvient de rien d'une question à l'autre. Tout ce qu'il sait de votre situation vient du contexte que l'application assemble : la conversation, des documents, des notes enregistrées. La longueur coûte du calcul, de l'argent et de la fiabilité.
- Claude, Gemini, ChatGPT et Mistral reposent tous sur cette architecture. Ils diffèrent par leur taille, leurs données et la façon dont ils sont entraînés, sujet du troisième article.
Suite dans la partie 3 : Comment sont fabriqués Claude, Gemini et ChatGPT