03Le réseau à l'intérieur, et le mot suivant
Ce que le réseau ajoute après l'attention, comment le token suivant est choisi, et ce que « il prédit juste le mot suivant » oublie.
L'attention rassemble, le réseau ajoute ce qu'il sait
Après l'attention, "anto" vaut [1,0 ; 0,4 ; 0,0] : une langue, que l'on parle. Il passe maintenant par le réseau classique de la couche, un petit réseau exactement du genre décrit dans le premier article : un tableau, un coude, un autre tableau. L'attention a rassemblé le contexte de la phrase ; le réseau ajoute ce qui a été appris pendant l'entraînement sur ce qui suit habituellement quoi.
En clair :
- Le neurone A s'active quand un token a un score élevé en « langue » et pas en « personne ». C'est le cas ici, à 0,4. Dans la couche 2, sa sortie fait baisser « langue » et monter « parole » d'autant. Son effet revient à une règle apprise de l'expérience : une fois qu'une langue a été nommée, ce qui suit porte en général sur la façon dont on la parle, plutôt que sur une autre langue.
- Le neurone B reste silencieux. Il réagit à « personne », ce qui manque à "anto" : il n'apporte donc rien ici. Dans une autre phrase, il le ferait.
- Le réseau ne sait pas quel mot il traite. Il réagit à des nombres. Donnez-lui "truth" après l'attention, [0,3 ; 1,4 ; 0,0], et le total du neurone A vaut 0,3 − 0,6, négatif : il reste silencieux lui aussi. Aucune correction, parce que "truth" n'est pas une langue qui vient d'être nommée.
D'où viennent ces poids ? C'est la même histoire que pour le tableau « cherche ». Personne n'a écrit « après une langue, faire monter la parole ». Chaque fois que la prédiction de ce qui suit une langue s'est trompée, la correction est remontée jusqu'à ces poids et les a poussés ; sur des millions de phrases, voilà ce qui est resté. Nous avons fixé les nôtres à la main pour qu'ils se comportent comme des poids entraînés. Dans un vrai modèle, le réseau classique de chaque couche contient des dizaines de milliers de neurones, la plupart des paramètres du modèle se trouvent dans ces réseaux, et la recherche suggère que c'est là qu'est stockée une grande partie de ses connaissances[10].
À essayer. Dans le classeur d'accompagnement (en anglais), dans l'onglet « Next token », baissez le biais du neurone A de −0,6 à −1,2. Le neurone A se tait, il n'y a plus de correction, et le modèle hésite entre "English" et "fluently", à 36 % chacun.
Où en est "anto" à chaque étape
| Étape | Nombres de "anto" | Token le plus proche dans le tableau |
|---|---|---|
| Sortie du tableau | [0,5 ; 0,1 ; 0,0] | "Esper" : un fragment |
| Après l'attention | [1,0 ; 0,4 ; 0,0] | "English" : une langue |
| Après le réseau | [0,6 ; 0,8 ; 0,0] | "fluently" : la façon de parler une langue |
Chaque étape recalcule les nombres. Rien ne bouge : le token est simplement décrit un peu plus précisément à chaque fois. Le token le plus proche est la simple distance géométrique dans les trois colonnes.
Choisir le token suivant
Les nombres finaux de "anto", [0,6 ; 0,8 ; 0,0], sont maintenant comparés à chaque ligne du tableau, avec la même correspondance qu'avant : multiplier colonne par colonne, additionner. Pour "fluently" : 0,6 × 0,7 + 0,8 × 0,8 + 0,0 × 0,0 = 1,06. Les scores sont ensuite transformés en probabilités avec la même recette softmax qu'au chapitre 2 :
"fluently" l'emporte avec 76 %. Il ne l'a emporté que grâce à ce que "anto" a recueilli auprès de ses voisins par l'attention, et à ce que le réseau classique savait de ce qui suit une langue parlée. Ni le token ni le tableau seuls n'auraient pu produire cette réponse.
Un token est alors choisi. Pas toujours le plus probable : on ajoute en général une dose contrôlée de hasard, ce qui explique qu'une même question posée deux fois puisse donner deux réponses différentes. Le token choisi est ajouté au texte, et tout le processus recommence pour produire le suivant. C'est pourquoi les longues réponses prennent du temps, et pourquoi les fournisseurs facturent chaque token écrit par le modèle. Voilà ce qu'est un LLM : un Transformer entraîné à prédire le token suivant, exécuté en boucle.
Du jouet au réel
Tout ce qui précède est ce que fait un vrai modèle. Ce qui change, c'est l'échelle. Voici notre jouet à côté de Llama 3 405B de Meta, l'un des rares grands modèles dont l'architecture est entièrement publiée[7] :
| Modèle jouet | Llama 3 405B | |
|---|---|---|
| Tokens dans le vocabulaire | 12 | 128 000 |
| Nombres par token | 3 | 16 384 |
| Signal de position ajouté à chaque token | aucun | oui |
| Têtes d'attention par couche | 1 | 128 |
| Neurones dans chaque réseau classique | 2 | 53 248 |
| Couches (attention + réseau) | 1 | 126 |
| Texte le plus long qu'il peut lire | 4 tokens | environ 128 000 tokens |
| Paramètres (tous les poids) | 50 | 405 milliards |
Chaque ligne est le même mécanisme, répété : rechercher, ajouter la position, comparer, répartir, mélanger, ajouter, corriger, comparer. Un vrai modèle le fait avec 16 384 nombres au lieu de 3, 128 têtes à la fois au lieu d'une, et 126 fois de suite, puis compare le résultat à 128 000 tokens au lieu de 12. Les 50 paramètres de notre jouet sont les 36 nombres de son tableau et les 14 poids de son réseau. Pour les plus grands modèles actuels, les estimations se chiffrent en milliers de milliards ; le troisième article explique ce que cela représente en matériel.
Tous les nombres, et qui les fixe
| Dans notre modèle jouet | Sorte | Qui ou quoi le fixe |
|---|---|---|
| La façon dont les tokens sont découpés | choisi | Construite une fois par le tokenizer, à partir des fréquences des mots, avant l'entraînement |
| Taille des tableaux : 12 tokens, 3 colonnes | choisi | Les ingénieurs (ici, nous) |
| Nombre de têtes et de couches | choisi | Les ingénieurs |
| Facteur de netteté (×10) | choisi | Les ingénieurs (les vrais modèles divisent plutôt par √d) |
| Le tableau du vocabulaire | appris | L'entraînement (ici, écrit à la main pour être lisible) |
| Les tableaux « cherche », « offre » et « transmet » | appris | L'entraînement |
| Le tableau qui fusionne les têtes | appris | L'entraînement |
| Les poids des neurones A et B, et le tableau de correction | appris | L'entraînement |
| Correspondances, parts, mélanges | calculé | Recalculés pour chaque phrase, jamais conservés |
| Les nombres de "anto" après chaque étape | calculé | Recalculés pour chaque phrase |
| Les probabilités du mot suivant | calculé | Recalculées pour chaque nouveau token |
« Il ne fait que prédire le mot suivant »
La formule est vraie, et profondément trompeuse. Prédire le mot suivant de n'importe quel texte, et bien le faire, est une tâche extrêmement exigeante. Pour terminer la phrase « La capitale de l'Australie est », le modèle a besoin d'un fait. Pour poursuivre une argumentation juridique, il doit en suivre la logique. Pour prédire la dernière ligne d'un roman policier, celle où le coupable est nommé, il lui faudrait en principe avoir suivi toute l'intrigue. La simplicité de la tâche cache tout ce que le modèle doit saisir pour bien la faire.
Mais la formule contient aussi un avertissement. Le modèle produit la suite la plus plausible, pas une suite vérifiée. Quand il lui manque la bonne information, la suite la plus plausible peut être une réponse sûre d'elle, bien formée et entièrement inventée. Ces « hallucinations » ne sont pas un bogue qu'on finira simplement par corriger : elles découlent directement du fonctionnement du modèle, et c'est pourquoi les systèmes construits autour de lui ont besoin de moyens pour vérifier, ancrer et contrôler ce qu'il dit.