03Le réseau à l'intérieur, et le mot suivant

Ce que le réseau ajoute après l'attention, comment le token suivant est choisi, et ce que « il prédit juste le mot suivant » oublie.

Où nous en sommes dans le modèle de langageTexte brut, vecteurs, attention, réseau, mot suivant ; l'étape en cours est mise en évidence.Texte brutdécoupé en tokensVecteurschapitre 1Attentionchapitre 2Réseauchapitre 3Mot suivantchapitre 3

L'attention rassemble, le réseau ajoute ce qu'il sait

Après l'attention, "anto" vaut [1,0 ; 0,4 ; 0,0] : une langue, que l'on parle. Il passe maintenant par le réseau classique de la couche, un petit réseau exactement du genre décrit dans le premier article : un tableau, un coude, un autre tableau. L'attention a rassemblé le contexte de la phrase ; le réseau ajoute ce qui a été appris pendant l'entraînement sur ce qui suit habituellement quoi.

Le réseau jouet qui calcule la correction pour antoDeux neurones dans la couche 1, un tableau de correction dans la couche 2 ; la correction est ajoutée aux nombres de anto. Couche 1 : deux neurones lisent les nombres de "anto" langueparolepersonnebiaistotalaprès le coude "anto" 1,00,40,0 Neurone A +10−1−0,6 0,4 0,4 actif Neurone B 00+1−0,5 −0,5 0 inactif A : 1,0×1 + 0,4×0 + 0,0×(−1) − 0,6 = 0,4, positif, transmis. B : 0 + 0 + 0 − 0,5 = −0,5, négatif, réduit au silence. Couche 2 : transformer les sorties des neurones en correction de Ade Bcorrection sorties 0,40 langue−10−0,4 parole+1+0,5+0,4 personne0−0,50,0 "anto" après l'attention[1,0 ; 0,4 ; 0,0] + correction [−0,4 ; +0,4 ; 0,0] = [0,6 ; 0,8 ; 0,0] Poids jouets fixés à la main, comme des poids entraînés. Mêmes calculs que dans le premier article.
appriscalculé Le réseau classique de notre couche jouet : deux neurones, puis un tableau qui transforme leurs sorties en correction.

En clair :

  • Le neurone A s'active quand un token a un score élevé en « langue » et pas en « personne ». C'est le cas ici, à 0,4. Dans la couche 2, sa sortie fait baisser « langue » et monter « parole » d'autant. Son effet revient à une règle apprise de l'expérience : une fois qu'une langue a été nommée, ce qui suit porte en général sur la façon dont on la parle, plutôt que sur une autre langue.
  • Le neurone B reste silencieux. Il réagit à « personne », ce qui manque à "anto" : il n'apporte donc rien ici. Dans une autre phrase, il le ferait.
  • Le réseau ne sait pas quel mot il traite. Il réagit à des nombres. Donnez-lui "truth" après l'attention, [0,3 ; 1,4 ; 0,0], et le total du neurone A vaut 0,3 − 0,6, négatif : il reste silencieux lui aussi. Aucune correction, parce que "truth" n'est pas une langue qui vient d'être nommée.

D'où viennent ces poids ? C'est la même histoire que pour le tableau « cherche ». Personne n'a écrit « après une langue, faire monter la parole ». Chaque fois que la prédiction de ce qui suit une langue s'est trompée, la correction est remontée jusqu'à ces poids et les a poussés ; sur des millions de phrases, voilà ce qui est resté. Nous avons fixé les nôtres à la main pour qu'ils se comportent comme des poids entraînés. Dans un vrai modèle, le réseau classique de chaque couche contient des dizaines de milliers de neurones, la plupart des paramètres du modèle se trouvent dans ces réseaux, et la recherche suggère que c'est là qu'est stockée une grande partie de ses connaissances[10].

À essayer. Dans le classeur d'accompagnement (en anglais), dans l'onglet « Next token », baissez le biais du neurone A de −0,6 à −1,2. Le neurone A se tait, il n'y a plus de correction, et le modèle hésite entre "English" et "fluently", à 36 % chacun.

Où en est "anto" à chaque étape

ÉtapeNombres de "anto"Token le plus proche dans le tableau
Sortie du tableau[0,5 ; 0,1 ; 0,0]"Esper" : un fragment
Après l'attention[1,0 ; 0,4 ; 0,0]"English" : une langue
Après le réseau[0,6 ; 0,8 ; 0,0]"fluently" : la façon de parler une langue

Chaque étape recalcule les nombres. Rien ne bouge : le token est simplement décrit un peu plus précisément à chaque fois. Le token le plus proche est la simple distance géométrique dans les trois colonnes.

Choisir le token suivant

Les nombres finaux de "anto", [0,6 ; 0,8 ; 0,0], sont maintenant comparés à chaque ligne du tableau, avec la même correspondance qu'avant : multiplier colonne par colonne, additionner. Pour "fluently" : 0,6 × 0,7 + 0,8 × 0,8 + 0,0 × 0,0 = 1,06. Les scores sont ensuite transformés en probabilités avec la même recette softmax qu'au chapitre 2 :

Les scores du token suivant dans le modèle jouetLe vecteur final de anto comparé à chaque token : fluently 76 %, speak 15, English 5, French 2, loudly 1.TokenCorresp.Probabilité de venir ensuite␣fluently1,0676 %␣speak0,9015 %␣English0,785 %␣French0,702 %␣loudly0,641 %7 autres0,08 à 0,52moins de 1 % à eux tousCorrespondance pour fluently : 0,6 × 0,7 + 0,8 × 0,8 + 0,0 × 0,0 = 1,06Vecteur final de anto : [0,6 ; 0,8 ; 0,0]
calculé Modèle jouet. Les pourcentages viennent de l'exécution du modèle à douze tokens ; on peut les reproduire dans un tableur.

"fluently" l'emporte avec 76 %. Il ne l'a emporté que grâce à ce que "anto" a recueilli auprès de ses voisins par l'attention, et à ce que le réseau classique savait de ce qui suit une langue parlée. Ni le token ni le tableau seuls n'auraient pu produire cette réponse.

Du dernier vecteur au mot suivantLe vecteur final est comparé à chaque token ; l'un d'eux est choisi et ajouté, et la boucle recommence."anto" en sortie[0,6 ; 0,8 ; 0,0]Évaluer chaque tokendu vocabulaire␣fluently76 %␣speak15 %␣English5 %␣French2 %␣loudly1 %En choisir un, l'ajouterI␣speak␣Esperanto␣fluently↻ le texte allongé repasse dans le modèle pour prédire le token suivant
calculé Valeurs du modèle jouet de cette section.

Un token est alors choisi. Pas toujours le plus probable : on ajoute en général une dose contrôlée de hasard, ce qui explique qu'une même question posée deux fois puisse donner deux réponses différentes. Le token choisi est ajouté au texte, et tout le processus recommence pour produire le suivant. C'est pourquoi les longues réponses prennent du temps, et pourquoi les fournisseurs facturent chaque token écrit par le modèle. Voilà ce qu'est un LLM : un Transformer entraîné à prédire le token suivant, exécuté en boucle.

Du jouet au réel

Tout ce qui précède est ce que fait un vrai modèle. Ce qui change, c'est l'échelle. Voici notre jouet à côté de Llama 3 405B de Meta, l'un des rares grands modèles dont l'architecture est entièrement publiée[7] :

Modèle jouetLlama 3 405B
Tokens dans le vocabulaire12128 000
Nombres par token316 384
Signal de position ajouté à chaque tokenaucunoui
Têtes d'attention par couche1128
Neurones dans chaque réseau classique253 248
Couches (attention + réseau)1126
Texte le plus long qu'il peut lire4 tokensenviron 128 000 tokens
Paramètres (tous les poids)50405 milliards

Chaque ligne est le même mécanisme, répété : rechercher, ajouter la position, comparer, répartir, mélanger, ajouter, corriger, comparer. Un vrai modèle le fait avec 16 384 nombres au lieu de 3, 128 têtes à la fois au lieu d'une, et 126 fois de suite, puis compare le résultat à 128 000 tokens au lieu de 12. Les 50 paramètres de notre jouet sont les 36 nombres de son tableau et les 14 poids de son réseau. Pour les plus grands modèles actuels, les estimations se chiffrent en milliers de milliards ; le troisième article explique ce que cela représente en matériel.

Tous les nombres, et qui les fixe

Dans notre modèle jouetSorteQui ou quoi le fixe
La façon dont les tokens sont découpéschoisiConstruite une fois par le tokenizer, à partir des fréquences des mots, avant l'entraînement
Taille des tableaux : 12 tokens, 3 colonneschoisiLes ingénieurs (ici, nous)
Nombre de têtes et de coucheschoisiLes ingénieurs
Facteur de netteté (×10)choisiLes ingénieurs (les vrais modèles divisent plutôt par √d)
Le tableau du vocabulaireapprisL'entraînement (ici, écrit à la main pour être lisible)
Les tableaux « cherche », « offre » et « transmet »apprisL'entraînement
Le tableau qui fusionne les têtesapprisL'entraînement
Les poids des neurones A et B, et le tableau de correctionapprisL'entraînement
Correspondances, parts, mélangescalculéRecalculés pour chaque phrase, jamais conservés
Les nombres de "anto" après chaque étapecalculéRecalculés pour chaque phrase
Les probabilités du mot suivantcalculéRecalculées pour chaque nouveau token

« Il ne fait que prédire le mot suivant »

La formule est vraie, et profondément trompeuse. Prédire le mot suivant de n'importe quel texte, et bien le faire, est une tâche extrêmement exigeante. Pour terminer la phrase « La capitale de l'Australie est », le modèle a besoin d'un fait. Pour poursuivre une argumentation juridique, il doit en suivre la logique. Pour prédire la dernière ligne d'un roman policier, celle où le coupable est nommé, il lui faudrait en principe avoir suivi toute l'intrigue. La simplicité de la tâche cache tout ce que le modèle doit saisir pour bien la faire.

Mais la formule contient aussi un avertissement. Le modèle produit la suite la plus plausible, pas une suite vérifiée. Quand il lui manque la bonne information, la suite la plus plausible peut être une réponse sûre d'elle, bien formée et entièrement inventée. Ces « hallucinations » ne sont pas un bogue qu'on finira simplement par corriger : elles découlent directement du fonctionnement du modèle, et c'est pourquoi les systèmes construits autour de lui ont besoin de moyens pour vérifier, ancrer et contrôler ce qu'il dit.