02L'attention : les mots s'informent les uns les autres

Comment chaque mot tire son sens des mots qui le précèdent, calculé à la main, et pourquoi les textes longs coûtent plus cher.

Où nous en sommes dans le modèle de langageTexte brut, vecteurs, attention, réseau, mot suivant ; l'étape en cours est mise en évidence.Texte brutdécoupé en tokensVecteurschapitre 1Attentionchapitre 2Réseauchapitre 3Mot suivantchapitre 3

Le problème

À la fin du chapitre 1, chaque token a sa ligne de nombres, et cette ligne ne change jamais, quelle que soit la phrase. "speak" a le même vecteur dans "I speak French" et dans "I speak the truth". "Esper" et "anto" sont des fragments qui ne veulent pas dire grand-chose seuls. Pour comprendre une phrase, les nombres de chaque token doivent tenir compte de ses voisins.

L'idée, en une phrase

L'attention y parvient d'une façon simple : chaque token ajoute à ses propres nombres une moyenne pondérée des nombres des tokens qui le précèdent. Les poids, que nous appellerons des parts, dépendent de la pertinence de chaque token précédent. Les tokens pertinents reçoivent une grosse part, les autres presque rien.

Pourquoi seulement les tokens précédents ? Parce que ces modèles écrivent le texte un token à la fois, de gauche à droite : un token ne peut pas consulter des tokens qui n'ont pas encore été écrits. Quand le modèle arrive à "speak", il ne peut pas savoir si "French" ou "the truth" va suivre. L'ambiguïté se lève une étape plus tard, quand "French" (ou "truth") regarde en arrière vers "speak".

L'attention, à la main

Suivons le dernier token de "I speak Esperanto", le fragment "anto", dont la ligne est [0,5 ; 0,1 ; 0,0]. Avant de lire la suite : à lequel des quatre tokens pensez-vous que "anto" prêtera le plus d'attention ?

Étape 1 : la correspondance

La correspondance entre deux tokens mesure à quel point leurs lignes pointent dans la même direction. La règle : multiplier les deux lignes colonne par colonne, puis additionner les trois produits. Les mathématiciens appellent cela le produit scalaire de deux vecteurs. Chaque colonne fonctionne comme un vote : si les deux tokens ont un score élevé dans la même colonne, le produit est grand et la correspondance augmente ; si l'un des deux a un score nul, la colonne n'apporte rien. Deux tokens correspondent donc fortement quand ils sont élevés dans les mêmes colonnes.

Étape 2 : les parts

Les quatre correspondances doivent devenir des parts dont la somme fait 100 %. Trois opérations, chacune pour une raison :

  1. Amplifier : multiplier par 10. Avec seulement trois colonnes, les correspondances sont petites et proches les unes des autres. Multiplier par 10 creuse les écarts. Nous appelons ce facteur la netteté : plus il est élevé, plus l'attention désigne nettement un favori.
  2. Exponentielle : élever le nombre e (2,718...) à cette puissance. Cela transforme chaque valeur en un nombre positif et amplifie les différences : un écart de 0,8 entre "Esper" (3,2) et "speak" (2,4) devient un rapport de plus de deux (24,53 contre 11,02). Les meilleures correspondances prennent de l'avance ; les faibles s'effacent.
  3. Diviser par le total. Les quatre résultats font 50,12 au total. Diviser chacun par 50,12 donne des parts dont la somme fait exactement 100 %.
Correspondance et part, calculées en entierCorrespondances de anto avec chaque token, puis la recette softmax qui les transforme en parts de 2, 22, 49 et 27 %.Étape 1 : correspondance = multiplier colonne par colonne, puis additionner"anto" vaut [0,5 ; 0,1 ; 0,0] (langue, parole, personne)lignelangueparolepersonnecorresp.I[0,0 ; 0,1 ; 0,9]0,5×0,0 = 00,1×0,1 = 0,010×0,9 = 00,01␣speak[0,3 ; 0,9 ; 0,0]0,5×0,3 = 0,150,1×0,9 = 0,090×0 = 00,24␣Esper[0,6 ; 0,2 ; 0,0]0,5×0,6 = 0,300,1×0,2 = 0,020×0 = 00,32anto[0,5 ; 0,1 ; 0,0]0,5×0,5 = 0,250,1×0,1 = 0,010×0 = 00,26Étape 2 : part = amplifier, exponentielle, diviser par le totalcorresp.× 10exponentielle÷ 50,12partI0,010,11,110,0222 %␣speak0,242,411,020,22022 %␣Esper0,323,224,530,48949 %anto0,262,613,460,26927 %total : 50,12total : 100 %Exponentielle : le nombre e (2,718...) élevé à cette puissance. 2,4 donne 11,02 ; 3,2 donne 24,53.
calculéchoisi Le facteur 10 (la netteté) est choisi par nous pour le jouet. Chaque valeur peut être vérifiée à la calculatrice, ou dans le classeur d'accompagnement.

Pourquoi ne pas simplement diviser?

On pourrait diviser directement les correspondances par leur total, mais le résultat serait bien plus plat : "I" 1 %, "speak" 29 %, "Esper" 39 %, "anto" 31 %. Chaque token recevrait une part non négligeable. Et dans les vrais modèles, les correspondances peuvent être négatives, et une part négative n'a pas de sens. L'exponentielle règle les deux problèmes à la fois. Cette recette, amplifier, exponentielle, diviser par le total, s'appelle softmax, et on la retrouve partout dans les modèles de langage : le chapitre 3 l'utilise à nouveau pour transformer des scores en probabilités du mot suivant.

Étape 3 : mélanger et ajouter

"anto" prend maintenant chaque ligne précédente, la multiplie par la part de cette ligne, additionne le tout, et ajoute le résultat à sa propre ligne :

L'attention pour anto, calculée à la mainanto évalue chaque token précédent, transforme les scores en parts, mélange les vecteurs selon ces parts et ajoute le résultat à lui-même.TokenCorresp.Part× son vecteur= contributionI0,012 %[0,0 ; 0,1 ; 0,9][0,00 ; 0,00 ; 0,02]␣speak0,2422 %[0,3 ; 0,9 ; 0,0][0,07 ; 0,20 ; 0,00]␣Esper0,3249 %[0,6 ; 0,2 ; 0,0][0,29 ; 0,10 ; 0,00]anto0,2627 %[0,5 ; 0,1 ; 0,0][0,14 ; 0,03 ; 0,00]Somme : la mise à jour[0,50 ; 0,33 ; 0,02]Plus le anto d'origine+ [0,5 ; 0,1 ; 0,0]anto = [1,0 ; 0,4 ; 0,0]Correspondance : multiplier, puis additionner.anto · speak = 0,5×0,3 + 0,1×0,9 + 0×0 = 0,24Parts : les meilleures correspondances ontla part du lion ; la somme fait 100 %.
calculé Valeurs arrondies à deux décimales. Vous pouvez vérifier chaque ligne à la calculatrice.

Trois choses à remarquer :

  • "anto" regarde surtout "Esper" (49 %). Il complète son propre mot. Il prend une bonne part à "speak" (22 %) et presque rien à "I" (2 %), qui a peu à apporter.
  • Le mélange s'ajoute, il ne remplace pas. "anto" garde ses propres nombres et gagne ce qu'il a recueilli auprès des autres.
  • Le résultat a changé de sens. À [1,0 ; 0,4 ; 0,0], "anto" a maintenant un score élevé dans la colonne « langue » et un score moyen dans la colonne « parole ». Un fragment qui ne voulait presque rien dire est devenu, dans les nombres du modèle, une langue que l'on parle.

Le même calcul dans "I speak the truth" tire "truth" dans l'autre sens. Là, "truth" donne 85 % de sa part à "speak", et ses nombres montent dans la colonne « parole » : quelque chose que l'on dit, et non une langue. Même tableau, même règle, autres voisins, autre résultat. C'est ainsi que l'ambiguïté de "speak" se lève.

Ce que simplifie notre modèle jouet : trois versions de chaque token

Un mot qui ne cherche que des mots qui lui ressemblent, c'est un peu un manager qui n'embauche que des clones. Dans notre jouet, chaque token utilisait sa propre ligne pour tout : pour chercher des voisins pertinents, et pour être trouvé par eux. Une ligne correspond toujours le mieux à des lignes qui lui ressemblent, ce qui explique pourquoi "anto" a donné ses plus grosses parts à son autre moitié, "Esper", et à lui-même. Mais très souvent, un mot a besoin de trouver quelque chose de différent : un pronom a besoin de son nom, une langue du verbe qui la gouverne.

Les vrais modèles règlent ce problème en donnant à chaque token trois versions de sa ligne, chacune obtenue en faisant passer la ligne dans son propre petit tableau de poids, exactement comme une couche du premier article :

  • ce que le token cherche (les spécialistes parlent de query, la requête) ;
  • ce que le token offre, pour être trouvé par les autres (la key, la clé) ;
  • ce que le token transmet une fois choisi (la value, la valeur).

Donnons à "anto" un tableau « cherche » et voyons ce qui change. Pour garder des nombres simples, les deux autres versions restent égales aux lignes elles-mêmes.

Un tableau « cherche » change ce à quoi anto prête attentionLa version « cherche » de anto vaut 0 ; 0,5 ; 0 ; comparée à chaque token, elle donne des parts de 2, 94, 3 et 2 %, contre 2, 22, 49 et 27 sans le tableau.Étape 1 : "anto" passe par son tableau « cherche »langueparolepersonnerésultatligne "anto"0,50,10,0cherche langue0000,0cherche parole1000,5×1 = 0,5cherche personne0000,0"anto" cherche [0,0 ; 0,5 ; 0,0]Le poids 1 se lit : « une langue cherche la parole ».Étape 2 : comparer ce que cherche "anto" à ce qu'offre chaque tokentokenoffrecorresp.× 10exponentiellepartavec le tableaupartsansI[0,0 ; 0,1 ; 0,9]0,050,51,652 %2 %␣speak[0,3 ; 0,9 ; 0,0]0,454,590,0294 %22 %␣Esper[0,6 ; 0,2 ; 0,0]0,101,02,723 %49 %anto[0,5 ; 0,1 ; 0,0]0,050,51,652 %27 %total 96,03Corresp. pour speak : 0,0×0,3 + 0,5×0,9 + 0,0×0,0 = 0,45. Puis comme avant : ×10, exponentielle, ÷ total.
appriscalculé Notre tableau « cherche » a été écrit à la main ; dans un vrai modèle, il est appris. Les deux autres versions (« offre » et « transmet ») sont gardées égales aux lignes ici.

Avec sa propre ligne, "anto" cherchait des tokens qui lui ressemblent et trouvait "Esper". Avec le tableau « cherche », il cherche un token qui a un score élevé en « parole », trouve "speak", le verbe, et lui accorde 94 % de son attention. Le tableau ne contient qu'un seul poids significatif, qui se lit comme une règle : « une langue cherche la parole ».

D'où vient le tableau « cherche »?

Nous avons écrit le nôtre à la main. Dans un vrai modèle, personne ne le fait. Comme le tableau du vocabulaire, il commence par des nombres aléatoires et est ajusté par l'entraînement. Chaque fois que "anto" a regardé au mauvais endroit et que le mot suivant a été mal prédit, la correction remonte à travers les parts jusqu'au tableau « cherche », et pousse ses poids vers ce qui aurait mieux dirigé l'attention. Dans des millions de phrases, un nom de langue est suivi de quelque chose qui parle de la parler : le poids qui relie « langue » à « parole » est donc poussé vers le haut, encore et encore. La règle n'est jamais écrite ; elle est ce qui reste après l'entraînement. Les vrais tableaux ont des milliers de nombres de large, chaque tête de chaque couche a les siens, et comme les colonnes du chapitre 1, ils se lisent rarement comme des règles nettes. Les tableaux « offre » et « transmet » sont appris exactement de la même façon.

À essayer. Dans le classeur d'accompagnement (en anglais), dans l'onglet « Attention », modifiez le tableau "looking for" de la tête 2 : mettez le 1 à 0 et placez des 1 sur la diagonale, pour que "anto" cherche à nouveau des tokens qui lui ressemblent. Il revient à "Esper", exactement comme la tête 1.

Chercher plusieurs choses à la fois : les têtes d'attention

Nous voilà face à un dilemme. Sans tableau « cherche », "anto" complète son propre mot : 49 % pour "Esper". Avec, il trouve son verbe : 94 % pour "speak". Les deux sont utiles, mais un seul jeu de parts ne peut faire qu'une chose à la fois. Un vrai modèle mène donc plusieurs calculs d'attention côte à côte, chacun avec ses trois tableaux. Chacun s'appelle une tête. Voici nos deux calculs, présentés comme deux têtes d'une même couche :

Deux têtes d'attention pour antoLa tête 1 donne 2, 22, 49 et 27 % et complète le mot ; la tête 2 donne 2, 94, 3 et 2 % et trouve le verbe ; les deux mélanges sont fusionnés par un tableau appris supplémentaire.Tête 1 : des tokens qui lui ressemblentTête 2 : cherche la paroleI2 %I2 %␣speak22 %␣speak94 %␣Esper49 %␣Esper3 %anto27 %anto2 %complète le mot : "Esper"trouve le verbe : "speak"mélange[0,49 ; 0,33 ; 0,02]mélange[0,31 ; 0,85 ; 0,02]Côte à côte, puis un tableau de plusune seule mise à jour ajoutée à "anto"Chaque mélange : chaque ligne multipliée par sa part, puis additionnée, comme dans « L'attention, à la main ».Tête 2 : 0,94×[0,3 ; 0,9 ; 0,0] + petites contributions des trois autres = [0,31 ; 0,85 ; 0,02].
appriscalculé Chaque tête a ses propres tableaux appris ; les parts et les mélanges sont calculés. Dans notre parcours, seule la tête 1 est gardée, pour garder des nombres simples.

Chaque tête lit la même phrase sous un angle différent. La tête 1 répond à « de quel mot fais-je partie ? » ; la tête 2 à « quel verbe me gouverne ? ». Le modèle n'a pas à choisir : il place les deux mélanges côte à côte et les fait passer par un tableau de plus, appris comme les autres, qui les fusionne en une seule mise à jour ajoutée à "anto". Dans notre parcours, nous ne gardons que la tête 1, pour que les nombres restent faciles à suivre.

Les vrais modèles fonctionnent de la même façon, avec bien plus de têtes : 8 par couche dans le modèle d'origine de 2017[6], 128 dans Llama 3 405B[7]. Personne ne leur attribue de rôle. Les chercheurs qui examinent des modèles entraînés trouvent des têtes qui relient les pronoms à leurs noms, des têtes qui regardent le mot précédent, des têtes qui relient les verbes à leurs compléments, et beaucoup dont le rôle est difficile à décrire[8]. Dans "The trophy didn't fit in the suitcase because it was too big" (le trophée n'entrait pas dans la valise parce qu'il était trop grand)[9], une tête peut relier "it" à "trophy" pendant qu'une autre le relie à "was" : deux sortes de contexte, recueillies en même temps.

La distance ne compte pas, la longueur si

Dans la phrase du trophée, "it" se relie à "trophy", plusieurs mots en arrière, aussi facilement qu'à son voisin. C'est exactement ce qui posait problème aux réseaux récurrents : quand ils arrivaient à "it", leur souvenir de "trophy" s'était estompé. Mais l'attention a un coût. Chaque token doit calculer une correspondance avec chaque token qui le précède : doubler la longueur d'un texte multiplie donc le travail par quatre environ. C'est pourquoi tout modèle a une longueur maximale de texte qu'il peut traiter, sa « fenêtre de contexte », et pourquoi les longs documents coûtent plus cher à traiter (chapitre 4).